1  Formulación

El Proceso de Decisión de Markov se compone de los siguientes elementos:

• El conjunto de estados estará conformado por las siguientes tres divisiones del campo

import numpy as np 
import pandas as pd
import matplotlib.pyplot as plt 
from matplotlib.colors import to_rgba
from urllib.request import urlopen
from mplsoccer import Pitch, FontManager, add_image
from PIL import Image

pitch = Pitch(line_color='black',linewidth=1)
fig, ax = pitch.draw()
pitch.lines(40,0,40,80,color = 'gray', linewidth = 1, ax=ax, linestyle = '--')

pitch.lines(80,0,80,80,color = 'gray', linewidth = 1, ax=ax, linestyle = '--')

pitch.annotate(text='$C_1$',xytext=(10,10),xy=(84,45),ax=ax)
pitch.annotate(text='$C_2$',xytext=(50,10),xy=(84,45),ax=ax)
pitch.annotate(text='$C_3$',xytext=(90,10),xy=(84,45),ax=ax)
plt.show()

Donde \(C_1,C_2,C_3\) representa que el balón se encuentre en alguna de las tres divisiones.

Además se agregan tres estados absorbentes:

• \(L_p =\) pérdida de posesión del balón.
• \(nG =\) realizar un tiro y que no termine en gol.
• \(G =\) realizar un tiro y que termine en gol.

De esta forma el conjunto de estados \(\mathcal{S}\) queda como

\[ \mathcal{S}=\{C_1,C_2,C_3,L_p,nG,G\} \]

• El conjunto de acciones admisibles se considerarán 3 acciones que serán

  • \(t\) = tiro
  • \(p\) = pase
  • \(r\) = regate

  De esta forma el conjunto de acciones queda como \[\mathcal{A} = \{t,p,r\}\]

• Para las de transiciones haremos uso de las probabilidades de transición definidas de la siguiente forma: \[ P:\mathcal{S}\times\mathcal{A}\times\mathcal{S} \to [0,1] \]

  Que se interpreta como la probabilidad de estar en un estado \(S_i\) realizar una acción \(a_k\) y terminar en un estado \(S_j\). Notemos que se aceptan los casos cuando \(i=j\) y más adelante se mostrará que algunas probabilidades serán 0.

• La función de recompensa \(R:\mathcal{S}\times \mathcal{A}\times \mathcal{S}\to[0,1]\), será \[ R(S_i,a_k,S_j)=\left\{\begin{array}{ccc} 1 & \text{si} & S_j=G \\ 0 & o.c. & \end{array}\right. \]