Propriedade de Markov

Em teoria da probabilidades e estatística, o termo propriedade de Markov ou propriedade markoviana se refere à propriedade de perda de memória de um processo estocástico. Tem este nome devido ao matemático russo Andrei Markov.[1]

Uma representação simples de movimento browniano tridimensional para tempos 0 ≤ t ≤ 2. O movimento brownian tem a propriedade de Markov, já que o deslocamento da partícula não depende de seus deslocamentos passados.

Um processo estocástico tem a propriedade de Markov se a distribuição de probabilidade condicional de estados futuros do processo (condicional tanto em estados passados, como presentes) depende apenas do estado presente, não da sequência de eventos que o precedeu. Um processo com esta propriedade é chamado de processo de Markov. O termo propriedade forte de Markov tem significado semelhante à propriedade de Markov propriamente dita, exceto pelo fato de que o significado de "presente" é definido em termo de uma variável aleatória conhecida como tempo de espera.

O termo pressuposto de Markov é usado para descrever um modelo em que se pressupõe que a propriedade de Markov se mantém, tal como o modelo oculto de Markov.

Um campo aleatório de Markov[2] estende esta propriedade a duas ou mais dimensões ou a variáveis aleatórias definidas para uma rede interconectada de itens. Um exemplo de um modelo para um campo como este é o modelo Ising.

Um processo estocástico de tempo discreto que satisfaça a propriedade de Markov é conhecido como cadeia de Markov.

Introdução editar

Um processo estocástico tem a propriedade de Markov se a distribuição de probabilidade condicional de estados futuros do processo (condicional tanto em valores passados, como presentes) depende apenas do estado presente; isto é, dado o presente, o futuro não depende do passado. Um processo com esta propriedade é chamado de Markoviano ou processo de Markov. O mais famoso processo de Markov é a cadeia de Markov. O movimento browniano é outro processo de Markov bem conhecido.

História editar

Andrei Markov estudou cadeias de Markov no começo do século XX. Markov estava interessado em estudar uma extensão de sequências aleatórias independentes, motivado por uma discordância com Pavel Nekrasov, que acreditava que a independência era necessária para que a lei fraca dos grandes números se aplicasse.[3] Em seu primeiro artigo sobre cadeias de Markov, publicado em 1906, Markov mostrou que, sob certas condições, os valores esperados de uma cadeia de Markov convergiriam para um vetor fixo de valores, provando então uma lei fraca dos grandes números sem o pressuposto de independência,[4][5][6] que tinha sido comumente considerado um requisito para que leis matemáticas como aquela se aplicassem.[6] Markov usou posteriormente cadeias de Markov para estudar a distribuição de vogais em Eugene Onegin, livro de Alexandre Pushkin, e provou um teorema central do limite para tais cadeias.[4]

Em 1912, Poincaré estudou cadeias de Markov em grupos finitos com o objetivo de estudar o embaralhamento de cartas. Outros usos iniciais de cadeias de Markov incluem um modelo de difusão, introduzido por Paul e Tatyana Ehrenfest em 1907, e um processo de ramificação, introduzido por Francis Galton e Henry William Watson em 1873, antes do trabalho de Markov.[4][5] Depois do trabalho de Galton e Watson, foi revelado mais tarde que seu processo de ramificação havia sido independentemente descoberto e estudado cerca de três décadas antes por Iréne-Jules Bienaymé.[7] Começando em 1928, Maurice Fréchet se interessou por cadeias de Markov, o que o levou a publicar em 1938 um estudo detalhado sobre cadeias de Markov.[4][8]

Andrei Kolmogorov desenvolveu em um artigo de 1931 uma grande parte da teoria inicial de processos de Markov de tempo contínuo.[9][10] Kolmogorov foi parcialmente inspirado pelo trabalho de Louis Bachelier em 1900 sobre flutuações no mercado de ações, assim como pelo trabalho de Norbert Wiener sobre o modelo do movimento browniano proposto por Albert Einstein.[9][11] Ele introduziu e estudou um conjunto particular de processos de Markov conhecidos como processos de difusão, em que derivou um conjunto de equações diferenciais que descrevem o processo.[9][12] Independente do trabalho de Kolmogorov, Sydney Chapman derivou em um artigo de 1928 uma equação, agora chamada de equação de Chapman-Kolmogorov, de uma forma menos matematicamente rigorosa comparado a Kolmogorov, enquanto estudava movimento browniano.[13] As equações diferenciais são chamadas agora de equações de Kolmogorov[14] ou equações de Chapman-Kolmogorov.[15] Outros matemáticos que contribuíram significativamente para as fundações dos processo de Markov incluem William Feller, a partir da década de 1930, e depois Eugene Dynkin, a partir da década de 1950.[10]

Definição editar

Considere um espaço de probabilidade   com filtração  , para algum conjunto de índice (totalmente ordenado)  ; e um espaço mensurável  . Diz-se que um processo estocástico   com valores   adaptado à filtração possui a propriedade de Markov se, para cada   e para cada   com  ,

 [16]

No caso em que   for um conjunto discreto com sigma-álgebra discreta e  , isto pode ser reformulado como segue:

 

Formulações alternativas editar

Alternativamente, a propriedade de Markov pode ser formulada da seguinte maneira.

 

para todo   e sendo   limitada e mensurável.[17]

Propriedade forte de Markov editar

Suponha que   seja um processo estocástico em um espaço de probabilidade   com filtração natural  . Para qualquer  , podemos definir o sigma-álgebra germe   como a intersecção de todos os   para  . Então para qualquer tempo de espera   em  , podemos definir

 .

Então diz-se que   tem a propriedade forte de Markov se, para cada tempo de espera  , condicionado no evento  , e para cada  ,   for independente de   dado  .

A propriedade forte de Markov indica a propriedade de Markov propriamente dita, já que ao tomar o tempo de espera  , a propriedade de Markov propriamente dita pode ser deduzida.

Previsões editar

Nos campos da modelagem preditiva e da previsão probabilística, a propriedade de Markov é considerada desejável; tal modelo é conhecido como modelo de Markov.

Exemplos editar

Assuma que uma urna contém duas bolas vermelhas e uma bola verde. Uma bola foi tirada ontem, outra bola foi tirada hoje e a última bola será tirada amanhã. Todas as retiradas são "sem reposição".

Suponha que você saiba que a bola de hoje era vermelha, mas que você não tenha informação sobre a bola de ontem. A chance de que a bola de amanhã seja vermelha é 1/2. Isto se dá porque os únicos dois resultados remanescentes para este experimento aleatório são:

Dia Resultado 1 Resultado 2
Ontem Vermelha Verde
Hoje Vermelha Vermelha
Amanhã Verde Vermelha

Por outro lado, se você soubesse que tanto a bola de hoje, como a bola de ontem eram vermelhas, você teria certeza então de que pegaria a bola verde amanhã.

Esta discrepância mostra que a distribuição de probabilidade para a cor de amanhã depende não só do valor presente, mas também é afetada pela informação sobre o passado. Este processo estocástico de cores observadas não tem a propriedade de Markov. Usando o mesmo experimento acima, se, em vez de retiradas "sem reposição", tivermos retiradas "com reposição", o processo das cores observadas terá a propriedade de Markov.[18]

Uma aplicação da propriedade de Markov em uma forma generalizada está em computações do método de Monte Carlo via cadeias de Markov no contexto da estatística bayesiana.

Ver também editar

Referências

  1. Markov, A. A. (1954). Theory of Algorithms. [Translated by Jacques J. Schorr-Kon and PST staff] Imprint Moscow, Academy of Sciences of the USSR, 1954 [Jerusalem, Israel Program for Scientific Translations, 1961; available from Office of Technical Services, United States Department of Commerce] Added t.p. in Russian Translation of Works of the Mathematical Institute, Academy of Sciences of the USSR, v. 42. Original title: Teoriya algorifmov. [QA248.M2943 Dartmouth College library. U.S. Dept. of Commerce, Office of Technical Services, number OTS 60-51085.]
  2. Dodge, Y. (2003) The Oxford Dictionary of Statistical Terms OUP. ISBN 0-19-850994-4
  3. Seneta, E. (1 de janeiro de 1996). «Markov and the Birth of Chain Dependence Theory». International Statistical Review / Revue Internationale de Statistique. 64 (3): 255–263. doi:10.2307/1403785 
  4. a b c d Grinstead, Charles Miller; Snell, James Laurie (1 de janeiro de 1997). Introduction to Probability (em inglês). [S.l.]: American Mathematical Soc. ISBN 9780821807491 
  5. a b Bremaud, Pierre (9 de março de 2013). Markov Chains: Gibbs Fields, Monte Carlo Simulation, and Queues (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781475731248 
  6. a b Hayes, Brian (2013). «First links in the Markov chain». American Scientist. 101 (2): 92-96 
  7. Seneta, E. (1 de janeiro de 1998). «I.J. Bienaymé [1796-1878]: Criticality, Inequality, and Internationalization». International Statistical Review / Revue Internationale de Statistique. 66 (3): 291–301. doi:10.2307/1403518 
  8. Bru, B.; Hertz, S. (1 de janeiro de 2001). «Maurice Fréchet». Springer New York. Statisticians of the Centuries (em inglês): 331–334. doi:10.1007/978-1-4613-0179-0_71 
  9. a b c Kendall, D. G.; Batchelor, G. K.; Bingham, N. H.; Hayman, W. K.; Hyland, J. M. E.; Lorentz, G. G.; Moffatt, H. K.; Parry, W.; Razborov, A. A. (1 de janeiro de 1990). «Andrei Nikolaevich Kolmogorov (1903–1987)». Bulletin of the London Mathematical Society (em inglês). 22 (1): 31–100. ISSN 1469-2120. doi:10.1112/blms/22.1.31 
  10. a b Cramer, Harald (1 de agosto de 1976). «Half a Century with Probability Theory: Some Personal Recollections». The Annals of Probability (em inglês). 4 (4): 509–546. ISSN 0091-1798. doi:10.1214/aop/1176996025 
  11. Barbut, Marc; Locker, Bernard; Mazliak, Laurent (23 de agosto de 2016). Paul Lévy and Maurice Fréchet: 50 Years of Correspondence in 107 Letters (em inglês). [S.l.]: Springer London. ISBN 9781447172628 
  12. Skorokhod, Valeriy (5 de dezembro de 2005). Basic Principles and Applications of Probability Theory (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9783540263128 
  13. «Bachelier». American Journal of Physics. 73 (5): 395–398. 13 de abril de 2005. ISSN 0002-9505. doi:10.1119/1.1848117 
  14. Anderson, William J. (6 de dezembro de 2012). Continuous-Time Markov Chains: An Applications-Oriented Approach (em inglês). [S.l.]: Springer Science & Business Media. ISBN 9781461230380 
  15. Kendall, D. G.; Batchelor, G. K.; Bingham, N. H.; Hayman, W. K.; Hyland, J. M. E.; Lorentz, G. G.; Moffatt, H. K.; Parry, W.; Razborov, A. A. (1 de janeiro de 1990). «Andrei Nikolaevich Kolmogorov (1903–1987)». Bulletin of the London Mathematical Society (em inglês). 22 (1): 31–100. ISSN 1469-2120. doi:10.1112/blms/22.1.31 
  16. Durrett, Rick. Probability: Theory and Examples. Fourth Edition. Cambridge: Cambridge University Press, 2010.
  17. Øksendal, Bernt K. (2003). Stochastic Differential Equations: An Introduction with Applications. [S.l.]: Springer, Berlin. ISBN 3-540-04758-1 
  18. «Example of a stochastic process which does not have the Markov property». Mathematics Stack Exchange