Usuário(a):Horadrim/Testes8
Página inicial: Testes
Edições completas: Mecânica estatística • Modelo Hodgkin-Huxley • Neurociência computacional • Modelo probabilístico para redes neurais • Teoria de campo médio • Modelo FitzHugh–Nagumo • Processo Lévy • Cadeias de Markov • Processo de Poisson • Galves–Löcherbach model • Stochastic chains with memory of variable length • Lesão do plexo braquial • Somatotopia • Função densidade • Modelos de grafos aleatórios exponenciais • Processo de Gram-Schmidt • Equação de Chapman–Kolmogorov • Predefinição:Processos estocásticos • Algoritmo de autovalores • Transição de fase • Hipótese do cérebro crítico • Critical brain hypothesis • Passeio aleatório • Plasticidade sináptica • Potencial pós-sináptico excitatório • Potencial pós-sináptico inibitório • Modelo de Morris-Lecar • Plexo braquial • Processo gaussiano • Campo aleatório de Markov • Eletroencefalografia • Modelo de Hindmarsh-Rose • Sistemas de partícula em interação • Medida de Gibbs • Nervo escapular dorsal • Nervo radial • Nervo peitoral lateral • Nervo musculocutâneo • Medida de Dirac • Nervo torácico longo • Sigma-álgebra • Nervo peitoral medial • Nervo ulnar • Potencial evocado • Estimulação magnética transcraniana repetitiva • Teorema de Donsker • Desigualdade de Boole • Codificação neural • Aprendizado de máquina • Independência condicional • Inferência estatística • Nervo subclávio • Nervo supraescapular • Nervo mediano • Nervo axilar • Movimento browniano geométrico • Caminho autoevitante • Tempo local • Nervo subescapular superior • Nervo toracodorsal • Nervo subscapular inferior • Caminho (teoria dos grafos) • Campo aleatório • Lei do logaritmo iterado
Edições em andamento: Nervo cutâneo medial do braço (N) • Nervo cutâneo medial do antebraço (N) • Cérebro estatístico (N) • Statistician brain • Distribuição de probabilidade condicional (N) • Esperança condicional (N) • Integral de Itō (N) • Martingale • Variação quadrática (N) • Processo Ornstein–Uhlenbeck • Ruído branco • Teoria ergódica • Avalanche neuronal (N) • Teoria da percolação (N) • Função totiente de Euler • Ruído neuronal (N) • Distribuição de Poisson • Córtex cerebral • Estímulo (fisiologia)
![](http://upload.wikimedia.org/wikipedia/commons/thumb/2/2b/Markovkate_01.svg/220px-Markovkate_01.svg.png)
Uma cadeia de Markov (cadeia de Markov em tempo discreto ou DTMC[1]), em homenagem a Andrei Markov, é um processo aleatório que sofre transições de um estado para outro em um espaço de estado. Ele deve possuir uma propriedade que é geralmente caracterizado como "memorylessness": a distribuição de probabilidade do próximo estado depende apenas do estado atual e não na sequência de eventos que precederam. Este tipo específico de "memorylessness" é chamado a propriedade de Markov. Cadeias de Markov têm muitas aplicações como modelos estatísticos de processos do mundo real.
Introdução
editarA cadeia de Markov é um processo estocástico com a propriedade de Markov. O termo "cadeia de Markov" refere-se à sequência de variáveis aleatórias, tais um processo move-se através de, com a propriedade de Markov definindo a dependência de série única entre períodos adjacentes (como em uma "cadeia"). Assim, pode ser usado para sistemas que seguem uma cadeia de eventos ligados, onde o que acontece em seguida depende apenas do estado atual do sistema descrevendo.
Na literatura, diferentes tipos de processo de Markov são designados como "cadeia de Markov". Normalmente, o termo é reservado para um processo com um conjunto discreto de vezes, isto é, um tempo discreto cadeia de Markov (DTMC)[2]. Por outro lado, alguns autores utilizam o termo "processo de Markov" para se referir a uma cadeia de Markov de tempo contínuo sem referência explícita.[3][4]
Enquanto o parâmetro de tempo é geralmente discreta, o espaço de estado de uma cadeia de Markov não tem quaisquer restrições geralmente aceitas: o termo pode referir-se a um processo em um espaço de estado arbitrário.[5] No entanto, muitas aplicações de Cadeias de Markov empregar finito ou infinito contavelmente (isto é, espaços de estado discreta), que têm uma análise estatística mais simples. Além da hora do índice e os parâmetros de espaço de estado, há muitas outras variações, extensões e generalizações (ver Variações). Para simplificar, a maior parte deste artigo concentra-se no tempo discreto, discreta caso de espaço de estado, salvo indicação em contrário.
As mudanças de estado do sistema são chamadas transições. As probabilidades associadas com várias mudanças de estado são chamados de probabilidades de transição. O processo é caracterizado por um espaço de estado, uma matriz de transição descrevendo as probabilidades de transições de particulares, e um estado inicial (ou a distribuição inicial) através do espaço de estado. Por convenção, assumimos todos os estados e transições possíveis foram incluídos na definição do processo, por isso há sempre um próximo estado, eo processo não termina.
Um processo aleatório de tempo discreto envolve um sistema que é em um determinado estado, em cada passo, com o estado a mudar de forma aleatória entre os passos. Os passos são muitas vezes consideradas como momentos no tempo, mas pode igualmente bem se referem a distância física ou qualquer outra medida discreta. Formalmente, os passos são os números inteiros ou números naturais, eo processo aleatório é um mapeamento destes para estados. A propriedade de Markov afirma que a distribuição de probabilidade condicional para o sistema no próximo passo (e, de facto, em todas as etapas futuras) depende apenas do estado actual do sistema, e não adicionalmente sobre o estado do sistema em etapas anteriores.
Uma vez que o sistema altera aleatoriamente, é geralmente impossível prever com exactidão o estado de uma cadeia de Markov num dado momento no futuro. No entanto, as propriedades estatísticas do futuro do sistema pode ser previsto. Em muitas aplicações, é essas propriedades estatísticas, que são importantes.
A famosa cadeia de Markov é o chamado "andar do bêbado", um passeio aleatório na linha número onde, a cada passo, a posição pode mudar por um ou -1 com igual probabilidade. A partir de qualquer posição há duas transições possível, para o seguinte ou anterior inteiro. As probabilidades de transição dependem somente da posição actual, não sobre o modo em que a posição foi alcançada. Por exemplo, as probabilidades de transição de 5-4 e 5-6 são ambos 0,5, e todos os outros a partir de probabilidades de transição 5 é 0. Estas probabilidades são independentes do facto de o sistema foi anteriormente em 4 ou 6.
Outro exemplo são os hábitos alimentares de uma criatura que só come uvas, queijo ou alface, e cujos hábitos alimentares estão em conformidade com as seguintes regras:
- Ele come apenas uma vez por dia.
- Se ele comeu queijo hoje, amanhã ele vai comer alface ou uvas com igual probabilidade.
- Se ele comeu uvas hoje, amanhã ele vai comer uvas com probabilidade de 1/10, queijo com probabilidade 4/10 e alface com probabilidade 5/10.
- Se ele comeu alface hoje, amanhã ele vai comer uvas com probabilidade de 4/10 ou queijo com probabilidade 6/10. Ele não vai comer alface novamente amanhã.
hábitos alimentares desta criatura pode ser modelada com uma cadeia de Markov desde o seu amanhã escolha depende unicamente o que comemos hoje em dia, não é o que comeu ontem ou em qualquer outro momento do passado. Uma propriedade estatística que pode ser calculada a percentagem esperada é, ao longo de um longo período de tempo, dos dias em que a criatura vai comer uvas.
Uma série de eventos independentes (por exemplo, uma série de coin flips) satisfaz a definição formal de uma cadeia de Markov. No entanto, a teoria é normalmente aplicado apenas quando a distribuição de probabilidade de o próximo passo depende não-trivialmente sobre o estado actual. Muitos outros exemplos de cadeias de Markov existir.
Definição formal
editarA cadeia de Markov é uma sequência de variáveis aleatórias X1, X2, X3, etc., com a propriedade de Markov, ou seja, que a probabilidade de se mover para o próximo estado depende apenas do estado atual e não sobre os estados anteriores
- , se ambas as probabilidades condicionais são bem definidos, ou seja, se .
Os valores possíveis de Xi formar um conjunto contável S chamado o espaço de estados da cadeia.
Cadeias de Markov são frequentemente descritos por uma sequência de grafos dirigidos, onde as bordas do gráfico n são rotulados por as probabilidades de ir de um estado no tempo n para outros estados no tempo n+1, . A mesma informação é representada pela matriz de transição de momento n para o tempo n+1. No entanto, as cadeias Markov são assumidos frequentemente ser tempo-homogénea (ver variações abaixo), caso em que o gráfico e de matriz são independentes de n e, portanto, não são apresentados como sequências.
Estas descrições realçar a estrutura da cadeia de Markov que é independente da distribuição inicial . Quando o tempo homogênea, a cadeia pode ser interpretado como uma máquina de estado atribuindo uma probabilidade de pular de cada vértice ou estado para outro adjacente. A probabilidade de Estado da máquina pode ser analisado como o comportamento estatístico da máquina com um elemento do espaço de estados como entrada, ou como o comportamento da máquina com a distribuição inicial de estados como entrada, onde é o suporte de Iverson.
O fato de que algumas sequências de estados pode ter zero probabilidade de ocorrência corresponde a um gráfico com vários componentes ligados, onde se omitem arestas que levaria a uma probabilidade de transição zero. Por exemplo, se a tem uma probabilidade diferente de zero de ir para b, mas a e x estão em diferentes componentes ligados do gráfico, então, é definida, enquanto não é.
Variações
editar- Processos de Markov de tempo contínuo têm um índice contínuo.
- Cadeias de Markov de tempo homogêneo (ou cadeias de Markov estacionárias) são processos em que
para todo n. A probabilidade da transição de n é independente.
- Uma cadeia de Markov de ordem m (ou uma cadeia de Markov com memória m), onde m é finito, é um processo que satisfaça
Em outras palavras, o estado futuro depende dos passados m estados. É possível construir uma cadeia (Yn) de (Xn), que tem a propriedade de Markov "clássico", tendo como espaço de estado do m-tuplas ordenadas de valores X, ou seja, Yn = (Xn, Xn−1, ..., Xn−m+1).
Exemplo
editarUm diagrama de estado para um exemplo simples é mostrado na figura à direita, usando para imaginar as transições de estado de um grafo dirigido. Os estados representam se um mercado de ações hipotético está exibindo um mercado em alta, mercado de urso, ou tendência do mercado estagnado durante uma determinada semana. De acordo com a figura, uma semana touro é seguido por um outro touro semana 90% do tempo, de uma semana urso 7,5% do tempo, e uma semana estagnada outro 2,5% do tempo. Etiquetas de espaço de estado {1 = touro, 2 = urso, 3 = estagnado} a matriz de transição para este exemplo é
A distribuição por estados pode ser escrito como um vetor de linha estocástico x com x(n + 1) = x(n)P. Assim, se no tempo n o sistema está no estado x(n), e em seguida, três períodos de tempo mais tarde, no tempo n + 3 a distribuição é
Em particular, se num momento n o sistema está no estado 2 (bear), então no tempo n + 3, a distribuição é
Utilizando a matriz de transição, é possível calcular, por exemplo, a fracção de longo prazo de semanas durante o qual o mercado é estagnado, ou o número médio de semanas que será necessário para passar de uma estagnada a um mercado de touro. Usando as probabilidades de transição, as probabilidades de estado estacionário indicam que 62,5% das semanas estará em um mercado de touro, 31,25% de semanas estará em um mercado de urso e 6,25% de semanas será estagnada, uma vez que:
Um desenvolvimento aprofundado e muitos exemplos podem ser encontradas na monografia sobre-linha Meyn & Tweedie 2005. [6]
Uma máquina de estado finito pode ser utilizada como uma representação de uma cadeia de Markov. Assumindo uma sequência de sinais de entrada independentes e identicamente distribuídos (por exemplo, símbolos de um alfabeto binário escolhido por lançamentos de moeda), se a máquina está no estado y no tempo n, então a probabilidade de que ele se move para declarar x no tempo n + 1 depende apenas do estado atual.
Evolução transitória
editarA probabilidade de ir do estado i para o estado j em intervalos de tempo n é
ea transição de um único passo é
Para uma cadeia de Markov de tempo homogêneo:
e
As probabilidades de transição de n-etapa satisfazem a equação Chapman-Kolmogorov, que para qualquer k tal que 0 < k < n,
onde S é o espaço de estados da cadeia de Markov.
A distribuição marginal Pr(Xn = x) é a distribuição mais estados no tempo n. A distribuição inicial é Pr(X0 = x). A evolução do processo através de um passo de tempo é descrita pela
Nota: O expoente (n) é um índice e não um expoente.
Propriedades
editarRedutibilidade
editarUm estado j é dito ser acessível a partir de um estado i (escrito 'i → j) se um sistema começou no estado i tem uma probabilidade diferente de zero de transição para o estado j em algum ponto. Formalmente, o estado j é acessível a partir do estado i, se existe um inteiro nij ≥ 0 tal que
Este inteiro é permitido para ser diferente para cada par de estados, portanto, os subscritos em nij. Permitindo que n seja zero significa que cada estado é definida para ser acessível a partir de si mesmo.
Um estado i é dito para se comunicar com o estado j (escrito i ↔ j) se ambos i → j e j → i. Um conjunto de estados C é uma classe de comunicação se cada par de estados em C comunica com o outro. Uma classe comunicação está fechado se a probabilidade de deixar a classe é zero, ou seja, que se i estiver em C, mas j não, então j não é acessível a partir de i. Pode-se mostrar que a comunicação neste sentido é uma relação de equivalência e, assim, que as classes comunicantes são as classes de equivalência dessa relação.
O conjunto de classes comunicantes forma, um gráfico acíclico dirigido por herdar as setas do espaço estado original. Uma classe comunicação está fechado, se e somente se ele não tem setas de saída neste gráfico.
Um estado i é dito ser essencial ou final se para todo j tal que i → j também é verdade que j → i. Um estado i é não-essencial se não é essencial.[7] Um estado é definitiva se e somente se sua classe comunicação está fechado.
A cadeia de Markov é dito ser irredutível se o seu espaço de estado é uma classe única comunicação; em outras palavras, se é possível chegar a qualquer estado de qualquer estado.
Periodicidade
editarUm estado i tem período k se houver retorno ao estado i deve ocorrer em múltiplos de passos de tempo k. Formalmente, o período de um estado é definido como
(Onde "mdc" é o maior divisor comum), desde que este conjunto não é vazio. Caso contrário, o período não está definido. Note-se que mesmo que um estado tem período k, pode não ser possível atingir o estado em k passos. Por exemplo, suponha que é possível voltar ao estado em {6, 8, 10, 12, ...} intervalos de tempo; k seria 2, embora 2 não aparece nesta lista.
Se k = 1, então o estado é dito ser aperiódico: retorno ao estado i pode ocorrer em períodos irregulares. Pode ser demonstrado que um estado i é aperiódico se e somente se existe n tal que para todo n' ≥ n,
Caso contrário (k > 1), o estado é dito ser periódico com período k. A cadeia de Markov é aperiódica se cada estado é aperiódico. Uma cadeia de Markov irredutível só precisa de um estado aperiódico para implicar que todos os estados são aperiódicos.
Cada estado de um grafo bipartido tem um período regular.
Transitoriedade
editarUm estado i é dito transitório, se, uma vez que começamos no estado i, existe uma probabilidade não nula de que nunca voltará a i. Formalmente, seja a variável aleatória Ti o primeiro tempo de retorno ao estado i (o "hitting time"):
O número
é a probabilidade de voltar para o estado i pela primeira vez após n passos. Portanto, o estado i é transitório se
O estado i é recorrente (ou persistente) se não é transitório. Estados recorrentes tem garantidos (com probabilidade 1) um hitting time finito. Recorrência e transitoriedade são propriedades de classe, isto é, elas são válidas ou não de forma igual para todos os membros de uma classe comunicante.
Tempo médio de recorrência
editarMesmo que o hitting time seja finito com probabilidade 1, ele não precisa de ter uma expectativa finita. O tempo de recorrência média no estado i é o tempo de retorno esperado Mi:
Estado i é recorrente positivo (ou persistente não-nulo) se Mi é finito; caso contrário, o estado i é recorrente nulo (ou persistente nulo).
Número esperado de visitas
editarPode ser mostrado que um estado i é recorrente se e somente se o número esperado de visitas a este estado é infinito, isto é,
Absorvendo estados
editarUm estado i é chamado de absorção, se é impossível sair deste estado. Portanto, o estado i está absorvendo se e somente se
Se cada estado pode chegar a um estado de absorção, então a cadeia de Markov é uma cadeia de Markov absorvente.
Ergodicidade
editarUm estado i é dito ser ergódico se ele tem uma recorrência aperiódica e positiva. Em outras palavras, um estado i é ergódico se for recorrente, tem um período de 1 e tem tempo de recorrência média finita. Se todos os estados em uma cadeia de Markov irredutível são ergódicos, então a cadeia é ergódica.
É possível mostrar que uma cadeia de Marvok irredutível de estado finito é ergódica se ela tem um estado aperiódico. A cadeia de Markov tem a propriedade ergódica se há um número finito N tal que qualquer estado pode ser alcançado a partir de qualquer outro estado em exatamente N passos. No caso de uma matriz de transição totalmente ligada, em que todas as transições têm uma probabilidade não nula, esta condição é preenchida com N = 1. A cadeia de Markov com mais de um estado e apenas uma transição de sair por estado não pode ser ergódica.
Análise de estado estacionário e distribuições limitantes
editarSe a cadeia de Markov é uma cadeia de Markov de tempo homogénea, de modo que o processo é descrito por uma única matriz que independe do tempo , então o vetor é chamado de distribuição estacionária (ou medida invariante) se satisfaz
Uma cadeia irredutível tem uma distribuição estacionária se e somente se todos os seus estados são recorrentes positivos.[8] Nesse caso, π é único e está relacionada com o tempo de retorno esperado:
onde é a constante de normalização. Além disso, se a cadeia positiva recorrente é irredutível e aperiódica, diz-se que tem uma distribuição limitante; para qualquer i e j,
Note-se que não existe qualquer hipótese da distribuição inicial; a cadeia converge para a distribuição estacionária independentemente de onde ele começa. Tal é chamado de distribuição em equilíbrio da cadeia.
Se uma cadeia tem mais de uma classe comunicante fechada, suas distribuições estacionárias não serão únicas (considere qualquer classe comunicante fechada na cadeia, cada uma terá a sua própria distribuição estacionária única . Estendendo essas distribuições à cadeia global, definindo todos os valores a zero fora da classe comunicante, resulta que o conjunto de medidas invariantes da cadeia original é o conjunto de todas as combinações convexas da { ). No entanto, se um estado j é aperiódico, então
e para qualquer outro estado i, sendo fij a probabilidade de que a cadeia visite o estado j, se ele começa no i,
Se um estado i é periódico com período k > 1, então o limite
não existe, embora o limite
exista para cada inteiro r.
Análise de estado estacionário e na cadeia de Markov de tempo não homogêneo
editarA cadeia de Markov não precisa ser necessariamente o tempo homogêneo para ter uma distribuição de equilíbrio. Se há uma distribuição de probabilidade sobre estados tal que
para cada estado j e cada tempo n, então é uma distribuição em equilíbrio da cadeia de Markov. Tal situação pode ocorrer em métodos de cadeia de Markov de Monte Carlo (MCMC) em situações em que um número de diferentes matrizes de transição são usadas, porque cada uma é eficaz para um tipo particular de mistura, mas cada matriz respeita uma distribuição de equilíbrio partilhada.
Espaço de estado finito
editarSe o espaço de estados é finito, a distribuição de probabilidade de transição pode ser representada por uma matriz, chamada de matriz de transição, com o (i, j)-ésimo elemento de P igual
Uma vez que cada fileira de P soma um e todos os elementos são não-negativos, P é uma matriz estocástica direita.
Relação distribuição estacionária de vetores próprios e simplices
editarUm π distribuição estacionária é um vetor (linha), cujos elementos são não-negativos e somam 1, mantém-se inalterado pela operação da matriz de transição P sobre ele e por isso é definida pela
Ao comparar essa definição com a de um vetor próprio vemos que os dois conceitos estão relacionados e que
é um múltiplo normalizado ( ) de um vetor próprio esquerdo e' da matriz de transição PT com um valor próprio de 1. Se houver mais do que uma unidade de vetor próprio em seguida, a soma ponderada dos correspondentes estados estacionários é também um estado estacionário. Mas para uma cadeia de Markov é geralmente mais interessados em um estado estacionário que é o limite das distribuições de sequência para alguma distribuição inicial.
Os valores de distribuição estacionária estão associadas com o espaço de estado de P e seus vetores próprios têm as suas proporções relativas preservadas. Uma vez que os componentes do π são positivos e a restrição de que a sua soma é a unidade pode ser reescrita como vemos que o produto do ponto de π com um vetor cujos componentes são todos 1 é unitário e que π encontra-se em um simplex.
Cadeia de Markov de tempo homogêneo com um espaço de estado finito
editarSe a cadeia de Markov é vez homogênea, em seguida, a matriz de transição P é o mesmo depois de cada passo, de modo que a probabilidade de transição do passo k pode ser calculado como a potência k da matriz de transição Pk.
Se a cadeia de Markov é irredutível e aperiódica, então há uma distribuição estacionária única π. Além disso, neste caso Pk converge para uma matriz de posto um em que cada linha é o π distribuição estacionária, que é,
onde 1 é o vetor coluna com todas as entradas iguais a 1. Isto é afirmado pelo teorema de Perron-Frobenius. Se, por qualquer meio, é encontrado, então a distribuição estacionária da cadeia de Markov em questão pode ser facilmente determinada para qualquer distribuição, tal como será explicado abaixo.
Para algumas matrizes estocásticos P, o limite {\ displaystyle \ scriptstyle \ lim \ limites _ {k \ a \ infty} \ mathbf {P} ^ {k}} não existe enquanto a distribuição estacionária faz, como mostra este exemplo:
Observe que este exemplo ilustra uma cadeia de Markov periódica.
Uma vez que existem um número de diferentes casos especiais a considerar, o processo de encontrar este limite se existir pode ser uma tarefa longa. No entanto, existem muitas técnicas que podem ajudar a encontrar esse limite. Seja P uma matriz n × n, e definir {\ displaystyle \ scriptstyle \ mathbf {Q} = \ lim _ {k \ a \ infty} \ mathbf {P} ^ {k}.}
É verdade que sempre
Subtraindo 'Q de ambos os lados e fatorando, tem os resultados
Onde In é a matriz identidade de tamanho n e 0n,n é a matriz zero de tamanho n×n. Multiplicando juntos matrizes estocásticos sempre produz uma outra matriz estocástica, então Q deve ser uma matriz estocástica (ver definição acima). Por vezes é suficiente para utilizar a equação da matriz acima e o facto de que Q é uma matriz estocástica de resolver por Q, incluindo o facto de que a soma de cada uma das linhas em P é 1, existem n+1 equações para determinar n incógnitas, por isso é computacionalmente mais fácil se, por um lado uma seleciona uma linha em Q e substituir cada um dos seus elementos por uma, e por outro um substituir o elemento correspondente (a uma na mesma coluna) no vetor de 0, e ao lado esquerdo - multi este último vetor pelo inverso da antiga matriz transformada para encontrar Q.
Aqui é um método para fazê-lo: em primeiro lugar, definir a função f(A) para retornar a matriz A com a sua coluna mais à direita substituído com toda a 1s. Se [f(P − In)]−1 existe, em seguida,
A equação matriz original é equivalente a um sistema de n × n equações lineares em n × n variáveis. E existem n equações lineares mais a partir do facto de que Q é uma matriz estocástica direito cujo cada linha somas para 1. Por isso, necessita de qualquer N × n equações lineares independentes das equações (N × N + N) para resolver os n × n variáveis. Neste exemplo, os n equações de "Q multiplicado pela coluna mais à direita de (P-Na)" foram substituídos por aqueles N estocásticos.
Uma coisa a notar é que, se P tem um elemento Pi,i na sua diagonal principal, que é igual a 1 e a linha om ou coluna i-ésima é preenchida com zeros, então essa linha ou coluna permanecerá inalterada em todos os poderes subsequentes Pk . Assim, a i-ésima linha ou coluna de Q terá os 1 e os 0 de nas mesmas posições como em P.
Velocidade de convergência para a distribuição estacionária
editarComo afirmado anteriormente, a partir da equação , (se existir) o estacionária (ou steady state) π distribuição é um autovetor esquerdo da linha da matriz estocástica P. Em seguida, assumindo que P é diagonalizável ou equivalentemente que P tem n autovetores linearmente independentes, a velocidade de convergência é elaborado da seguinte forma. (Para não diagonalizável, ou seja, matrizes defeituosos, pode-se começar com a forma normal Jordan de P e prosseguir com o conjunto um pouco mais envolvidos de argumentos de uma maneira similar.[9])
Seja U a matriz de autovetores (cada um normalizado para ter uma norma L2 igual a 1), onde cada coluna é um vetor próprio esquerdo do P e deixe Σ a matriz diagonal de valores próprios à esquerda de P, ou seja, Σ = diag(λ1,λ2,λ3,...,λn). Então, por eigendecomposição
Deixe os valores próprios ser enumerados tal que 1 = |λ1| > |λ2| ≥ |λ3| ≥ ... ≥ |λn|. Uma vez que P é uma matriz estocástica de linha, o seu maior valor próprio esquerda é 1. Se houver uma distribuição estacionário original, em seguida, o valor próprio maior e o vetor próprio correspondente é também único (porque não existe nenhum outro π que resolve a equação distribuição estacionária acima). Seja ui a coluna i da matriz U, ou seja, ui é o autovetor esquerdo de P correspondente a λi. Também sendo x ser um vetor linha comprimento n que representa uma distribuição de probabilidade válida; já que os autovetores ui se distribuem por Rn, podemos escrever
por algum conjunto de ai∈ℝ. Se começa-se a multiplicação de P com x da esquerda e continuar esta operação com os resultados, no final, obtém-se o π distribuição estacionária. Em outras palavras, π = ui ← xPPP...P = xPk como k vai para infinito. Que significa
desde UU−1 = I, a matriz de identidade e de energia de uma matriz diagonal também é uma matriz diagonal em que cada entrada é feita para que o poder.
uma vez que os vetores próprios são ortonormais. Então[10]
Desde π = u1, π(k) abordagens para π como k vai para infinito com uma velocidade na ordem de λ2/λ1 exponencialmente. Isto acontece porque |λ2| ≥ |λ3| ≥ ... ≥ |λn|, portanto, λ2/λ1 é o termo dominante. Um ruído aleatório na distribuição de estado π também pode acelerar essa convergência com a distribuição estacionária.[11]
Cadeia de Markov reversíveis
editarUma cadeia de Markov é dita ser reversível se existe uma distribuição de probabilidade π sobre os seus estados tais que
para todos os tempos n e todos os estados i e j. Esta condição é conhecida como condição de balanço detalhado (alguns livros chamam a equação de balanço local).
Considerando-se um tempo arbitrário n fixo e usando a abreviação
a equação do balanço detalhado pode ser escrita de forma mais compacta como
O tempo de um só passo a partir de n a n+1 pode ser pensado como tendo cada pessoa i que inicialmente πi dólares e pagar cada pessoa j uma fração pij dela. A condição de balanço detalhado afirma que a cada pagamento, a outra pessoa paga exatamente a mesma quantidade de dinheiro de volta. [12] É evidente que a quantidade total de dinheiro π que cada pessoa tem permanece o mesmo após o passo de tempo, uma vez que cada dólar gasto é equilibrado por um dólar correspondente recebida. Isto pode ser demonstrado mais formalmente pela igualdade
{\ Displaystyle \ sum _ {i} \ pi _ {i} p_ {ij} = \ sum _ {i} \ pi _ {j} p_ {ji} = \ pi _ {j} \ sum _ {i} p_ {ji} = \ pi _ {j} \ ,,}
que afirma essencialmente que a quantidade total de dinheiro pessoa j recebe (incluindo de si mesmo) durante o passo de tempo é igual à quantidade de dinheiro que ele paga a outros, o que equivale a todo o dinheiro que tinha inicialmente porque foi assumido que todo o dinheiro é gasto (ie pji resume a 1 sobre i). A suposição é uma questão técnica, porque o dinheiro não é realmente usada é simplesmente pensado como sendo pagos de pessoa j para si mesmo (isto é PJJ não é necessariamente zero).
Como n foi arbitrária, este raciocínio é válido para qualquer n, e, portanto, para reversíveis Cadeias de Markov π é sempre uma distribuição no estado estacionário de Pr (Xn + 1 = j | Xn = i) para cada n.
Se a cadeia de Markov começa na distribuição em estado estacionário, isto é, se Pr (X0 = i) = πi, em seguida, Pr (Xn = i) = πi para todos os n e a equação de equilíbrio detalhada pode ser escrito como
{\ Displaystyle \ Pr (X_ {n} = i, X_ {n + 1} = j) = \ Pr (X_ {n + 1} = i, X_ {n} = j) \ ,.}
Os lados esquerdo e direito desta última equação são idênticas, exceto para uma reversão dos índices de tempo n e n + 1. critério de Kolmogorov dá uma condição necessária e suficiente para uma cadeia de Markov para ser reversível directamente a partir das probabilidades de transição de matriz. O critério exige que os produtos de probabilidades em torno de cada circuito fechado são os mesmos em ambas as direcções em torno do circuito.
Cadeias de Markov reversíveis são comuns na cadeia de Markov Monte Carlo (MCMC) se aproxima, porque a equação do balanço detalhado para a π distribuição desejada implica necessariamente que a cadeia de Markov foi construído de modo que π é uma distribuição em estado estacionário. Mesmo com correntes de Markov de tempo não homogénea, em que múltiplas matrizes de transição são usados, se cada matriz de transição exibe equilíbrio detalhada com a distribuição π desejado, isto implica necessariamente que π é uma distribuição em estado estacionário da cadeia de Markov.
Cadeia de Markov reversível mais próxima
editarPara qualquer cadeia de Markov de tempo homogêneo dada por uma matriz de transição , qualquer norma em que é induzido por um produto escalar, e qualquer vetor probabilidade , existe uma matriz de transição única que é reversível de acordo com a e que está mais próxima de de acordo com a norma . A matriz pode ser calculada resolvendo um problema de otimização quadrático-convexa.[13]
Por exemplo, considere a seguinte cadeia de Markov:
Esta cadeia de Markov não é reversível. De acordo com o Frobenius Norm a cadeia de Markov reversíveis mais próximo de acordo com pode ser calculado como
Se escolher o vetor de probabilidade aleatoriamente como , então a cadeia de Markov reversível mais próxima de acordo com a norma de Frobenius é dada aproximadamente pela
Esquema de Bernoulli
editarUm esquema de Bernoulli é um caso especial de uma cadeia de Markov, onde a matriz de probabilidades de transição tem linhas idênticas, o que significa que o próximo estado é ainda independente do estado corrente (para além de serem independentes dos estados anteriores). Um esquema de Bernoulli com apenas dois estados possíveis é conhecido como um processo de Bernoulli.
Espaço geral do estado
editarPara uma visão geral de cadeias de Markov em um espaço geral do estado, ver as cadeias de Markov artigo em um espaço de estado mensurável.
Cadeias Harris
editarMuitos resultados para cadeias de Markov com espaço de estados finitos podem ser generalizados para cadeias com espaço de estado incontável através de cadeias de Harris. A idéia principal é para ver se há um ponto no espaço de estado que os hits da cadeia com probabilidade um. Geralmente, não é verdadeiro para o espaço de estado contínuo, no entanto, podemos definir conjuntos A e B, juntamente com um número positivo ε e uma medida de probabilidade ρ, de tal modo que
Em seguida, pode entrar em colapso os conjuntos em um ponto auxiliar α, e uma cadeia Harris recorrente pode ser modificado para conter α. Finalmente, o conjunto de cadeias Harris é um nível confortável de generalidade, a qual é ampla o suficiente para conter um grande número de exemplos interessantes, ainda restritiva suficiente para permitir uma teoria rica.
O uso de cadeias de Markov em cadeia de Markov métodos de Monte Carlo abrange casos em que o processo segue um espaço de estado contínuo.
Cadeias de Markov interagindo localmente
editarConsiderando-se uma coleção de cadeias de Markov cuja evolução leva em conta o estado de outras cadeias de Markov, está relacionada com a noção de interagir localmente cadeias de Markov. Isso corresponde à situação em que o espaço de estado tem uma forma de produto (Cartesian-). Veja interagindo sistema de partículas e autômatos celulares estocástico (probabilística autômatos celulares). Ver, por exemplo Interação de Markov processos. [14] or[15]
Aplicações
editarA pesquisa tem relatado a aplicação e utilidade das cadeias de Markov em uma ampla gama de tópicos, tais como a física, química, medicina, música, teoria dos jogos e esportes.
Física
editarsistemas Markovianos aparecem extensivamente em termodinâmica e mecânica estatística, sempre que as probabilidades são usados para representar detalhes desconhecidos ou não modelados do sistema, se pode presumir-se que a dinâmica é invariante no tempo, e que nenhuma história relevante precisa ser considerado que não estiver incluído na descrição do estado.
Química
editarCadeias de Markov e processos de Markov de tempo contínuo são úteis em química quando os sistemas físicos aproximam a propriedade de Markov. O modelo clássico da actividade da enzima, a cinética de Michaelis-Menten, pode ser visto como uma cadeia de Markov, onde em cada etapa de tempo a reacção prossegue em algum sentido. Enquanto Michaelis-Menten é bastante simples, redes de reacção muito mais complicados também podem ser modeladas com cadeias de Markov.
Um algoritmo baseado numa cadeia de Markov também foi utilizado para focar o crescimento baseado no fragmento de produtos químicos in silico no sentido de uma classe desejada de compostos, tais como fármacos ou produtos naturais.[16] Como uma molécula é cultivada, um fragmento é seleccionado a partir da molécula nascente como o estado "corrente". Não é do conhecimento do seu passado (isto é, não está consciente de que já se encontra ligado a ele). É, em seguida, passa para o próximo estado, quando um fragmento é ligado a ele. As probabilidades de transição são treinados em bases de dados das classes autênticas de compostos.
Além disso, o crescimento (e composição) dos copolímeros pode ser modelada utilizando cadeias de Markov. Com base nas relações de reactividade dos monómeros que formam a cadeia polimérica em crescimento, a composição da corrente pode ser calculada (por exemplo, se monómeros tendem a adicionar de forma alternada ou em funcionamentos longos do mesmo monómero). Devido aos efeitos estéricos, de segunda ordem efeitos de Markov pode também desempenhar um papel no crescimento de algumas cadeias de polímero.
Do mesmo modo, tem sido sugerido que a cristalização e o crescimento de alguns dos materiais de óxido de superrede epitaxiais pode ser descrito com precisão por Cadeias de Markov.[17]
Ensaio
editarMuitos teóricos têm proposto a idéia do teste estatístico cadeia de Markov (MCST), um método de conjunção cadeias de Markov para formar um "Markov cobertor", organizando essas cadeias em várias camadas recursiva ( "wafering") e produção de testes mais eficientes conjuntos-amostras -como um substituto para testes exaustivos. MCSTs também têm usos em redes baseadas no estado temporais; O artigo de Chilukuri et al. intitulado "temporais Networks Incerteza raciocínio para Evidence fusão com Aplicações para objeto de Detecção e Acompanhamento" (ScienceDirect) dá um estudo de fundo e caso para aplicar MCSTs a uma ampla gama de aplicações.
Reconhecimento de fala
editarmodelos ocultos de Markov são a base para a maioria dos sistemas de reconhecimento de voz automáticas modernas.
Ciências da informação
editarCadeias de Markov são usados em todo o processamento da informação. famosa 1948 de papel uma teoria matemática de Claude Shannon de comunicação, que em uma única etapa criou o campo da teoria da informação, abre com a introdução do conceito de entropia através de modelagem Markov do idioma Inglês. Tais modelos idealizados pode capturar muitas das regularidades estatísticas de sistemas. Mesmo sem descrever a estrutura completa do sistema perfeitamente, tais modelos de sinal podem tornar possível a compressão de dados muito eficaz através de técnicas de codificação de entropia, como codificação aritmética. Eles também permitem que estimação de estado eficaz e reconhecimento de padrões. Cadeias de Markov também desempenham um papel importante no aprendizado por reforço.
Cadeias de Markov são também a base para modelos ocultos de Markov, que são um instrumento importante para diversas áreas como redes telefónicas (que utilizam o algoritmo Viterbi para correção de erro), reconhecimento de voz e bioinformática (como na detecção de rearranjos[18]).
O algoritmo de compressão de dados sem perdas LZMA combina cadeias de Markov com compressão Lempel-Ziv para alcançar taxas de compressão muito elevados.
Teoria de filas
editarCadeias de Markov são a base para o tratamento analítico das filas (teoria de filas). Agner Krarup Erlang iniciou o assunto em 1917[19]. Isso os torna crítico para otimizar o desempenho de redes de telecomunicações, em que as mensagens devem muitas vezes competem por recursos limitados (como a largura de banda).[20]
Aplicações de Internet
editarO PageRank de uma página da web como usado pelo Google é definida por uma cadeia de Markov.[21] É a probabilidade de estar em página displaystyle na distribuição estacionária sobre a seguinte cadeia de Markov em todas as páginas Web (conhecidas). Se é o número de páginas da Web conhecidas, e uma página tem links para ela, então ele tem probabilidade de transição para todas as páginas que estão ligadas a ela e para todas as páginas que estão não ligadas. O parâmetro é considerado como sendo cerca de 0,85.
Os modelos de Markov também têm sido utilizados para analisar o comportamento de navegação Web de utilizadores. web link transição de um usuário em um determinado site pode ser modelado usando modelos de Markov de ordem segunda primeira ou e pode ser usado para fazer previsões sobre a navegação futuro e para personalizar a página da web para um usuário individual.
Estatística
editarmétodos da cadeia de Markov também se tornaram muito importantes para a geração de sequências de números aleatórios para refletir com precisão as distribuições de probabilidade desejados muito complicadas, através de um processo chamado de Markov chain Monte Carlo (MCMC). Nos últimos anos, este tem revolucionado a praticabilidade de métodos de inferência bayesiana, permitindo uma ampla gama de distribuições posteriores a ser simulada e seus parâmetros encontrados numericamente.
Economia e finanças
editarCadeias de Markov são utilizados em finanças e economia para modelar uma variedade de diferentes fenômenos, incluindo os preços dos ativos e falhas de mercado. O primeiro modelo financeiro para usar uma cadeia de Markov foi de Prasad et al. em 1974.[22] Outro foi o modelo de mudança de regime de James D. Hamilton (1989), em que uma cadeia de Markov é usado para modelar alterna entre períodos de crescimento alta e baixa do PIB (ou, alternativamente, expansões econômicas e recessões).[23] Um exemplo mais recente é o modelo Multifractal Switching Markov de Laurent E. Calvet e Adlai J. Fisher, que foi construído sobre a conveniência de modelos anteriores de mudança de regime.[24][25] Ele usa um arbitrariamente grande cadeia de Markov para dirigir o nível de volatilidade dos retornos de ativos.
Macroeconomia dinâmica usa fortemente cadeias de Markov. Um exemplo está usando cadeias de Markov de preços modelo exogenamente de equidade (estoque) em um ambiente de equilíbrio geral.[26]
As agências de notação produzir tabelas anuais das probabilidades de transição para as obrigações de diferentes classificações de crédito. [27]
Ciências Sociais
editarCadeias de Markov são geralmente usados para descrever argumentos dependentes do caminho, onde as configurações estruturais atuais condicionam os resultados futuros. Um exemplo é a reformulação da ideia, originalmente devido a de Karl Marx Das Kapital, amarrando o desenvolvimento econômico com a ascensão do capitalismo. Na pesquisa atual, é comum o uso de uma cadeia de Markov para modelar como quando um país atinge um determinado nível de desenvolvimento económico, a configuração de fatores estruturais, tais como tamanho da burguesia comercial, a proporção da população urbana à residência rural, a taxa de de mobilização política, etc., irá gerar uma maior probabilidade de transição de autoritário para o regime democrático.[28]
Biologia matemática
editarCadeias de Markov também têm muitas aplicações na modelagem biológica, em particular os processos de populações, que são úteis em processos de modelagem que são (pelo menos) análogo ao populações biológicas. A matriz de Leslie é um exemplo deste tipo, embora algumas das suas entradas não são probabilidades (que pode ser maior do que 1). Outro exemplo é a modelação das células em forma dividindo folhas de células epiteliais.[29] Ainda um outro exemplo é o estado dos canais de íons em membranas celulares.
Cadeias de Markov também são utilizados em simulações da função cerebral, tais como a simulação do neocórtex de mamífero.[30]
Genética
editarCadeias de Markov têm sido usados em genética de populações, a fim de descrever a mudança nas frequências de genes em pequenas populações afectadas por deriva genética, por exemplo, na forma de equação de difusão descrita por Motoo Kimura.[31]
Jogos
editarCadeias de Markov pode ser usado para modelar muitos jogos de azar. jogos infantis Snakes and Ladders e "Hi Ho! Cherry-O", por exemplo, são representados exatamente por cadeias de Markov. Em cada turno, o jogador começa em um determinado estado (em um determinado quadrado) e de lá tem chances de se mudar para alguns outros estados (quadrados) fixo.
Música
editarCadeias de Markov são empregados na composição de música algorítmica, particularmente em softwares como o CSound, Max e SuperCollider. Em uma cadeia de primeira ordem, os estados do sistema tornam-se valores de notas ou de breu, e um vetor de probabilidade para cada nota é construído, completando uma matriz de probabilidade de transição (ver abaixo). Um algoritmo é construído para produzir valores de notas de saída com base nos coeficientes de matriz de transição, que pode ser valores MIDI de nota, de frequência (Hz), ou qualquer outra métrica desejável.[32] matriz de 1ª ordem
Nota | A | C♯ | E♭ |
---|---|---|---|
A | 0.1 | 0.6 | 0.3 |
C♯ | 0.25 | 0.05 | 0.7 |
E♭ | 0.7 | 0.3 | 0 |
Notas | A | D | G |
---|---|---|---|
AA | 0.18 | 0.6 | 0.22 |
AD | 0.5 | 0.5 | 0 |
AG | 0.15 | 0.75 | 0.1 |
DD | 0 | 0 | 1 |
DA | 0.25 | 0 | 0.75 |
DG | 0.9 | 0.1 | 0 |
GG | 0.4 | 0.4 | 0.2 |
GA | 0.5 | 0.25 | 0.25 |
GD | 1 | 0 | 0 |
Uma cadeia de Markov de segunda ordem pode ser introduzida ao considerar o estado atual e também o estado anterior, conforme indicado na segunda tabela. Cadeias de ordem "n" tendem a "agrupar" notas particulares juntas, enquanto 'quebrando' para outros padrões e sequências ocasionalmente. Estas cadeias de ordem superior tendem a gerar resultados com um sentido de estrutura frasal, ao invés do 'vaguear' produzido por um sistema de primeira ordem.[33]
Cadeias de Markov podem ser usadas estruturalmente, como na Analogique A e B de Xenakis.[34] Cadeias de Markov também são utilizadas em sistemas que utilizam um modelo de Markov para reagir interativamente a entrada de música.[35]
Normalmente sistemas musicais precisa impor restrições de controle específicas sobre as sequências de comprimento finito que geram, mas as restrições de controle não são compatíveis com os modelos de Markov, uma vez que induzem dependências de longo alcance que violam a hipótese de Markov de memória limitada. De modo a ultrapassar esta limitação, uma nova abordagem tem sido proposta.[36]
Beisebol
editarModelos de cadeia de Markov foram usados na análise de beisebol avançado desde 1960, embora a sua utilização é ainda raro. Cada meio-turno de um jogo de beisebol se encaixa o estado da cadeia de Markov, quando o número de corredores e saídas são considerados. Durante qualquer no bastão, existem 24 possíveis combinações de número de saídas e a posição dos corredores. Mark Pankin mostra que modelos de cadeia de Markov pode ser usado para avaliar corridas criadas para ambos os jogadores individuais, bem como uma equipe.[37] Ele também discute vários tipos de estratégias e condições de jogo: como os modelos da cadeia de Markov têm sido usados para analisar estatísticas para situações de jogo, tais como Bunting e base de roubo e diferenças quando se joga na grama ou na relva sintética.[38]
Geradores de texto de Markov
editarprocessos de Markov também pode ser usado para gerar texto superficialmente com aparência real dado um documento de exemplo: eles são usados em uma variedade de software de recreio "gerador de paródia" (ver comunicado de imprensa dissociada, Jeff Harrison,[39] Mark V Shaney[40][41]). Esses processos também são usados por spammers para injetar parágrafos ocultos aparência reais em e-mail não solicitado e postar comentários em uma tentativa de obter essas mensagens passado filtros de spam.
No campo da bioinformática, eles podem ser utilizados para simular as sequências de ADN.[42]
Ajustando
editarAo ajustar uma cadeia de Markov aos dados, situações nas quais os parâmetros descrevem mal a situação podem destacar tendências interessantes.[43][44][45]
História
editarAndrey Markov produziu os primeiros resultados (1906) para estes processos, puramente teórica. A generalização para enumeravelmente espaços estatais infinitas foi dada por Kolmogorov (1936). Cadeias de Markov estão relacionados com o movimento Browniano e a hipótese ergódica, dois tópicos da física que eram importante nos primeiros anos do século XX. No entanto, Markov exercido pela primeira vez este em 1906 como parte de seu argumento contra Pavel Nekrasov, em particular para fazer o caso que a lei dos grandes números pode ser estendido para eventos dependentes.[46] Em 1913, ele aplicou suas descobertas para os primeiros 20.000 cartas de Eugene Onegin de Pushkin.[46] Em 1917, a aplicação mais prática de seu trabalho foi feito por Erlang obter fórmulas para a perda de chamadas e tempo de espera nas redes telefônicas.[19]
Seneta fornece uma conta de motivações de Markov e desenvolvimento inicial da teoria.[47] O termo "cadeia" foi utilizado pela Markov (1906) sugerem que uma sequência de variáveis dependentes emparelhadas.[48]
- ↑ Norris, James R. (1998). Markov chains. [S.l.]: Cambridge University Press. Consultado em 4 de março de 2016
- ↑ Everitt,B.S. (2002) The Cambridge Dictionary of Statistics. CUP. ISBN 0-521-81099-X
- ↑ Parzen, E. (1962) Stochastic Processes, Holden-Day. ISBN 0-8162-6664-6 (Table 6.1))
- ↑ Dodge, Y. (2003) The Oxford Dictionary of Statistical Terms, OUP. ISBN 0-19-920613-9 (entry for "Markov chain")
- ↑ Meyn, S. Sean P., and Richard L. Tweedie. (2009) Markov chains and stochastic stability. Cambridge University Press. (Preface, p. iii)
- ↑ S. P. Meyn and R.L. Tweedie, 2005. Markov Chains and Stochastic Stability
- ↑ Asher Levin, David (2009). Markov chains and mixing times. [S.l.: s.n.] p. 16. ISBN 978-0-8218-4739-8. Consultado em 4 de março de 2016
- ↑ Serfozo, Richard (2009), «Basics of Applied Stochastic Processes», ISBN 978-3-540-89331-8, Berlin: Springer-Verlag, Probability and Its Applications: 35, MR 2484222, doi:10.1007/978-3-540-89332-5
- ↑ Florian Schmitt and Franz Rothlauf, "On the Mean of the Second Largest Eigenvalue on the Convergence Rate of Genetic Algorithms", Working Paper 1/2001, Working Papers in Information Systems, 2001. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.28.6191
- ↑ Gene H. Golub, Charles F. Van Loan, "Matrix computations", Third Edition, The Johns Hopkins University Press, Baltimore and London, 1996.
- ↑ Franzke, Brandon; Kosko, Bart (1 October 2011). «Noise can speed convergence in Markov chains». Physical Review E. 84 (4). doi:10.1103/PhysRevE.84.041112 Verifique data em:
|data=
(ajuda) - ↑ Richard Durrett (19 May 2012). Essentials of Stochastic Processes. [S.l.]: Springer Science & Business Media. p. 37. ISBN 978-1-4614-3615-7 Verifique data em:
|data=
(ajuda) - ↑ : A. Nielsen and M. Weber, "Computing the nearest reversible Markov chain". Numerical Linear Algebra with Applications, 22(3):483-499, 2015.
- ↑ Spitzer, Frank (1970). «Interaction of Markov Processes». Advances in Mathematics. 5 (2): 246–290. doi:10.1016/0001-8708(70)90034-4
- ↑ R. L. Dobrushin; V. I. Kri︠u︡kov; A. L. Toom (1978). Stochastic Cellular Systems: Ergodicity, Memory, Morphogenesis. [S.l.: s.n.] ISBN 9780719022067. Consultado em 4 de março de 2016
- ↑ Kutchukian, Peter; Lou, David; Shakhnovich, Eugene (2009). «FOG: Fragment Optimized Growth Algorithm for the de Novo Generation of Molecules occupying Druglike Chemical». Journal of Chemical Information and Modeling. 49 (7): 1630–1642. PMID 19527020. doi:10.1021/ci9000458
- ↑ Kopp, V. S.; Kaganer, V. M.; Schwarzkopf, J.; Waidick, F.; Remmele, T.; Kwasniewski, A.; Schmidbauer, M. (2011). «X-ray diffraction from nonperiodic layered structures with correlations: Analytical calculation and experiment on mixed Aurivillius films». Acta Crystallographica Section a Foundations of Crystallography. 68: 148–155. doi:10.1107/S0108767311044874
- ↑ Pratas, D; Silva, R; Pinho, A; Ferreira, P (May 18, 2015). «An alignment-free method to find and visualise rearrangements between pairs of DNA sequences.». Scientific Reports (Group Nature). 5 (10203): 10203. PMID 25984837. doi:10.1038/srep10203 Verifique data em:
|data=
(ajuda) - ↑ a b O'Connor, John J.; Robertson, Edmund F., «Horadrim/Testes8», MacTutor History of Mathematics archive, Universidade de St. Andrews
- ↑ S. P. Meyn, 2007. Control Techniques for Complex Networks, Cambridge University Press, 2007.
- ↑ Patente E.U.A. 6 285 999
- ↑ Prasad, NR; RC Ender; ST Reilly; G Nesgos (1974). «Allocation of resources on a minimized cost basis». 1974 IEEE Conference on Decision and Control including the 13th Symposium on Adaptive Processes. 13: 402–3. doi:10.1109/CDC.1974.270470[ligação inativa]
- ↑ Hamilton, James (1989). «A new approach to the economic analysis of nonstationary time series and the business cycle». Econometrica, Vol. 57, No. 2. Econometrica. 57 (2): 357–84. JSTOR 1912559. doi:10.2307/1912559
- ↑ Calvet, Laurent E.; Fisher, Adlai J. (2001). «Forecasting Multifractal Volatility». Journal of Econometrics. 105 (1): 27–58. doi:10.1016/S0304-4076(01)00069-0
- ↑ Calvet, Laurent; Adlai Fisher (2004). «How to Forecast long-run volatility: regime-switching and the estimation of multifractal processes». Journal of Financial Econometrics. 2: 49–83. doi:10.1093/jjfinec/nbh003
- ↑ Brennan, Michael; Xiab, Yihong. «Stock Price Volatility and the Equity Premium» (PDF). Department of Finance, the Anderson School of Management, UCLA[ligação inativa]
- ↑ A Markov Chain Example in Credit Risk Modelling Columbia University lectures
- ↑ Acemoglu, Daron; Georgy Egorov; Konstantin Sonin (2011). «Political model of social evolution». Proceedings of the National Academy of Sciences. 108: 21292–21296. doi:10.1073/pnas.1019454108[ligação inativa]
- ↑ Gibson, Matthew C; Patel, Ankit P.; Perrimon, Norbert; Perrimon, Norbert (2006). «The emergence of geometric order in proliferating metazoan epithelia». Nature. 442 (7106): 1038–1041. PMID 16900102. doi:10.1038/nature05014
- ↑ George, Dileep; Hawkins, Jeff (2009). Friston, Karl J., ed. «Towards a Mathematical Theory of Cortical Micro-circuits». PLoS Comput Biol. 5 (10): e1000532. PMC 2749218 . PMID 19816557. doi:10.1371/journal.pcbi.1000532
- ↑ Watterson, G. (1996). "Motoo Kimura's Use of Diffusion Theory in Population Genetics". Theoretical Population Biology 49 (2): 154–188. doi:10.1006/tpbi.1996.0010. PMID 8813021.
- ↑ K McAlpine; E Miranda; S Hoggar (1999). «Making Music with Algorithms: A Case-Study System». Computer Music Journal. 23 (2): 19–30. doi:10.1162/014892699559733
- ↑ Curtis Roads (ed.) (1996). The Computer Music Tutorial. [S.l.]: MIT Press. ISBN 0-262-18158-4
- ↑ Xenakis, Iannis; Kanach, Sharon (1992) Formalized Music: Mathematics and Thought in Composition, Pendragon Press. ISBN 1576470792
- ↑ Continuator Arquivado em 13 de julho de 2012, no Wayback Machine.
- ↑ Pachet, F.; Roy, P.; Barbieri, G. (2011) "Finite-Length Markov Processes with Constraints", Proceedings of the 22nd International Joint Conference on Artificial Intelligence, IJCAI, pages 635-642,Barcelona, Spain, July 2011
- ↑ Pankin, Mark D. «MARKOV CHAIN MODELS: THEORETICAL BACKGROUND». Consultado em 26 de novembro de 2007
- ↑ Pankin, Mark D. «BASEBALL AS A MARKOV CHAIN». Consultado em 24 de abril de 2009
- ↑ Poet's Corner – Fieralingue Arquivado em 6 de dezembro de 2010, no Wayback Machine.
- ↑
Kenner, Hugh; O'Rourke, Joseph (November 1984). «A Travesty Generator for Micros». BYTE. 9 (12): 129–131, 449–469 Verifique data em:
|data=
(ajuda) - ↑ Hartman, Charles (1996). Virtual Muse: Experiments in Computer Poetry. Hanover, NH: Wesleyan University Press. ISBN 0-8195-2239-2
- ↑
Pratas, Diogo; Bastos, Carlos; Pinho, Armando; Neves, Antonio; Matos, Luis (June 2011). DNA synthetic sequences generation using multiple competing Markov models. Statistical Signal Processing Workshop (SSP), 2011 IEEE. 9 (12). pp. 133–136. doi:10.1109/SSP.2011.5967639 Verifique data em:
|data=
(ajuda) - ↑ Avery, P. J.; Henderson, D. A. (1999). «Fitting Markov Chain Models to Discrete State Series Such as DNA Sequences». Journal of the Royal Statistical Society. 48 (1): 53–61. JSTOR 2680818. doi:10.1111/1467-9876.00139
- ↑ Shmilovici A. & Ben-Gal I. (2007). «Using a VOM Model for Reconstructing Potential Coding Regions in EST Sequences,» (PDF). Journal of Computational Statistics, vol. 22, no. 1, 49–69. Consultado em 4 de março de 2016
- ↑ http://www.eng.tau.ac.il/~bengal/VOM_EST.pdf
- ↑ a b Hayes, Brian (March–April 2013). «First Links in the Markov Chain». American Scientist. 101: 92–97 Verifique data em:
|data=
(ajuda) - ↑ Seneta, E. (1996). «Markov and the Birth of Chain Dependence Theory». International Statistical Review. 64 (3): 255–263. JSTOR 1403785. doi:10.2307/1403785
- ↑ Upton, G.; Cook, I. (2008). Oxford Dictionary of Statistics. [S.l.]: OUP. ISBN 978-0-19-954145-4