Teorema de Bayes

Em teoria das probabilidades e estatística, o teorema de Bayes (alternativamente, a lei de Bayes ou a regra de Bayes) descreve a probabilidade de um evento, baseado em um conhecimento a priori que pode estar relacionado ao evento. O teorema mostra como alterar as probabilidades a priori tendo em vista novas evidências para obter probabilidades a posteriori. Por exemplo, o teorema de Bayes pode ser aplicado ao jogo das três portas (também conhecido como problema de Monty Hall).

Uma das muitas aplicações do teorema de Bayes é a inferência bayesiana, uma abordagem particular da inferência estatística. Quando aplicado, as probabilidades envolvidas no teorema de Bayes podem ter diferentes interpretações de probabilidade. Com a interpretação bayesiana de probabilidade, o teorema expressa como a probabilidade de um evento (ou o grau de crença na ocorrência de um evento) deve ser alterada após considerar evidências sobre a ocorrência deste evento. A inferência bayesiana é fundamental para a estatística bayesiana.

O teorema de Bayes recebe este nome devido ao pastor e matemático inglês Thomas Bayes (1701 – 1761), que foi o primeiro a fornecer uma equação que permitiria que novas evidências atualizassem a probabilidade de um evento a partir do conhecimento a priori (ou a crença inicial na ocorrência de um evento). O teorema de Bayes foi mais tarde desenvolvido por Pierre-Simon Laplace, que foi o primeiro a publicar uma formulação moderna em 1812 em seu livro Teoria Analítica de Probabilidade, na tradução do francês. Harold Jeffreys colocou o algoritmo de Bayes e a formulação de Laplace em uma base axiomática. Jeffreys escreveu que "o teorema de Bayes é para a teoria da probabilidade o que o teorema de Pitágoras é para a geometria".

Placa de neon, mostrando a expressão do teorema de Bayes.

História

Visualização do teorema de Bayes.

O teorema de Bayes recebe este nome devido ao pastor e matemático inglês Thomas Bayes (1701 – 1761), que estudou como calcular a distribuição para o parâmetro de probabilidade de uma distribuição binomial (terminologia moderna). O manuscrito não publicado de Bayes foi editado significativamente por Richard Price antes de ser lido postumamente na Royal Society. Price editou o principal trabalho de Bayes An Essay towards Solving a Problem in the Doctrine of Chances (1763), que aparece em Philosophical Transactions e contém o teorema de Bayes. Price escreveu uma introdução para o artigo, que fornece algumas das bases filosóficas da estatística bayesiana. Em 1765, Price foi eleito membro da Royal Society em reconhecimento ao seu trabalho sobre o legado de Bayes.

O matemático francês Pierre-Simon Laplace reproduziu e estendeu os resultados de Bayes em 1774, aparentemente sem ter conhecimento do trabalho de Bayes. A interpretação bayesiana da probabilidade foi desenvolvida principalmente por Laplace. Stephen Stigler sugeriu em 1983 que o teorema de Bayes foi descoberto pelo matemático inglês cego Nicholas Saunderson pouco antes de Bayes. Entretanto, esta interpretação tem sido contestada. Martyn Hooper e Sharon McGrayne argumentaram que a contribuição de Richard Price foi substancial: 

“ Por padrões modernos, devemos nos referir à regra Bayes–Price. Price descobriu o trabalho de Bayes, reconheceu sua importância, corrigiu–o, contribuiu para o artigo e encontrou um uso para ele. A convenção moderna de empregar apenas o nome de Bayes é injusta, mas tão arraigada que faz todo o resto não ter quase nenhum sentido. ”

Definição formal

Visão esquemática do teorema de Bayes, em que $Bi$ é uma partição do espaço de probabilidade $\Omega$ e $A$ é um evento qualquer.

O teorema de Bayes é um corolário da lei da probabilidade total, expresso matematicamente na forma da seguinte equação:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$,

em que $A$ e $B$ são eventos e $P(B)\neq 0$.

O teorema de Bayes também pode ser escrito da seguinte maneira:

$P(A\mid B)\,P(B)=P(A\cap B)=P(B\cap A)=P(B\mid A)\,P(A)=P(A\mid B)\,P(B)$

• $P(A)$ e $P(B)$ são as probabilidades a priori de $A$ e $B$;
• $P(A\mid B)$ é a probabilidade a posteriori (probabilidade condicionada) de $A$ condicional a $B$;
• $P(B\mid A)$ é a probabilidade a posteriori (probabilidade condicionada) de $B$ condicional a $A$.

Exemplo

Diagrama em árvore para o teste de droga, em que U, Ū, + e − são os eventos representando usuário, não usuário, resultado positivo e resultado negativo, respectivamente. As porcentagens entre parêntesis são calculadas.

Teste de drogas

Seja um teste de drogas 99% sensível e 99% específico. Isto é, o teste produzirá 99% de resultados verdadeiros positivos para usuários de drogas e 99% de resultados verdadeiros negativos para não-usuários de drogas. Suponha que 0,5% das pessoas são usuárias de drogas. Se um indivíduo selecionado aleatoriamente testar positivo, qual a probabilidade de ele ser usuário de drogas? Isto é, qual a probabilidade de não se cometer um falso positivo?

${\begin{aligned}P({\text{usuário}}\mid {\text{+}})&={\frac {P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})}{P(+)}}\\&={\frac {P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})}{P({\text{+}}\mid {\text{usuário}})P({\text{usuário}})+P({\text{+}}\mid {\text{não usuário}})P({\text{não usuário}})}}\\[8pt]&={\frac {0,99\times 0,005}{0,99\times 0,005+0,01\times 0,995}}\\[8pt]&\approx 33,2\%\end{aligned}}$

Mesmo com a aparente precisão do teste, se um indivíduo testar positivo, é mais provável que ele não seja do que ele seja usuário de drogas. Isto porque o número de não-usuários é muito maior que o número de usuários de drogas. Então, o número de falsos positivos supera o número de positivos verdadeiros. Para usar números concretos, se 1000 indivíduos forem testados, espera–se que 995 não sejam usuários e 5 sejam usuários de drogas. Para os 995 não-usuários de drogas, são esperados $0,01\times 995\approx 10$ falsos positivos. Para os 5 usuários de drogas, são esperados $0,99\times 5\approx 5$ positivos verdadeiros. Isto é, dos 15 resultados positivos, apenas 5 (ou 33%) são genuínos. Isto ilustra a importância da probabilidade condicional e como políticas podem ser equivocadas se as probabilidades condicionais forem negligenciadas.

A importância da especificidade pode ser observada calculando–se que, mesmo se a sensibilidade for aumentada para 100% e a especificidade permanecer em 99%, a probabilidade do indivíduo ser um usuário de drogas subirá apenas de 33,2% para 33,4%. Entretanto, se a sensibilidade for mantida em 99% e a especificidade for aumentada para 99,5%, então a probabilidade do indivíduo ser um usuário de droga sobe para cerca de 49,9%.

Interpretações

Visualização geométrica do teorema de Bayes. Na tabela, os valores 3, 1, 2 e 6 fornecem os pesos relativos de cada caso e condição correspondente. As imagens mostram as células da tabela envolvidas em cada métrica, sendo a probabilidade a fração de cada figura que está sombreada. Isto mostra que: $P(A\mid B)\times P(B)=P(B\mid A)\times P(A)$. Isto é: $P(A\mid B)={\frac {P(B\mid A)\times P(A)}{P(B)}}$. Um raciocínio semelhante mostra que: $P({\bar {A}}\mid B)={\frac {P(B\mid {\bar {A}})\times P({\bar {A}})}{P(B)}}$.

A interpretação do teorema de Bayes depende da interpretação da probabilidade atribuída aos termos. As duas interpretações principais são descritas abaixo.

Interpretação bayesiana

Na interpretação bayesiana (ou epistemológica), a probabilidade mede o grau de crença. O teorema de Bayes liga o grau de crença em uma posição antes e depois de se considerar as evidências. Por exemplo, acredita–se com 50% de certeza que uma moeda tem o dobro de probabilidade de cair cara. Se a moeda for jogada várias vezes, o grau de crença pode aumentar, diminuir ou se manter igual dependendo dos resultados observados (ver inferência bayesiana).

Para proposição $A$ e evidência $B$:

• $P(A)$ (probabilidade a priori) é o grau de crença inicial em $A$;
• $P(A\mid B)$ (probabilidade a posteriori) é o grau de crença que representa $B$;
• O quociente ${\frac {P(B\mid A)}{P(B)}}$ é o suporte que $B$ fornece para $A$.

Interpretação frequencista

Ilustração da interpretação frequentista com o diagrama de árvore. O teorema de Bayes liga as probabilidades condicionais aos seus inversos.

Na interpretação frequencista, a probabilidade mede uma proporção de resultados. Por exemplo, suponha-se que uma experiência seja realizada muitas vezes. $P(A)$ é a proporção de resultados com propriedade $A$ e $P(B)$ é a proporção de resultados com propriedade $B$. $P(B\mid A)$ é a proporção de resultados com propriedade $B$, excluindo os resultados sem propriedade $A$, e $P(A\mid B)$ é a proporção de resultados com propriedade $A$, excluindo os resultados sem propriedade $B$.

Probabilidades condicionais

Ver artigo principal: Probabilidade condicionada

O papel do teorema de Bayes é melhor visualizado com o diagrama de árvore. Os dois diagramas dividem os mesmos resultados em $A$ e em $B$ em ordens opostas, para obter as probabilidades inversas. O teorema de Bayes serve como ligação entre estas diferentes partições.

Por exemplo, um entomologista vê o que poderia ser uma rara subespécie de besouro devido a um padrão em suas costas. Nas subespécies raras, 98% dos indivíduos tem o padrão. Isto é, $P({\text{padrão}}\mid {\text{raro}})=98\%$. Nas subespécies comuns, 5% dos indivíduos tem o padrão. Estas subespécies raras correspondem a apenas 0,1% da população. Então, qual a probabilidade do besouro com padrão ser raro? Em outras palavras, qual o valor de $P({\text{raro}}\mid {\text{padrão}})$?

Da expressão estendida do teorema de Bayes (uma vez que qualquer besouro pode ser apenas raro ou comum), tem–se:

${\begin{aligned}P({\text{raro}}\mid {\text{padrão}})&={\frac {P({\text{padrão}}\mid {\text{raro}})P({\text{raro}})}{P({\text{padrão}}\mid {\text{raro}})P({\text{raro}})+P({\text{padrão}}\mid {\text{comum}})P({\text{comum}})}}\\[8pt]&={\frac {0,98\times 0,001}{0,98\times 0,001+0,05\times 0,999}}\\[8pt]&\approx 1,9\%\end{aligned}}$

Isto é, o besouro com um padrão nas costas encontrado pelo entomologista tem probabilidade de 1,9% de ser raro.

Formas

Eventos

Forma simples

Para eventos $A$ e $B$, dado $P(B)\neq 0$:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}$.

Na inferência bayesiana, deseja-se saber o grau de crença em um evento (ou conjunto de eventos) $A$, condicionalmente à ocorrência de um evento (ou conjunto de eventos) $B$ fixado (quantidade que é conhecida como distribuição a posteriori). O teorema de Bayes mostra que a distribuição a posteriori é proporcional à probabilidade de $B$ dado $A$ (que corresponde à função de verossimilhança da amostra) vezes a probabilidade de A (chamada de probabilidade a priori ou grau de crença antes da coleta de evidências):

$P(A\mid B)\propto P(A)\times P(B\mid A)\$ (proporcionalmente sobre $A$ para dado $B$).

Forma alternativa

Outra forma do teorema de Bayes que é geralmente encontrada quando são consideradas duas afirmações ou hipóteses concorrentes é:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid A^{c})P(A^{c})}}$.

Para proposição $A$ e evidência $B$:

• $P(A)$ (probabilidade a priori) é o grau de crença inicial em $A$;
• $P(A^{c})$ é a probabilidade correspondente do grau de crença inicial contra $A$. $P(A^{c})=1-P(A)$;
• $P(B\mid A)$ (probabilidade condicional ou verossimilhança) é o grau de crença em $B$, dado que a proposição $A$ é verdadeira;
• $P(B\mid A^{c})$(probabilidade condicional ou verossimilhança) é o grau de crença em $B$, dado que a proposição $A$ é falsa;
• $P(A\mid B)$ (probabilidade a posteriori) é a probabilidade para $A$, após considerar $B$ para e contra $A$.

Forma estendida

Para alguma partição $\{A_{j}\}$ do espaço amostral, muitas vezes o espaço do evento é dado em termos de $P(A_{j})$ e $P(B\mid A_{j})$. Isto é útil para calcular $P(B)$, usando a lei de probabilidade total:

$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})}\Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}$.

Variáveis aleatórias

Diagrama ilustrando o significado do teorema de Bayes como aplicado a um espaço de evento gerado por variáveis aleatórias contínuas $X$ e $Y$. Existe uma instância do teorema de Bayes para cada ponto no domínio. Na prática, estas instâncias podem ser parametrizadas escrevendo as densidades de probabilidade específicas como funções de $x$ e $y$.

Seja o espaço amostral $\Omega$ gerado por duas variáveis aleatórias $X$ e $Y$. Em princípio, o teorema de Bayes aplica–se aos eventos $A=\{X=x\}$ e $B=\{Y=y\}$. Entretanto, os termos se tornam 0 nos pontos em que qualquer variável tem densidade de probabilidade finita. Para continuar útil, o teorema de Bayes pode ser formulado em termos de densidades relevantes.

Forma simples

Se $X$ é contínua e $Y$ é discreta,

$f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}.$

Se $X$ é discreta e $Y$ é contínua,

$P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}.$

Se $X$ e $Y$ são contínuas,

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}},$

em $f_{X}$ e $f_{Y}$ representam as funções de distribuição de probabilidade de $X$ e $Y$, respectivamente.

Forma estendida

Diagrama ilustrando como um espaço de evento gerado por variáveis aleatórias contínuas $X$ e $Y$geralmente é concebido.

Um espaço de evento contínuo muitas vezes é dado em termos dos termos do numerador. Então, é útil eliminar o denominador usando a lei de probabilidade total. Para $f_{Y}(y)$, isto se torna uma integral:

$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .$

Regra de Bayes

A regra da Bayes é o teorema de Bayes na forma de chances:

$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$,

em que

$\Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$

é chamado de fator Bayes ou razão de verossimilhança. As chances entre os dois eventos é simplesmente a razão entre as probabilidades dos dois eventos.

Então,

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},$

$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}.$

Portanto, a regra de Bayes afirma que as chances posteriores são as chances iniciais multiplicadas pelo fator de Bayes. Em outras palavras, as probabilidades a posteriori são proporcionais às probabilidades a priori.

Derivação

Para eventos

O teorema de Bayes pode ser derivado a partir da definição de probabilidade condicional:

$P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ se }}P(B)\neq 0,\!$

$P(B\mid A)={\frac {P(B\cap A)}{P(A)}},{\text{ se }}P(A)\neq 0,\!$

pois $P(B\cap A)=P(A\cap B)$.

Então,

$P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A)\!$

Logo, ajustando-se os termos, tem-se:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}},{\text{ se }}P(B)\neq 0.$

Para variáveis aleatórias

Para duas variáveis aleatórias contínuas $X$ e $Y$, o teorema de Bayes pode ser analogamente derivado da definição de probabilidade condicional:$f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$

$f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.$

Ver também

• Epistemologia bayesiana
• Filtro bayesiano
• Inferência bayesiana

Leitura adicional

• Bruss, F. Thomas (18 de setembro de 2013). «250 years of "An essay towards solving a problem in the doctrine of chances. By the late Rev. Mr. Bayes, F.R.S. communicated by Mr. Price, in a letter to John Canton, A.M.F.R.S."». Jahresbericht der Deutschen Mathematiker-Vereinigung – Springer Journals. 115 (3-4): 129-133. doi:10.1365/s13291-013-0069-z 
• Bussab, Wilton de O.; Morettin, Pedro A. (2010). Estatística Básica 6 ed. São Paulo: Saraiva. 540 páginas 
• DeDeo, Simon (30 de novembro de 2016). «Bayesian Reasoning for Intelligent People» (PDF). Consultado em 8 de junho de 2016 
• Farias, Ana Maria Lima de; Laurencel, Luiz da Costa (2006). «Probabilidade». Universidade Federal Fluminense (UFF) 
• Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2014). Bayesian data analysis 3 ed. Boca Raton: Chapman & Hall 
• Grinstead, Charles M.; Snell, J. Laurie (2003). Introduction to Probability (PDF). [S.l.]: American Mathematical Society 
• Hazewinkel, Michiel (2001). Encyclopedia of mathematics. [S.l.: s.n.] 
• Laplace, Pierre-Simon (1840). Essai philosophique sur les probabilités (em francês). Paris: Bachelier 
• Laplace, Pierre-Simon (1986). «Memoir on the probability of the causes of events». Statistical Science. 1 (3): 364-378. JSTOR 2245476 
• Lee, Peter M (2012). Bayesian statistics: an introduction 4 ed. [S.l.]: John Wiley & Sons. 486 páginas. ISBN 978-1-118-33257-3 
• Mcgrayne, Sharon B. (2011). The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy. London: Yale University Press. JSTOR j.ctt1np76s 
• Puga, Jorge L.; Krzywinski, Martin; Altman, Naomi (2015). «Points of Significance: Bayes' theorem» (PDF). Nature Methods. 12 (4): 277-278 
• Rosenthal, Jeffrey S. (2005). Struck by Lightning: The Curious World of Probabilities 1 ed. [S.l.]: HarperCollins. ISBN 978-0309097345 
• Stigler, Stephen M. (1986). «Laplace's 1774 Memoir on Inverse Probability». Statistical Science. 1 (3): 359-378 
• Stone, James V. (2013). Bayes' Rule: A tutorial introduction to Bayesian Analysis 1 ed. [S.l.]: Sebtel Press. ISBN 978-0-9563728-4-0 

Ligações externas

• An Intuitive Explanation of Bayes' Theorem
• Bayes Theorem and the Possibility of False Claims
• Conditional Probability Explained Visually (Bayes' Theorem)
• Earliest Known Uses of Some of the Words of Mathematics (B)
• Explaining Bayesian Problems Using Visualizations
• Probability and Bayes’ Theorem
• The Mathematics of Changing Your Mind
• Weisstein, Eric W. Bayes' Theorem. From MathWorld--A Wolfram Web Resource.