Informação mútua

Em teoria das probabilidades e teoria da informação, a informação mútua (em inglês MI de en:Mutual information) de duas variáveis aleatórias é a medida da dependência mútua entre as duas variáveis. Mais especificamente, a informação mútua quantifica a informação (em unidades como shannons, mais conhecidos como bits) que uma variável aleatória contém acerca da outra. O conceito de informação mútua esta intrinsicamente ligado ao da entropia de uma variável aleatória, uma noção fundamental da teoria da informação, que define a "quantidade de informação" contida em uma variável aleatória.

Diagrama mostrando as relações aditivas e subtrativas de várias medidas de informação associadas com as variaveis correlacionadas X e Y. A área contida pelos dois círculos é a entropia conjunta Η(X,Y). O círculo na esquerda (vermelho e violeta) é a entropia individual H(X), sendo o círculo vermelho a entropia condicional Η(X|Y). O círculo na direita (azul e violeta) é H(Y), sendo o azul Η(Y|X). O círculo violeta é a informação mútua I(X;Y)

Não sendo limitado a variáveis aleatória com valores reais como o coeficiente de correlação, a MI é mais genérica e determina quão similar a distribuição conjunta p(X,Y) é à dos produtos das distribuições marginais p(X)p(Y). MI é o valor esperado da pointwise mutual information (PMI).

Definição

Formalmente a informação mútua de duas variáveis aleatórias discretas, X e Y pode ser definida como:

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},$

onde p(x,y) é a distribuição de probabilidade conjunta de X e Y, e $p(x)$ e $p(y)$ são funções de probabilidade de distribuição marginal de X e Y, respectivamente. No caso de variáveis aleatórias contínuas, a somatória é substituída por uma integral dupla definida:

$I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,$

onde p(x,y) é agora a função de densidade de probabilidade conjunta de X e Y, p(x) e p(y) são funções de densidade de probabilidade marginal de X e Y, respectivamente.

Usando o logaritmo de base 2, a unidade da informação mútua será bits.

Motivação

Intuitivamente, a informação mútua mede a informação compartilhada entre X e Y: ela mede quanto o conhecimento de uma destas variáveis reduz a incerteza sobre a outra. Por exemplo, se X e Y são independentes, então conhecer X não fornece nenhuma informação sobre Y e vice versa, então a informação mútua delas será zero. No outro extremo, se X for uma função determinística de Y e Y for uma função determinística de X então toda a informação contida em X é compartilhada por Y: conhecer X determina o valor de Y e vice versa. Como resultado, neste caso a informação mútua é o mesmo que a incerteza contida em Y (ou X) sozinha, chamada de entropia de Y (ou X). Além disto, esta informação mútua é a mesma que a entropia de X e também que a entropia de Y. (Um caso bem especial disto é quando X e Y são a mesma variável aleatória.)

Informação mútua é uma medida da dependência inerente expressada pela distribuição de probabilidade conjunta de X e Y relativas à distribuição conjuntas de X e Y assumindo que sejam independentes. Informação mútua portanto mede a dependência no sentido que: I(X; Y) = 0 se e somente se X e Y são variáveis aleatórias independentes. Isto é fácil de ver num dos sentidos: se X e Y são independentes, então p(x,y) = p(x)p(y), e portanto:

$\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.$

Além disto, a informação mútua é não-negativa (i.e. I(X;Y) ≥ 0; veja abaixo) e uma função simétrica (i.e. I(X;Y) = I(Y;X)).

Propriedades

• $I(X;Y)\geq 0$;

• $I(X;Y)=0$ se, e somente se, X e Y forem variáveis aleatórias independentes;

• $I(X;Y)=I(Y;X)$

Dada a forte relação entre Informação Mútua e Entropia, temos os seguintes corolários:

• $0\leq H(X|Y)\leq H(X)$, $0\leq H(Y|X)\leq H(Y)$;

• $H(X,Y)\leq H(X)+H(Y)$

Relação com outras quantidades

Não-negatividade

Usando a desigualdade de Jensen na definição da informação mútua podemos mostrar que I(X;Y) é não-negativa, i.e.

$I(X;Y)\geq 0$

Relação com a entropia condicional e conjunta

Informação mútua pode ser expressada equivalentemente como

${\begin{aligned}I(X;Y)&{}\equiv \mathrm {H} (X)-\mathrm {H} (X|Y)\\&{}\equiv \mathrm {H} (Y)-\mathrm {H} (Y|X)\\&{}\equiv \mathrm {H} (X)+\mathrm {H} (Y)-\mathrm {H} (X,Y)\\&{}\equiv \mathrm {H} (X,Y)-\mathrm {H} (X|Y)-\mathrm {H} (Y|X)\end{aligned}}$

onde $\mathrm {H} (X)$ e $\mathrm {H} (Y)$ são entropias marginais, Η(X|Y) e Η(Y|X) são as entropias condicionais, e Η(X,Y) é a entropia conjunta de X e Y. Note a analogia da união, diferença e intersecção de dois conjuntos, conforme ilustrado no diagrama de Venn. Em termos de canais de comunicação nos quais a saída $Y$ é uma versão ruídosa da entrada $X$, essas relações estão resumidas na figura abaixo.

Relações entre as quantidades da teoria da informação

Como I(X;Y) é não-negativa, consequentemente, $\mathrm {H} (X)\geq \mathrm {H} (X|Y)$. Aqui temos a dedução detalhada de I(X;Y) = Η(Y) – Η(Y|X):

${\begin{aligned}I(X;Y)&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}}\\&{}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)}}-\sum _{x,y}p(x,y)\log p(y)\\&{}=\sum _{x,y}p(x)p(y|x)\log p(y|x)-\sum _{x,y}\log p(y)p(x,y)\\&{}=\sum _{x}p(x)\left(\sum _{y}p(y|x)\log p(y|x)\right)-\sum _{y}\log p(y)\left(\sum _{x}p(x,y)\right)\\&{}=-\sum _{x}p(x)\mathrm {H} (Y|X=x)-\sum _{y}p(y)\log p(y)\\&{}=-\mathrm {H} (Y|X)+\mathrm {H} (Y)\\&{}=\mathrm {H} (Y)-\mathrm {H} (Y|X).\\\end{aligned}}$

As provas das outras identidades acima são similares.

Intuitivamente, se a entropia H(Y) é considerada como uma medida da incerteza sobre uma variável aleatória, então H(Y|X) é uma medida do quanto X não diz sobre Y. Isto é "a quantidade de incerteza restando sobre Y depois que X é conhecido", e então o lado direito da primeira dessas igualdades pode ser lido como "a quantidade de incerteza em Y, menos a quantidade de incerteza em Y que sobra após X ser conhecido", que é equivalente à "quantidade de incerteza em Y que é removida por conhecer X". O que corrobora o sentido intuitivo da informação mútua como a quantidade de informação (ou seja, redução da incerteza) que conhecer qualquer variável produz sobre a outra.

Note que no caso discreto H(X|X) = 0 e portanto Η(X) = I(X;X). Então, I(X;X) ≥ I(X;Y), e pode-se formular o princípio básico que uma variável contém pelo menos tanta informação sobre si mesma quanto qualquer outra variável pode fornecer.

Relação com a divergência de Kullback-Leibler

Informação mútua também pode ser expressa como uma divergência de Kullback-Leibler do produto das distribuições marginais, p(x) x p(y), de duas variável aleatórias X e Y, e da distribuição conjunta p(x,y) das variáveis:

$I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)p(y)).$

Além disso, faça p(x|y) = p(x, y) / p(y). Então

${\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x|y)\log _{2}{\frac {p(x|y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }(p(x|y)\|p(x))\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(p(x|y)\|p(x))\}.\end{aligned}}$

Note-se aqui que a divergência de Kullback-Leibler envolve a integração a respeito apenas da variável aleatória X e que a expressão $D_{\mathrm {KL} }(p(x|y)\|p(x))$ é agora uma variável aleatória em Y. Então a informação mútua pode ser entendida como o valor esperado da divergência de Kullback-Leibler da distribuição univariável p(x) de X da distribuição condicional p(x|y) de X dado Y: quanto mais diferentes são as distribuições p(x|y) e p(x) na média, maior é a divergência de Kullback-Leibler.

Estimativa bayesiana da informação mútua

É fazer a estimativa bayesiana da informação mútua de uma distribuição conjunta baseada em amostras da distribuição. O primeiro trabalho a fazer isto, que também demonstrou como fazer uma estimativa Bayesiana de muitas outras informações teóricas além da informação mútua, foi. Pesquisadores subsequentes rederivaram e estenderam esta análise. Veja para um artigo recente baseado em anteriores especialmente personalizados para a estimação da informação mútua em específico.

Variações

Diversas variações da informação mútua foram propostas para acomodar necessidades diversas. Entre essas existem variantes normalizadas e generalizações para mais do que duas variáveis.

Métrica

Muitas aplicações requerem uma métrica, ou seja, uma medida de distância entre pares de pontos. A quantidade

${\begin{aligned}d(X,Y)&=\mathrm {H} (X,Y)-I(X;Y)\\&=\mathrm {H} (X)+\mathrm {H} (Y)-2I(X;Y)\\&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)\end{aligned}}$

satisfaz as propriedades de uma métrica (desigualdade triangular, não negatividade, indiscernibilidade e simetria). Esta métrica de distância é também conhecida como variação da informação.

Se $X,Y$ são variáveis aleatórias discretas então todos os termos de entropia são não-negativos, assim $0\leq d(X,Y)\leq \mathrm {H} (X,Y)$ e pode-se definir uma distância normalizada

$D(X,Y)=d(X,Y)/\mathrm {H} (X,Y)\leq 1.$

A métrica D é uma métrica universal, no sentido de que se qualquer outra medida de distância colocar X e Y próximos, então D também irá julgá-los próximos.

Colocando as definições, demonstra-se que

$D(X,Y)=1-I(X;Y)/\mathrm {H} (X,Y).$

Numa interpretação da informação na teoria dos conjuntos (veja o diagrama de Venn nesta páginas), esta é efetivamente a distância de Jaccard entre X e Y.

Finalmente,

$D^{\prime }(X,Y)=1-{\frac {I(X;Y)}{\max(\mathrm {H} (X),\mathrm {H} (Y))}}$

também é uma métrica.

Informação mútua condicional

Às vezes é útil expressar a informação mútua de duas variáveis aleatórias condicionadas por uma terceira.

${\begin{aligned}&{}I(X;Y|Z)=\mathbb {E} _{Z}{\big (}I(X;Y)|Z{\big )}=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{Z}(z)p_{X,Y|Z}(x,y|z)\log {\frac {p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}},\end{aligned}}$

que pode ser simplificado como

${\begin{aligned}&{}I(X;Y|Z)=\\&{}\sum _{z\in Z}\sum _{y\in Y}\sum _{x\in X}p_{X,Y,Z}(x,y,z)\log {\frac {p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}}.\end{aligned}}$

Condicionar numa terceira variável aleatória pode também aumentar ou diminuir a informação mútua, mas é sempre verdadeiro que

$I(X;Y|Z)\geq 0$

para variáveis aleatórias discretas X, Y e Z distribuídas conjuntamente. Este resultado pode ser usado como um base de construção para fornecer outras desigualdades na teoria da informação.

Informação mútua de multivariáveis

Diversas generalizações da informação mútua para mais do que duas variáveis aleatórias foram propostas, tais como en:total correlation e en:interaction information. Se a entropia de Shannon é vista como uma en:signed measure no contexto de diagramas de informação, como explicado no artigo en:Information theory and measure theory, então a única definição de informação mútua multivariável que faz sentido é o seguinte:

$I(X_{1};X_{1})=\mathrm {H} (X_{1})$

e para $n>1,$

$I(X_{1};\,...\,;X_{n})=I(X_{1};\,...\,;X_{n-1})-I(X_{1};\,...\,;X_{n-1}|X_{n}),$

onde (como acima) definimos

$I(X_{1};\,...\,;X_{n-1}|X_{n})=\mathbb {E} _{X_{n}}{\big (}I(X_{1};\,...\,;X_{n-1})|X_{n}{\big )}.$

(Esta definição de informação mútua multivariável é idêntica a da en:interaction information com exceção de uma mudança de sinais quando o número de variáveis aleatórias é ímpar.)

Aplicações

A aplicação cega de diagramas de informação para desenvolver a definição acima foi criticada e realmente encontrou-se aplicações práticas limitadas já que é dificil de visualizar ou perceber o significado desta quantidade para um número grande de variáveis aleatórias. Ele pode ser zero, positivo ou negativo para qualquer número ímpar de variáveis $n\geq 3.$

Um modelo generalizado de grandes dimensões que maximiza a informação mútua entre distribuições conjuntas e outras variáveis encontrou-se útil em seleção de atributos para aprendizado de máquinas.

Informação mútua também é utilizada na área de processamento de sinais como uma medida de similaridade entre dois sinais. Por exemplo a métrica FMI que é uma medida da performance de fusão de imagens utilizando a informação mútua para medir a quantidade de informação que a imagem fundida contém das imagens originais. O código MATLAB para esta métrica pode ser encontrado em.

Informação direcionada

Informação direcionada, $I(X^{n}\to Y^{n})$, mede a quantidade de informação que flui do processo $X^{n}$ para $Y^{n}$, onde $X^{n}$ denota o vetor $X_{1},X_{2},...,X_{n}$ e $Y^{n}$ denota $Y_{1},Y_{2},...,Y_{n}$. O termo "informação direcionada" foi criado por en:James Massey e é definido como

$I(X^{n}\to Y^{n})=\sum _{i=1}^{n}I(X^{i};Y_{i}|Y^{i-1})$.

Note que se n = 1, a informação direcionada se torna a informação mútua. Informação direcionada tem muitas aplicações em problemas onde a casualidade tem um papel importante, como a capacidade de um canal com retroalimentação.

Variantes Normalizadas

Variantes normalizadas da informação mútua são fornecidas pelos coeficientes de restrição, coeficientes de incerteza ou proficiência:

$C_{XY}={\frac {I(X;Y)}{\mathrm {H} (Y)}}~~~~{\mbox{and}}~~~~C_{YX}={\frac {I(X;Y)}{\mathrm {H} (X)}}.$

Os dois coeficientes não são necessariamente iguais. Em alguns casos uma medida de simetria pode ser desejada, como a medida de redundância a seguir:

$R={\frac {I(X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}$

que atinge o mínimo de zero quando as variáveis são independentes e um valor máximo de

$R_{\max }={\frac {\min(\mathrm {H} (X),\mathrm {H} (Y))}{\mathrm {H} (X)+\mathrm {H} (Y)}}$

quando uma das variáveis se torna completamente redundante com o conhecimento da outra. Ver também en:Redundancy (information theory). Outra medida simétrica é a incerteza simétrica (Witten & Frank 2005), dada por

$U(X,Y)=2R=2{\frac {I(X;Y)}{\mathrm {H} (X)+\mathrm {H} (Y)}}$

que representa a média harmônica de dois coeficientes de incerteza $C_{XY},C_{YX}$.

Se considerarmos a informação mútua como um caso especial da correlação total ou correlação total dupla, as versões normalizadas são respetivamente

${\frac {I(X;Y)}{\min \left[\mathrm {H} (X),\mathrm {H} (Y)\right]}}$ e ${\frac {I(X;Y)}{\mathrm {H} (X,Y)}}\;.$

Esta versão normalizada também conhecida como relação qualidade informação (em inglês Information Quality Ratio ou IQR) que quantifica a porção de informação de uma variável baseada em outra variável contra a incerteza total:

$IQR(X,Y)=E[I(X;Y)]={\frac {I(X;Y)}{\mathrm {H} (X,Y)}}={\frac {\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x)p(y)}}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log {p(x,y)}}}-1$

Existe uma normalização que deriva da primeira noção de informação mútua como análoga à covariância (então a entropia da informação é análoga à variância). Assim, a informação mútua normalizada é calculada de forma semelhante ao coeficiente de correlação de Pearson,

${\frac {I(X;Y)}{\sqrt {\mathrm {H} (X)\mathrm {H} (Y)}}}\;.$

Variantes ponderadas

Variantes ponderadas ou pesadas são a fórmula tradicional da informação mútua,

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

onde cada evento ou objeto especificado por $(x,y)$ é ponderado por uma probabilidade correspondente $p(x,y)$. Isto assume que todos os objetos ou eventos são equivalentes afora sua probabilidade de ocorrência. Entretanto, em algumas aplicações pode ocorrer de certos objetos ou eventos serem mais significativos que outros, ou que certos padrões de associação serem mais importantes semanticamente do que outros.

Por exemplo, o mapa determinístico $\{(1,1),(2,2),(3,3)\}$ pode ser visto como mais forte do que o mapa determinístico $\{(1,3),(2,1),(3,2)\}$, embora essas relações possam produzir a mesma informação mútua. Isto é pela informação mútua não ser nem um pouco sensitiva à qualquer ordem inerente aos valores das variáveis (Cronbach 1954, Coombs, Dawes & Tversky 1970, Lockhead 1970), e não ser portanto nada sensitiva à forma do mapa relacional das variáveis associadas. Se for desejado que o primeiro mapa determinístico-mostrando uma concordância de todos os valores das variáveis-seja jugado mais forte que o último mapa, então é possível usar a seguinte informação mútua ponderada (Guiasu 1977).

$I(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},$

que coloca um peso $w(x,y)$ na probabilidade de co-ocorrência de cada valor das variáveis, $p(x,y)$. Isto permite que certas probabilidade carreguem maior ou menor significância do que outras, assim permitindo a quantificação da relevância de fatores holisticos ou de Prägnanz. No exemplo acima, usar pesos relativamente maiores para $w(1,1)$, $w(2,2)$, e $w(3,3)$ teria o mesmo efeito que assegurar um fator de informação informação maior para a relação $\{(1,1),(2,2),(3,3)\}$ do que para a relação $\{(1,3),(2,1),(3,2)\}$, o que pode ser desejável em alguns casos como reconhecimento de padrões e afins. Esta informação mútua ponderada é uma forma da divergência KL ponderada, que é conhecida por levar valores negativas para algumas entradas assim como existem exemplos da informação mútua ponderada também receber valores negativos.

Informação Mútua ajustada

Uma distribuição de probabilidades pode ser vista como uma partição de um conjunto, pode-se então perguntar: se um conjunto for particionado aleatoriamente, qual seria a distribuição de probabilidades? Qual seria o valor esperado da informação mútua? A informação mútua ajustada (em inglês {{:en:adjusted mutual information}} ou AMI) subtrai o valor esperado da MI (informação mútua) tal que a AMI seja zero quando duas distribuições diferentes forem aleatórias, e um quando duas distribuições são idênticas. A AMI é definida em analogia ao índice de Rand ajustado de duas partições diferentes de um conjunto.

Informação mútua absoluta

Usando ideias da complexidade de Kolmogorov, pode-se considerar a informação mútua de duas sequências independentes de qualquer distribuição de probabilidade:

$I_{K}(X;Y)=K(X)-K(X|Y).$

Para estabelecer que esta quantidade é simétrica à um fator logarítmico ($I_{K}(X;Y)\approx I_{K}(Y;X)$) precisamos da regra da cadeia da complexidade de Kolmogorov (Li & Vitányi 1997). Aproximações dessa quantidade por Compressão de dados podem ser usadas para definir uma métrica de distância para efetuar o agrupamento hierárquico das sequências sem tem qualquer conhecimento no domínio das sequências (Cilibrasi & Vitányi 2005).

Correlação linear

Ao contrário dos coeficientes de correlação, como o Coeficiente de correlação de Pearson, a informação mútua contém informações sobre toda a dependência, linear e não-linear, e não apenas da dependência linear. Entretanto, no caso restrito em que a distribuição conjunta para X e Y seja uma distribuição normal bivariada (implicando em particular que ambas distribuições marginais sejam normalmente distribuídas), existe uma relação exata entre I e o coeficiente de correlação $\rho$ (Gel'fand & Yaglom 1957).

$I=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)$

A equação acima pode ser desenvolvida como abaixo para uma gaussiana bivariada:

${\begin{aligned}{\begin{pmatrix}X_{1}\\X_{2}\end{pmatrix}}&\sim {\mathcal {N}}\left({\begin{pmatrix}\mu _{1}\\\mu _{2}\end{pmatrix}},\Sigma \right),\quad \Sigma ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}}\\\mathrm {H} (X_{i})&={\frac {1}{2}}\log \left(2\pi e\sigma _{i}^{2}\right)={\frac {1}{2}}+{\frac {1}{2}}\log(2\pi )+\log(\sigma _{i}),\quad i\in \{1,2\}\\\mathrm {H} (X_{1},X_{2})&={\frac {1}{2}}\log \left[(2\pi e)^{2}|\Sigma |\right]=1+\log(2\pi )+\log(\sigma _{1}\sigma _{2})+{\frac {1}{2}}\log(1-\rho ^{2})\\\end{aligned}}$

Portanto,

$I(X_{1};X_{2})=\mathrm {H} (X_{1})+\mathrm {H} (X_{2})-\mathrm {H} (X_{1},X_{2})=-{\frac {1}{2}}\log \left(1-\rho ^{2}\right)$

Para dados discretos

Quando X e Y são limitados em um número discreto de estados, os dados observados são resumidos em uma tabela de contingência, com a variável X (ou i) nas linhas e a variável Y (ou j) nas colunas. A informação mútua é uma das medidas de associatividade ou correlação entre as variáveis das linhas e colunas. Outra medida de associação inclui o teste qui-quadrado de Pearson, o teste G estatístico, etc. De fato, a informação mútua é igual ao teste G estatístico dividido por 2N, onde N é o tamanho da amostra.

Aplicações

Em muitas aplicações se quer maximizar a informação mútua (assim aumentando a dependência), o que é muitas vezes equivalente a minimizar a entropia condicional. Exemplos incluem:

• Em tecnologias de Motores de busca, a informação mútua entre frases e contextos é usada como um atributo para agrupamento ou clustering por K-means descrobrindo grupos semânticos (conceituais).
• Em telecomunicações, a capacidade do canal é igual à informação mútua, maximizada sobre todas as distribuições de entradas.
• Métodos de modelagem discriminativa para cadeias de Markov escondidas foram propostos baseados no critério de informação mútua máxima.
• Predição da Estrutura secundária do RNA a partir do Alinhamento múltiplo de sequências
• Predição do perfil filogenético a partir de pares presentes e ausentes de genes funcionais.
• Informação mútua tem sido usada como critéria para a seleção de atributos e transformações de atributos em aprendizado de máquinas. Ela pode ser usada tanto para caracterizar a relevância e redundância de variáveis como um método de selecionamento do atributo redundante mínimo.
• Informação mútua é usada para determinar a similaridade de dois agrupamentos de dados diferentes de um conjunto de dados (dataset). Como tal ela provê algumas vantagens sobre a técnica tradicional usando índice de Rand.
• Informação mútua de palavras é comumente usada como uma função de significância para a computação de colocações em linguística. Isto tem a complexidade adicional de que nenhuma palavra-instância é uma instância de duas palavras diferentes, ao contrário, conta-se instâncias como 2 palavras que ocorrem adjacentes ou próximas, o que complica um pouco o cálculo já que a probabilidade esperada de uma palavra ocorrer dentro de N palavras distantes de outra aumenta com N.
• Informação mútua é usada em imagiologia médica para o corregistro de imagens. Dada uma imagem de referência (por exemplo uma imagem do cérebro) e uma segunda imagem que precisa ser colocada no mesmo sistema de coordenadas que a imagem de referência, esta segunda imagem é deformada até que a informação mútua entre ela e a primeira seja maximizada.
• Detecção da sincronização de fase em análise de séries temporais.
• No método infomax para redes neurais e outras aprendizagens de máquina, incluindo o algóritmo análise independente de componentes baseado em infomax.
• Informação mútua média no teorema do mergulho de Takens é usada para determinar o parâmetro de atraso.
• Informação mútua entre genes em microarranjos é usado pelo algoritmo ARACNE para a reconstrução de redes genéticas.
• Em mecânica estatística, o paradoxo de Loschmidt pode ser expresso em termos da informação mútua. Loschmidt demonstrou que é impossível determinar uma lei física que não tenha simetria temporal reversa (e.g. segunda lei da termodinâmica) somente a partir de leis físicas que tenham esta simetria. Ele mostrou que o teorema-H de Boltzmann assumiu que as velocidades das partículas em um gás eram permanentemente não correlacionadas, o que removia a simetria temporal inerente no teorema H. Pode ser mostrado que se um sistema é descrito por uma densidade de probabilidade no espaço de fases, entao o teorema de Liouville implica que a informação conjunta (negativo da entropia conjunta) da distribuição permanece constante no tempo. A informação conjunta é igual à informação mútua mais a soma de todas as informações marginais (negativo das entropias marginais) para cada coordenada das partículas. A assunção de Boltzmann equivale a ignorar a informação mútua no cálculo da entropia, o que fornece a entropia termodinâmica (dividida pela constante de Boltzmann).
• A informação mútua é usada para aprender a estrutura das redes Bayesianas, que imagina-se explicar a relação causal entre variáveis aleatórias, como exemplicado pelo toolkit GlobalMIT [1]: aprendendo a rede dinâmica Bayesiana globalmente ótima com o critéria de teste da informação mútua.
• Função de custo popular em aprendizado por árvores de decisão
• A informação mútua é usada em Cosmologia para testar a influência de ambientes de larga escala nas propriedades da galáxia no Galaxy Zoo.
• A informação mútua foi usada em Física Solar para derivar o perfil diferencial solar, um mapa de desvios no tempo de viagem para manchas solares, e um diagrama de tempo-distância para medidas do Sol quieto (quiet sun).

Referências

• Cilibrasi, R.; Vitányi, Paul (2005). «Clustering by compression» (PDF). IEEE Transactions on Information Theory. 51 (4): 1523–1545. doi:10.1109/TIT.2005.844059 
• Cronbach, L. J. (1954). «On the non-rational application of information measures in psychology». In: Quastler, Henry. Information Theory in Psychology: Problems and Methods. Glencoe, Illinois: Free Press. pp. 14–30 
• Coombs, C. H.; Dawes, R. M.; Tversky, A. (1970). Mathematical Psychology: An Elementary Introduction. Englewood Cliffs, New Jersey: Prentice-Hall 
• Church, Kenneth Ward; Hanks, Patrick (1989). «Word association norms, mutual information, and lexicography». Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics 
• Gel'fand, I.M.; Yaglom, A.M. (1957). «Calculation of amount of information about a random function contained in another such function». American Mathematical Society Translations: Series 2. 12: 199–246  English translation of original in Uspekhi Matematicheskikh Nauk 12 (1): 3-52.
• Guiasu, Silviu (1977). Information Theory with Applications. [S.l.]: McGraw-Hill, New York. ISBN 978-0-07-025109-0 
• Li, Ming; Vitányi, Paul (Fevereiro de 1997). An introduction to Kolmogorov complexity and its applications. New York: Springer-Verlag. ISBN 0-387-94868-6 
• Lockhead, G. R. (1970). «Identification and the form of multidimensional discrimination space». Journal of Experimental Psychology. 85 (1): 1–10. PMID 5458322. doi:10.1037/h0029508 
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
• Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). «A non-reference image fusion metric based on mutual information of image features». Computers & Electrical Engineering. 37 (5): 744–756. doi:10.1016/j.compeleceng.2011.07.012 
• Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
• Witten, Ian H. & Frank, Eibe (2005). Data Mining: Practical Machine Learning Tools and Techniques. [S.l.]: Morgan Kaufmann, Amsterdam. ISBN 978-0-12-374856-0 
• Peng, H.C., Long, F., and Ding, C. (2005). «Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy». IEEE Transactions on Pattern Analysis and Machine Intelligence. 27 (8): 1226–1238. PMID 16119262. doi:10.1109/tpami.2005.159  !CS1 manut: Nomes múltiplos: lista de autores (link)
• Andre S. Ribeiro; Stuart A. Kauffman; Jason Lloyd-Price; Bjorn Samuelsson & Joshua Socolar (2008). «Mutual Information in Random Boolean models of regulatory networks». Physical Review E. 77 (1). arXiv:0707.3642. doi:10.1103/physreve.77.011901 
• Wells, W.M. III; Viola, P.; Atsumi, H.; Nakajima, S.; Kikinis, R. (1996). «Multi-modal volume registration by maximization of mutual information» (PDF). Medical Image Analysis. 1 (1): 35–51. PMID 9873920. doi:10.1016/S1361-8415(01)80004-9. Consultado em 1 de junho de 2018. Arquivado do original (PDF) em 6 de setembro de 2008 
• Pandey, Biswajit; Sarkar, Suman (2017). «How much a galaxy knows about its large-scale environment?: An information theoretic perspective». Monthly Notices of the Royal Astronomical Society Letters. 467: L6. arXiv:1611.00283. doi:10.1093/mnrasl/slw250