Kappa de Cohen

O coeficiente kappa de Cohen (κ) é uma estatística que é usada para medir a confiabilidade interexaminador (e também a confiabilidade intraexaminador) para itens qualitativos (categóricos). Geralmente é considerada uma medida mais robusta do que o simples cálculo percentual de concordância, pois κ leva em consideração a possibilidade de a concordância ocorrer por acaso. Há controvérsia em torno do kappa de Cohen devido à dificuldade em interpretar os índices de concordância. Alguns pesquisadores sugeriram que é conceitualmente mais simples avaliar a discordância entre os itens.

História

A primeira menção de uma estatística semelhante ao kappa é atribuída a Galton (1892).

O artigo seminal introduzindo o kappa como uma nova técnica foi publicado por Jacob Cohen na revista Educational and Psychological Measurement em 1960.

Definição

O kappa de Cohen mede a concordância entre dois avaliadores que classificam N itens em C categorias mutuamente exclusivas. A definição de ${\textstyle \kappa }$ é

$\kappa \equiv {\frac {p_{o}-p_{e}}{1-p_{e}}}=1-{\frac {1-p_{o}}{1-p_{e}}},$

onde p_o é a concordância relativa observada entre os avaliadores e p_e é a probabilidade hipotética de concordância ao acaso, usando os dados observados para calcular as probabilidades de cada observador ver aleatoriamente cada categoria. Se os avaliadores estiverem de acordo, então ${\textstyle \kappa =1}$. Se não houver acordo entre os avaliadores além do que seria esperado por acaso (conforme dado por p_e), ${\textstyle \kappa =0}$. É possível que a estatística seja negativa, o que pode ocorrer por acaso se não houver relação entre as avaliações dos dois avaliadores, ou pode refletir uma tendência real dos avaliadores em dar avaliações diferentes.

Para k categorias, N observações para categorizar e $n_{ki}$ o número de vezes que o avaliador i previu a categoria k:

$p_{e}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}$

Isso é derivado da seguinte equação:

$p_{e}=\sum _{k}{\widehat {p_{k12}}}=\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}=\sum _{k}{\frac {n_{k1}}{N}}{\frac {n_{k2}}{N}}={\frac {1}{N^{2}}}\sum _{k}n_{k1}n_{k2}$

Onde ${\widehat {p_{k12}}}$ é a probabilidade estimada de que tanto o avaliador 1 quanto o avaliador 2 classificarão o mesmo item como k, enquanto ${\widehat {p_{k1}}}$ é a probabilidade estimada de que o avaliador 1 classificará um item como k (e similarmente para o avaliador 2). A relação ${\textstyle {\widehat {p_{k}}}=\sum _{k}{\widehat {p_{k1}}}{\widehat {p_{k2}}}}$ baseia-se na suposição de que a classificação dos dois avaliadores é independente. O termo ${\widehat {p_{k1}}}$ é estimado usando o número de itens classificados como k pelo avaliador 1 ($n_{k1}$) dividido pelo total de itens a classificar ($N$): ${\widehat {p_{k1}}}={n_{k1} \over N}$ (e da mesma forma para o avaliador 2).

Matriz de confusão de classificação binária

Na tradicional matriz de confusão 2 × 2 empregada em aprendizado de máquina e estatística para avaliar classificações binárias, a fórmula Kappa de Cohen pode ser escrita como:

$\kappa ={\frac {2\times (TP\times TN-FN\times FP)}{(TP+FP)\times (FP+TN)+(TP+FN)\times (FN+TN)}}$

onde TP são os verdadeiros positivos, FP são os falsos positivos, TN são os verdadeiros negativos e FN são os falsos negativos. Neste caso, o Kappa de Cohen é equivalente à pontuação de habilidade de Heidke conhecida na meteorologia. A medida foi introduzida pela primeira vez por Myrick Haskell Doolittle em 1888.

Propriedades

Teste de hipóteses e intervalo de confiança

O valor-p para kappa raramente é relatado, provavelmente porque mesmo valores relativamente baixos de kappa podem ser significativamente diferentes de zero, mas não de magnitude suficiente para satisfazer os investigadores. Ainda assim, seu erro padrão foi descrito e é calculado por vários programas de computador.

Interpretando a magnitude

Se a significância estatística não for um guia útil, que magnitude de kappa reflete uma concordância adequada? Diretrizes seriam úteis, mas outros fatores além do acordo podem influenciar sua magnitude, o que torna problemática a interpretação de uma determinada magnitude. Como Sim e Wright observaram, dois fatores importantes são prevalência (os códigos são equiprováveis ou suas probabilidades variam) e viés (são as probabilidades marginais para os dois observadores semelhantes ou diferentes). Outras coisas sendo iguais, os kappas são maiores quando os códigos são equiprováveis. Por outro lado, os Kappas são maiores quando os códigos são distribuídos assimetricamente pelos dois observadores. Em contraste com as variações de probabilidade, o efeito do viés é maior quando Kappa é pequeno do que quando é grande.

Veja também

• Correlação intraclasse
• Alfa de Krippendorff

Bibliografia

• Banerjee, M.; Capozzoli, Michelle; McSweeney, Laura; Sinha, Debajyoti (1999). «Beyond Kappa: A Review of Interrater Agreement Measures». The Canadian Journal of Statistics. 27 (1): 3–23. JSTOR 3315487. doi:10.2307/3315487 
• Chicco D., Warrens M.J., Jurman G. (2021). «The Matthews correlation coefficient (MCC) is more informative than Cohen's Kappa and Brier score in binary classification assessment». IEEE Access. 9: 78368 - 78381. doi:10.1109/access.2021.3084050  !CS1 manut: Nomes múltiplos: lista de autores (link)
• Cohen, Jacob (1960). «A coefficient of agreement for nominal scales». Educational and Psychological Measurement. 20 (1): 37–46. doi:10.1177/001316446002000104 
• Cohen, J. (1968). «Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit». Psychological Bulletin. 70 (4): 213–220. PMID 19673146. doi:10.1037/h0026256 
• Fleiss, J.L.; Cohen, J. (1973). «The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability». Educational and Psychological Measurement. 33 (3): 613–619. doi:10.1177/001316447303300309 
• Sim, J.; Wright, C. C. (2005). «The Kappa Statistic in Reliability Studies: Use, Interpretation, and Sample Size Requirements». Physical Therapy. 85 (3): 257–268. PMID 15733050. doi:10.1093/ptj/85.3.257 
• Warrens, J. (2011). «Cohen's kappa is a weighted average». Statistical Methodology. 8 (6): 473–484. doi:10.1016/j.stamet.2011.06.002