Característica de Operação do Receptor
As referências deste artigo necessitam de formatação. (Agosto de 2020) |
A Curva Característica de Operação do Receptor (Curva COR), ou, do inglês, Receiver Operating Characteristic Curve (ROC curve), ou, simplesmente, curva ROC, é uma representação gráfica que ilustra o desempenho (ou performance) de um sistema classificador binário à medida que o seu limiar de discriminação varia. A curva ROC é também conhecida como curva de característica de operação relativa, porque o seu critério de mudança é resultado da operação de duas características (PV e PF).
A curva ROC é obtido pela representação da razão RPV = Positivos Verdadeiros / Positivos Totais versus a razão RPF = Positivos Falsos / Negativos Totais, para vários valores do limiar de classificação. O RPV é também conhecido como sensibilidade (ou taxa de verdadeiros positivos), e RPF = 1-especificidade ou taxa de falsos positivos. A especificidade é conhecida como taxa de verdadeiros negativos (RVN).
A analise ROC fornece ferramentas para selecionar modelos possivelmente ideais (modelos ótimos) e descartar modelos não tão ótimos, independentemente (e antes de especificar) o contexto de custos ou a distribuição de classe. A análise ROC está relacionada de forma direta e natural com a análise de custo/benefício do diagnóstico.
A curva ROC foi inicialmente desenvolvida por engenheiros eletricista e engenheiros de radar durante a Segunda Gerra Mundial para detectar objetos inimigos em campos de batalha e não tardou para ser introduzida em psicologia para explicar a detecção perceptiva de estímulos. A análise ROC, desde então, tem sido usada na medicina, radiologia, biometria, previsões, análise de riscos naturais,[2] em meteorologia,[3] em modelos de avaliação de performance,[4] em estudos de validade [5], em machine learning, data mining e outras áreas.
Conceito
editarUm modelo de classificação é um mapeamento de instancias entre certas classes/grupos. Como o resultado do classificador ou diagnóstico podemos ter um valor real arbitrário e a fronteira classificadora entre as classes deve ser determinada por um valor inicial (por exemplo, para determinar se uma pessoa tem hipertensão com base em uma medida da pressão sanguínea precisamos de um marco). Outro resultado possível do classificador pode ser um rótulo de classe, indicando uma das classes como marco.
Considere um problema de previsão de duas classes (classificação binária), em que os resultados são rotulados como positivos (p ) ou negativos (n). Há quatro resultados possíveis de um classificador binário. Se o resultado de uma previsão é p e o valor real também é p, então o resultado é chamado de positivo verdadeiro (PV); no entanto, se o valor real é n então diz-se ser um positivo falso (PF). Por outro lado, um negativo verdadeiro (NV) ocorre quando o resultado da previsão e o valor real são n, e negative falso (NF) é quando o resultado da previsão é n enquanto o valor real é p.
Para obter um exemplo apropriado em um problema do mundo real, considere um teste de diagnóstico que visa determinar se e uma pessoa tem uma determinada doença. Um positivo falso, neste caso, ocorre quando a pessoa tem um teste positivo, mas na verdade não tem a doença. Um negativo falso, por outro lado, ocorre quando a pessoa tem um teste negativo, sugerindo que ela é saudável, quando ela realmente têm a doença.
Vamos definir um experimento de P instâncias positivas e N instâncias negativas para uma dada condição clínica. Os quatro resultados podem ser formulados em uma tabela de contingência 2x2 usualmente denominada matriz de confusão. Na Tabela.1 organizamos as quatro instâncias para um teste x a condição (definida por um teste do tipo padrão ouro (Gold Standard)).
De acordo com a tabela, TP é o total de indivíduos com resultado positivo verdadeiro, FP é o total de positivos falsos, FN é o total de negativos falsos e TN é o total de negativos verdadeiros. A sensibilidade do teste é dada pela razão TP/(TP+FN), a razão de negativos falsos é dada por FN/(TP+FN) e corresponde à probabilidade do erro tipo II dos testes de hipóteses, a razão de positivos falsos é dada por FP/(FP+TN) e corresponde à probabilidade do erro tipo I ou nível de significância dos testes de hipóteses:
| Verdade | ||||||
| População total | Condição positiva | Condição negativa | Prevalência = Σ Condição positivaΣ População total | Acurácia (ACC) = Σ Verdadeiro positivo + Σ Verdadeiro negativo Σ População total | ||
| Condição positiva prevista |
Verdadeiro positivo | Falso positivo, Erro do tipo I |
Valor preditivo positivo (PPV), Precisão = Σ Verdadeiro PositivoΣ Condição positiva prevista | Taxa de falsa descoberta (FDR) = Σ Falso positivoΣ Condição positiva prevista | ||
| Condição negativa prevista |
Falso negativo, Erro do tipo II |
Verdadeiro negativo | Taxa de Falsa Omissão (FOR) = Σ Falso negativoΣ Condição negativa prevista | Valor preditivo negativo (NPV) = Σ Verdadeiro negativoΣ Condição negativa prevista | ||
| Taxa de Verdadeiro Positivo (TPR), Revocação, Sensibilidade, probabilidade de detecção, Potência = Σ Verdadeiro positivoΣ Condição positiva | Taxa de Falso Positivo (FPR), Fall-out, probabilidade de alarme falso = Σ Falso positivoΣ Condição negativa | Teste da razão de verossimilhança positiva (LR+) = TPRFPR | Razão de possibilidades de diagnóstico (DOR) = LR+LR− | F1 score = 2 · Precisão · RevocaçãoPrecisão + Revocação | ||
| Taxa de Falso Negativo (FNR), Taxa de perda = Σ Falso negativoΣ Condição positiva | Especificidade (SPC), Seletividade, Taxa de Verdadeiro Negativo (TNR) = Σ Verdadeiro negativoΣ Condição negativa | Teste da razão de verossimilhança negativa (LR−) = FNRTNR | ||||
Espaço ROC
editar
De uma tabela de contingência podemos obter várias avaliações métricas (ver infobox). Para desenhar uma curva ROC, apenas as taxa de verdadeiros positivos (RPV) e a taxa de falsos positivos (RPF) são necessárias (elas serão calculadas com base em algum parâmetro classificador). A RPV define quantos resultados positivos corretos ocorrem entre as amostras positivas disponíveis durante o teste. A RPF,por outro lado, define quantos resultados positivos incorretos ocorrem entre todas as amostras negativas disponíveis durante o teste.
Um espaço ROC é definido pela RPV e RPF marcados nos eixos "x" e "y", respectivamente, o que retrata a escolha entre taxas de verdadeiro positivo (benefícios) e taxas de falso positivo (custos) uma em detrimento do outro (um trade-offs entre as taxas). Como a RPV é equivalente à sensibilidade e a RPF é igual a 1 - especificidade, o gráfico ROC às vezes é denominado gráfico de sensibilidade x (1-especificidade). Cada resultado de previsão ou instância de uma matriz de confusão representa um ponto no espaço ROC.
O melhor método de previsão possível produziria um ponto no canto superior esquerdo do plano descrito pelo espaço ROC, isto é, o ponto com coordenadas (0,1) do espaço ROC. Nesse ponto temos 100% de sensibilidade (isto é, não temos falsos negativos) e 100% de especificidade (isto é, não temos falsos positivos). O ponto (0,1) também é denominado "classificação perfeita". Um palpite aleatório produziria um ponto ao longo da diagonal do espaço ROC, tal diagonal também é denominada "linha da não discriminação"). Um exemplo intuitivo de adivinhação aleatória é uma decisão lançando moedas. À medida que o tamanho da amostra aumenta, o ponto ROC de um classificador aleatório tende para a linha diagonal. No caso de uma moeda equilibrada, tenderá ao ponto (1/2, 1/2).
A diagonal anteriormente referida, divide o espaço ROC. Pontos acima da diagonal representam bons resultados de classificação (pelo menos melhor que o aleatório); pontos abaixo da diagonal representam maus resultados (pior que o aleatório). Note-se que a saída de um preditor consistentemente ruim poderia simplesmente ser invertida para obter um bom preditor.
Vamos examinar quatro resultados de previsão de 100 instâncias positivas e 100 negativas. Os lotes dos quatro resultados acima no espaço ROC são dados na Figura.1. O resultado do método A mostra claramente o melhor poder preditivo entre A, B e C. O resultado de B está na linha de adivinhação aleatória (a linha diagonal), e pode ser visto na tabela que a precisão de B é de 50%. No entanto, quando C é espelhado em todo o ponto central (1/2,1/2), o método resultante C é ainda melhor do que A. Este método espelhado simplesmente inverte as previsões de qualquer método ou teste produziu o C tabela de contingência. Embora o método original C tenha poder preditivo negativo, simplesmente reverter suas decisões leva a um novo método preditivo C que tem poder preditivo positivo. Quando o método C prevê p ou n, o método C preveria n ou p, dessa forma, o teste C seria o melhor. Quanto mais próximo um resultado de uma tabela de contingência é para o canto superior esquerdo, o melhor que prevê, mas a distância da linha de adivinhação aleatória em qualquer direção é o melhor indicador de quanto poder preditivo um método tem. Se o resultado estiver abaixo da linha (ou seja, o método é pior do que um palpite aleatório), todas as previsões do método devem ser revertidas para utilizar seu poder, movendo assim o resultado acima da linha de adivinhação aleatória.
| A | B | C | C′ | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
| ||||||||||||||||||||||||||||||||||||
| RPV = 0.63 | RPV = 0.77 | RPV = 0.24 | RPV = 0.76 | ||||||||||||||||||||||||||||||||||||
| RPF = 0.28 | RPF = 0.77 | RPF = 0.88 | RPF = 0.12 | ||||||||||||||||||||||||||||||||||||
| VPP = 0.69 | VPP = 0.50 | VPP = 0.21 | VPP = 0.86 | ||||||||||||||||||||||||||||||||||||
| F1 = 0.66 | F1 = 0.61 | F1 = 0.23 | F1 = 0.81 | ||||||||||||||||||||||||||||||||||||
| ACC = 0.68 | ACC = 0.50 | ACC = 0.18 | ACC = 0.82 |
Referências
- ↑ MartinThoma (24 de junho de 2018), Deutsch: ROC-Kurve - die Abszisse ist die Falsch-Positiv-Rate und die Ordinate die Richtig-, consultado em 25 de abril de 2021
- ↑ Peres, D. J.; Cancelliere, A. (8 de dezembro de 2014). «Derivation and evaluation of landslide-triggering thresholds by a Monte Carlo approach». Hydrol. Earth Syst. Sci. 18 (12): 4913–4931. Bibcode:2014HESS...18.4913P. ISSN 1607-7938. doi:10.5194/hess-18-4913-2014
- ↑ Murphy, Allan H. (1 de março de 1996). «The Finley Affair: A Signal Event in the History of Forecast Verification». Weather and Forecasting. 11 (1): 3–20. ISSN 0882-8156. doi:10.1175/1520-0434(1996)011<0003:tfaase>2.0.co;2
- ↑ Peres, D. J.; Iuppa, C.; Cavallaro, L.; Cancelliere, A.; Foti, E. (1 de outubro de 2015). «Significant wave height record extension by neural networks and reanalysis wind data». Ocean Modelling. 94: 128–140. Bibcode:2015OcMod..94..128P. doi:10.1016/j.ocemod.2015.08.002
- ↑ Morais, José F. (2018). «Escala para Rapport Emitido por Acadêmicos». Atas do 10o. Congresso Aidap/Aidep realizado na Universidade de Coimbra Texto " disponível em <https://www.fpce.uc.pt/aidap/doc/atas.pdf> - realizado de 6 a 8 de set de 2018" ignorado (ajuda)
