Wikipédia Discussão:Avaliação automática

Sugestões de mudança

• Marca de revisão: -1

A marca indica que alguém tem dúvidas sobre o conteúdo do artigo. Os bots podem verificar que há muito conteúdo, mas a qualidade dele só um usuário pode avaliar, e a qualidade da informação deve ser levada em consideração em todos os níveis da escala, não apenas um critério para 3. A tag então indicaria a necessidade de cautela, independente da qualidade avaliada. Proponho que artigos com a tag {{revisar}} recebam uma redução de 1 grau na avaliação final. Assim mesmo um artigo grande sem ref (q seria 2) se tiver a Revisar passaria para 1 pq mesmo q tenha mt conteúdo há dúvidas se aquele conteúdo está certo. Artigos que seriam avaliados em 4 que tem a tag passariam para 3 (e não 2 como atualmente), pois a tag pode representar dúvidas em apenas uma parte do artigo, e tendo uma qualidade alta normalmente tem usuários verificando o artigo e os problemas seriam corrigidos em pouco tempo, o artigo ser avaliado como 2 apenas pq o bot passou bem na hora q o artigo estava com a tag é meio injusto já q no dia seguinte já pode estar tudo resolvido, uma qualidade 3 já seria o suficiente.

• Tamanho de parágrafo: 2500 para qualidade 4 e 3500 para 3.

A divisão de parágrafos fica mais fácil de ser feita quando há mais conteúdo no artigo para poder dividir. É também meio subjetiva, e o tamanho dos parágrafos pode variar um pouco de tema para tema. Considero q isso não é apenas um critério de Wikificação, mas também de Redação, e sendo Redação algo mt subjetivo para o bot, deveria ser um critério de apenas para qualidade alta (2500 para 4), tendo uma tolerância para qualidade logo abaixo (3500 para 3), e não exigir isso para qualidade 2 ou 1. Assim artigos grandes de qualidade 4 não são avaliados como 1 apenas pq não há uma quebra de linha em apenas 1 parágrafo.

• Quantidade de parágrafos: Reduzir para 4 ou 3

Similar ao de cima, com um extra q pode-se escrever muita informação em poucos parágrafos (e vice-versa) ficando difícil de analisar realmente. Como é parâmetro para qualidade 2 (baixa), não vejo problema em reduzir para 4 ou 3 parágrafos, desde que cada parágrafo tenha mais que uma frase.

• Tamanho do artigo: usar tamanho do texto

Foi indicado na esplanada um javascript que analisa o tamanho do texto da página, desconsiderando assim os códigos wiki, infobox, navbox, e outros q podem dar um peso grande pra um artigo mínimo (principalmente se o artigo foi feito em massa, pois esses normalmente vem bem wikificados e com infobox e todo o resto de código wiki). Proponho mudarmos e passar a usar esse dado como critério. Só precisamos discutir qual será o novo parâmetro.

• Nº de refs

Não ficou claro se refs repetidas contam como uma só ou como refs diferentes. Um artigo pode ter apenas uma ref repetida 10 vezes, mas isso não aumenta a qualidade no quesito WP:V. Atualmente o script avalia refs repetidas como uma só, e já recebi mensagens sobre isso.

Rjclaudio ^msg 02h38min de 21 de setembro de 2011 (UTC)

Tentando entender a lógica

Quer dizer então que de acordo com o que está posto nessa página de avaliação automática, um artigo que tenha referência tem exatamente a mesma qualidade de um que não tenha como ser verificado? Isso é para facilitar o trabalho do bot? Alguém poderia me explicar a lógica nisso? Obrigada! - Deh^sim? 13h29min de 1 de dezembro de 2011 (UTC)

Alguém reparou na existência disso? - Deh^sim? 13h38min de 1 de dezembro de 2011 (UTC)

Os parâmetros foram criados para tentar se aproximar da escala de avaliação. Seguindo a escala: 2- Reservados aos artigos extensos não referenciados / Reservado aos esboços referenciados. Um artigo extenso que não pode ser verificado tem exatamente a mesma qualidade que um esboço referenciado. Ou seja: esboço com ref = artigo extenso sem ref. Mesma coisa para qualidade 1 (esboço sem ref = mínimo com ref). Então, entre dois esboços, um com ref e outro sem ref, o q tiver ref tem qualidade 2 e o q não tiver vai pra qualidade 1, eles não teriam o mesmo nível de qualidade.

Claro que a avaliação automática não pode verificar se a quantidade de referências é satisfatória ou não. Poderia até tentar colocar um parametro pra verificar quantas seções não tem ref (pode até ser útil)

Se a ideia é colocar qualidade 1 para todos q não tiverem ref, aí já tem q mudar a escala de qualidade lá. Rjclaudio ^msg 13h54min de 1 de dezembro de 2011 (UTC)

Eu entendo o =, até porque ajudei a elaborar aquela escala, o que eu não entendo é a lógica usada atualmente. Quer ver um exemplo? Aqui. Esse artigo recebeu qualidade 1. Ficou mais clara minha questão? É isso que eu não entendo. Para que um grupo teve todo aquele trabalho para um artigo depois ser qualificado como qualidade 1 porque tem menos de 3 parágrafos? - Deh^sim? 14h29min de 1 de dezembro de 2011 (UTC)

P.S: Outro exemplo, mais outro e mais outro, e provavelmente todos os outros ginastas que competiram nos Jogos Olímpicos de 1908, 1912... cujas biografias não passarão de esboços. Só que tenho colocado as referências. Infelizmente não tem adiantado, porque outras tantas biografias já foram qualificadas como qualidade 1 (não falei antes porque não chequei e sei que algumas pecam na referenciação), sem provavelmente o ser.

Aí já é questão de verificabilidade e sim de tamanho, de diferença entre mínimo e esboço. Na discussão desses parâmetros nós pensamos q 3 parágrafos seria a diferença, podemos abaixar para 2 parágrafos. Um artigo com um único parágrafo, ou não é um parágrafo extenso, ou se é falta algum ajuste no texto pq daria para separar o parágrafo em dois, então eu não daria qualidade 2 para esse artigo de 1 parágrafo. Aí os q ficarem com 2 parágrafos cumpririam esse critério, e seria avaliado por outras coisas. Mudamos tb o tamanho do artigo? Sugestões?

Por mais q se melhore, sempre haverá alguns erros na avaliação automática, não dá para chegar a 100%. Se não passasse o bot, todos esses artigos não estariam avaliados, e é preferível uma avaliação automática com margem de erro de +-1 q não ter avaliação alguma. E qualquer usuário pode ir nos artigos e colocar a avaliação q essa terá prioridade. E podemos tb criar uma cat para cada tema de artigos só avaliados por bots, para ser um complemento a de artigos sem avaliação.

Rjclaudio ^msg 14h44min de 1 de dezembro de 2011 (UTC)

De 95% para cima das biografias dos ginastas que disputaram as primeiras edições dos JO nunca passarão de esboço de 4 ou 5 linhas, justamente porque não existe informação sobre eles. Dá para "encher linguiça", mas aí também já é demais. E, segundo o que foi discutido lá durante o processo de elaboração da escala, não dá para chamar de mínimo um artigo desse. Enfim, tem solução para o caso? - Deh^sim? 14h59min de 1 de dezembro de 2011 (UTC)

A solução é mudar o critério de número de parágrafos, para 2. Agora q vi, na tabela ainda está 5, eu já tinha baixado para 3 e não atualizei aqui. Então, baixamos para 2?

Depois do critério mudado, não sei se vale já passar nos artigos e atualizar. Preferia deixar para atualizar depois, até pq esses critérios ainda poderiam ser mudados mais vezes. Eu só faria a revisão nos artigos de qualidade 1 qnd os critérios ficarem estáveis / serem mais usados / ter mais artigos avaliados / mais gente ciente, comentando, criticando, dando ideias. Não vejo urgência.

Se não quiser esperar para um bot revisar tudo, pode fazer manualmente, colocando a avaliação humana.

Vou parar o bot até concluirmos se mudamos ou não esse critério.

Rjclaudio ^msg 15h11min de 1 de dezembro de 2011 (UTC)

Não sei, porque não sei se isso é relacionado com número de caracteres. Como pôde ver no comment acima, eu separo dados básicos da razão para o ginasta ter biografia aqui, ou seja, no caso desses, o primeiro parágrafo raramente passa de uma linha. Todavia, como eu disse, não é qualidade 1: tem referência, é imparcial e está formatado, incluindo as interwikis. O problema seria apenas o tamanho, pois a quantidade de informações é limitadíssima. Entretanto, como eu preciso responder sua pergunta para chegarmos em algum lugar, eu diria que sim, baixe para dois, desde que o artigo possua referências. Abraços! - Deh^sim? 00h30min de 2 de dezembro de 2011 (UTC)

Assim como o Rjclaudio, acho que é melhor que todo artigo tenha uma classificação automática inicial que em geral não erre grosseiramente (digamos, atribuindo qualidade 1 quando devia ser 3 ou vice-versa), do que não ter qualquer classificação, pois assim quem desejar focar seu esforço editorial no sentido de melhorar os artigos de pior qualidade, poderá tomar como base as matrizes de classificação, em vez de ter que fazer primeiro uma triagem dos artigos da Categoria:!Artigos de qualidade desconhecida em sua área de interesse.

Quanto ao critério a ser usada para se fazer uma avaliação automática, acredito que, idealmente, ele deveria ser modelado (matematica ou estatisticamente) a partir da coleta dos dados reais relativos ao conjunto dos artigos que já foram avaliados manualmente por alguém (isto é, que já têm uma avaliação não-robótica), e não por tentativa e erro. Assim, a estimativa da qualidade dos artigos poderia ser a que melhor refletisse as características comuns aos artigos já avaliados pelos editores, minimizando-se os eventuais erros. Vide en:Statistical classification. Helder 16h57min de 1 de dezembro de 2011 (UTC)

A dificuldade q eu vejo em fazer uma análise estatística da wiki.pt é a amostra que temos. Não temos assim tantos artigos avaliados (temos vários, mas não acho suficiente, são muito muito poucos em relação ao total), por ter poucas pessoas avaliando deve haver uma diferença grande entre os temas avaliados (a análise iria refletir os critérios para aqueles temas e não um critério geral), por não haver uma constância / acompanhamento, possivelmente teriamos alguns estariam desatualizados ou com a qualidade avaliada errado por novatos (já vi vários mínimos/esboços ou grandes artigos sem fonte com qualidade 4, até mesmo 5 ou 6) e mesmo não sendo tantos assim, pela pequena amostra já não seria tão desprezível. Rjclaudio ^msg 01h49min de 2 de dezembro de 2011 (UTC)

Falando nisso, qual o % de artigos q só estão avaliados por bots, só avaliados por usuários, e com as 2 avaliações? Daria pra ver isso? Rjclaudio ^msg 01h51min de 2 de dezembro de 2011 (UTC)

Pelo código atual da "Predefinição:Marca de projeto", posso dizer o seguinte:

• Não há categorização dos artigos:
  • Que ainda não foram avaliados automaticamente (isso inclui os artigos novos, avaliados após a última vez em que o bot foi executado - talvez pelo próprio autor)
  • Cuja avaliação manual coincide com a automática
• A categoria !Artigos com avaliação revisada reúne os artigos que foram avaliados manualmente após a avaliação automática mais recente
  • Não é feita distinção entre "revisada e correta" e "revisada e incorreta", pelo menos não até que o robô avalie o artigo novamente. A distinção seria importante para poder detectar, por exemplo, os artigos cuja avaliação automática tivesse sido revisada pela Deh (e para os quais discordasse da estimativa feita pelo bot).
• As 4 categorias !Artigos com avaliações conflitantes-<qualidade automática, de 1 a 4> reúnem os artigos cuja avaliação manual difere da automática e é mais antiga (por exemplo, se o artigo melhorou ou piorou no período, mas ninguém atualizou a indicação manual da qualidade)
• A categoria !Artigos só avaliados por robôs contém os artigos cuja avaliação automática ainda não foi revisada manualmente.

Helder 13h47min de 2 de dezembro de 2011 (UTC)

Artigo de ótima qualidade:

Gostaria que todos os leitores da wikipédia soubessem que a página eletricidade têm uma tradução de ótima qualidade, e que não está com um texto com qualidade 3. Espero que mudem.

--D.P.S (discussão) 00h55min de 6 de abril de 2012 (UTC)Danilomath

"Passei um olho" no artigo e ao que parece, tamanho não é mesmo documento por aqui (ou não deveria ser). O texto até está bom (numa passada de olhos), mas não tem uma nota. Tem bibliografia ao final, mas nenhuma nota. Tem até tópicos na introdução (???). A qualidade é dada (ou deveria ser dada) diante de vários fatores e não apenas o texto. - Deh^sim? 07h33min de 6 de abril de 2012 (UTC)

Uso de Lua para estimar a classificação dos artigos

Me ocorreu que talvez valesse a pena ter um módulo escrito em Lua para analisar o código wiki da página e estimar automaticamente qual a qualidade do artigo (sem precisar de edições robóticas nem auxiliadas por scripts). Esse valor seria utilizado a não ser que um humano definisse explicitamente um outro número para indicar a qualidade (por ter analisado o artigo, em termos de coisas que não podem ser automatizadas, e concluído que a estimativa automática não é adequada).

O que acham, Rjclaudio, Sway 2, Danilo.mac, PedR, Antero de Quintal? Helder 12h27min de 18 de setembro de 2013 (UTC)

Se for possível fazer isso, melhor.

Esse código seria executado toda vez que a página de discussão do artigo fosse carregada / exibida / editada? Rjclaudio ^msg 12h50min de 18 de setembro de 2013 (UTC)

Sim, e a estimativa que apareceria na página de discussão ao visualizá-la corresponderia sempre à versão mais recente do artigo.

Criei um esboço no Módulo:Avaliação, considerando inicialmente apenas o critério "tamanho do artigo". Experimentem abrir páginas como Discussão:Função indicadora, Discussão:Aritmética, Discussão:Conjunto e Matemática em modo de edição, colocar o código "{{#invoke:Classification|getClass}}", e mostrar uma previsão. Deverá aparecer o número de 1 a 4 que indica a classe à qual o artigo pertenceria se fosse levado em conta apenas o tamanho do código wiki.

Para colocar a ideia em prática efetivamente, seria preciso ampliar o código, para levar em conta todos os critérios, e isso pode ser feito com base nos scripts já existentes (marcas.py e AssessmentHelper.js). Helder 14h17min de 24 de setembro de 2013 (UTC)

Boa ideia! A avaliação é toda feita baseada em buscas no próprio texto do artigo, então dá sim para fazer tudo com Lua. Posso ver isso, mas como ando com pouco tempo talvez eu demore. ^Danilo.mac_(discussão) 15h43min de 1 de outubro de 2013 (UTC)

Inclui o parâmetro "página" para podermos testar mais facilmente (exemplo). Agora é só terminar a migração do código do Danilo e fazer aprimoramentos... Helder 14h01min de 1 de novembro de 2013 (UTC)

Traduzi o marcas.py para lua e coloquei no módulo, falta fazer testes e correções e colocar a verificação se toda seção tem referências (estava difícil então deixei para depois). Como disse na discussão do módulo, acho melhor deixar os módulos em português, passei então para português o nome do módulo e a função que é chamada nas páginas, espero que não se importem. Corrigi também esse último link do Helder para exibir a avaliação dada às páginas (módulo não redireciona, não sabia). ^Danilo.mac_(discussão) 00h56min de 15 de novembro de 2013 (UTC)

Criei a {{Marca de projeto/teste}} para fazer testes. Editem uma marca sem salvar, só vendo a previsão, colocando o /teste e removendo a qualidade se tiver, com isso a avaliação será feita pelo módulo. Por enquanto não está mostrando a qualidade na imagem, só no texto e colocando o mouse em cima do número mostra a razão da atribuição da qualidade. Ainda falta melhorias na predefinição e no módulo. ^Danilo.mac_(discussão) 19h56min de 2 de fevereiro de 2014 (UTC)

Coloquei no módulo a verificação se todas as seções têm referências, com isso o módulo está completo, fazendo todas as verificações que o robô fazia. Falta agora terminar de adaptar a marca de projeto e fazer testes. Coloquei aquela lista no link do Helder aqui, parece que a página de expandir predefinições não está mais aceitando conteúdo pela url. ^Danilo.mac_(discussão) 21h16min de 4 de fevereiro de 2014 (UTC)

Ótimo, Danilo.mac! Que os testes comecem! :-)

Quanto à página Especial:Expandir predefinições, ainda é possível definir o conteúdo pela URL, mas o nome dos parâmetros foi alterado em alguma mudança recente no MediaWiki (não sei dizer qual foi). Veja as correções que fiz em um script que usava os nomes antigos. Helder.wiki (discussão) 10h43min de 5 de fevereiro de 2014 (UTC)

Danilo.mac, eu troquei o antigo parâmetro bot pelo comando que invoca o módulo em mais alguns lugares da predefinição (e também fiz outras melhorias), então agora a imagem já está funcionando. Helder.wiki (discussão) 22h16min de 10 de fevereiro de 2014 (UTC)

Danilo.mac, já incorporei a estimativa feita pelo módulo à parte da predefinição que faz a categorização. Enquanto fazia isso, troquei "201100000" por "20110000", pois acredito que sua intenção aqui era indicar o início do ano de 2011. Era isso? Em todo caso, não corrigi na predefinição que está em uso pois esse tipo de edição força o MediaWiki a atualizar muitas páginas (por meio da fila de tarefas), então é melhor deixar pra fazer todas recategorizações de uma vez só.

Ainda sobre a categorização, acho que será preciso mudar o sistema atual, levando em conta que a estimativa da qualidade deixará de ser "feita de tempo em tempo por um robô" passando a ser "atualizada automaticamente" assim que o artigo e/ou sua discussão forem editados:

• A categoria "!Artigos só avaliados por robôs" poderia ser renomeada para "!Artigos cuja qualidade só foi estimada automaticamente";
• As categorias do tipo "!Artigos sobre XYZ por reavaliar" poderiam ser renomeadas para "!Artigos sobre XYZ cuja qualidade foi avaliada há muito tempo" (atualmente, "muito tempo" significa "há mais de 6 meses")

Helder.wiki (discussão) 17h45min de 12 de fevereiro de 2014 (UTC)

Não sei se é preciosismo meu, mas não seria melhor ter apenas um #invoke na predefinição? Ao ter mais de um, a qualidade é avaliada mais de uma vez no mesmo artigo. Acho que dá para colocar a imagem no mesmo #invoke que o texto, e as categorias poderiam ser inseridas via módulo, como não existirão mais as categorias "de qualidade desconhecida" e categorias de avaliação de robô, a predefinição não colocaria outra categoria depois do módulo, então não teriam categorias duplicadas. Sobre o 20110000, a correção está correta sim. Sobre as categorias, acho que fica mais simples "!Artigos com qualidade estimada" e "!Artigos sobre X precisando de reavaliação". ^Danilo.mac_(discussão) 00h03min de 18 de fevereiro de 2014 (UTC)

Sim, provavelmente é melhor reduzir o número de vezes que a função de avaliação é chamada (não tenho certeza de que o MediaWiki guarda isso em cache). Isso foi um dos motivos para eu começar a migrar a Predefinição:Marca de projeto para Lua também. Aí poderemos calcular cada coisa o mínimo de vezes possível...

O que eu não gosto em "!Artigos com qualidade estimada" é que tanto o resultado produzido pelo módulo quanto aquele que um editor informa é somente uma "estimativa" (ou "classificação") da qualidade da página. Mas a categoria serve para diferenciar aquelas páginas que foram classificadas por humanos daquelas que só têm a classificação feita pelo módulo em Lua. Idealmente o nome deveria refletir essa diferença.

De qualquer forma, podemos deixar o bikeshedding sobre isso para o futuro, se isso for atrasar a implementação do novo sistema, pois até lá poderíamos esclarecer as diferenças na página da própria categoria (em vez de já no título). Helder.wiki (discussão) 12h43min de 18 de fevereiro de 2014 (UTC)

Só pra constar: implementei mais algumas partes do código da Predefinição:Marca de projeto. Helder.wiki (discussão) 20h03min de 19 de fevereiro de 2014 (UTC)

Salvo eventuais bugs, acho que concluí a implementação da marca de projeto em Lua. Podem testar a partir deste exemplo (vejam mais alguns na página de teste). Helder.wiki (discussão) 22h04min de 21 de fevereiro de 2014 (UTC)

Muito Bom! Fiz algumas correções e alterei a {{marca de projeto/teste}} para gerar a marca com o módulo. Quanto às categorias concordo com "!Artigos com qualidade estimada automaticamente", o que tinha achado meio estranho era o "cuja", acho que essa preposição não fica bem em nome de categoria. ^Danilo.mac_(discussão) 03h20min de 22 de fevereiro de 2014 (UTC)

Concordei com "!Artigos com qualidade estimada automaticamente", e já atualizei no módulo. Sobre o nome das outras categorias, aceito "!Artigos sobre X precisando de reavaliação", mas talvez seja melhor deixar como estão por serem várias... (todas teriam que ser apagadas e depois recriadas sob o novo nome) Helder.wiki (discussão) 15h59min de 22 de fevereiro de 2014 (UTC)

Danilo.mac, eu migrei a Predefinição:Marca de projeto/projeto para Lua. Antes disso, eu testei a nova versão da seguinte forma:

• Coloquei na subpágina /teste o código que pretendia utilizar
• Abri algumas Predefinição:Marca de projeto/... e acrescentei "/teste" ao nome da predefinição utilizada
• Utilizei o recurso "Mostrar previsão da página com esta predefinição" que aparece abaixo da janela de edição para comparar o resultado da nova versão em algumas páginas de discussão que utilizavam essas marcas
• Corrigi os bugs que encontrei na versão inicial do código

Helder.wiki (discussão) 13h41min de 3 de março de 2014 (UTC)

Implementado!

Rjclaudio, Sway 2, Danilo.mac, PedR, Antero de Quintal, !Silent, OTAVIO1981, Sturm, Stegop e demais interessados:

Depois de revisar o código que o Danilo.mac fez, corrigir alguns bugs e fazer uma bateria de testes com uma amostra aleatória de artigos, fui audaz e migrei a "Predefinição:Marca de projeto" para o novo sistema. O número de itens nas categorias de avaliação automática deverá aumentar aos poucos (e as subcategorias da Categoria:!Artigos de qualidade desconhecida, começarão a se esvaziar) conforme o MediaWiki for atualizando as páginas de discussão de artigos que não receberam avaliações manuais. Sempre é possível forçar a atualização fazendo uma edição na página (ou talvez seja suficiente usar "action=purge" na URL). Assim que as categorias se estabilizarem, podemos atualizar (ainda com edições semi-automáticas) as matrizes de classificação, para melhorar a nossa visão geral dos artigos com base nas estimativas feitas pelo módulo.

Se encontrarem páginas em que estimativa feita pelo módulo seja diferente daquela que estava prevista na tabela de critérios, é melhor informar na Módulo Discussão:Avaliação. Se tiverem sugestões de alteração nos critérios propriamente ditos, pode ser melhor discutir aqui (que seria um espaço para as discussões menos técnicas). Helder.wiki (discussão) 20h09min de 20 de junho de 2014 (UTC)

. Apesar de ser lamentável que isto de avaliação automática, algo sempre enganador, ter que existir, é muito melhor que nada e qualquer esforço para melhorá-lo é bem vindo e merece elogios. E como pedir não custa (agora ainda menos, pois o código passou para algo em que eu não sei mexer :-), já que estão com a mão na massa, tenho uma sugestão: a predef aceitar os códigos de todos os portais (ou os que houver paciência para incluir) e projetos que ainda não tenham as predefs auxiliares criadas, como faz {{Portal3}}. Isto permitiria deixar a marcação atualizada para quando tais predefs forem criadas. --Stegop (discussão) 22h56min de 20 de junho de 2014 (UTC)

O Fabiano Tatsch também deve ter interesse nisso, ele tem avaliado vários artigos ultimamente. E é bom lembrar também que é só colocar o mouse em cima do número da qualidade para exibir o motivo pelo qual o módulo determinou a qualidade do artigo, isso pode ajudar a identificar um erro no módulo. ^Danilo.mac_(discussão) 23h33min de 20 de junho de 2014 (UTC)

Pesquisa sobre algoritmo para avaliação automática da qualidade

Divulgaram na wikitech-l a seguinte pesquisa:

• Ferramentas Editoriais Automatizadas podem ajudar a força-tarefa (cada vez menor) de voluntários da Wikipédia? (em inglês, Can Automated Editorial Tools Help Wikipedia's Declining Volunteer Workforce?)

Helder 11h31min de 1 de novembro de 2013 (UTC)