Algoritmos responsabilizáveis

De acordo com Joshua Kroll, algoritmos responsabilizáveis são sistemas computacionais que em seu comportamento compõem normas políticas, legais e sociais e que isto é determinado através de um operador, que pode ser um cidadão ou uma autoridade, sempre levando em conta a escolha moral e ética de quem o fez tendo assim a incorporação desses valores nas funções objetivas. Tais sistemas cada vez mais estão sendo empregados para governos e indústrias. A história de algoritmos responsabilizáveis é diluída em algoritmos de tomada de decisão, isto é, não há um marco de quando eles começaram.

Algoritmos

Existem diversas definições de algoritmos, algumas mais formais e completas, outras aplicadas a um determinado propósito. No dicionário da Infopédia algoritmo para a informática trata-se de: “conjunto de operações, sequenciais, lógicas e não ambíguas, que, aplicadas a um conjunto de dados, permitem encontrar a solução para um problema num número finito de passos”. Podemos exemplificar ainda duas que aplicadas a este contexto descrevem o necessário de maneira formal e informal. “Algoritmos são conjuntos de regras que os computadores seguem para resolver problemas e tomar decisões sobre um determinado curso de ação.” Segundo Cathy O'Neil, para seus propósitos, algoritmos são apenas sistemas treinados por dados históricos otimizados para alguma definição de sucesso.

Antecedentes

Primeiramente, segue uma lista de alguns conceitos relacionados a algoritmos responsabilizáveis e à ciência da computação:

• Teste de software;
• Tipagem de sistemas e verificação de software;
• Computação verificada;
• Justeza em ciência da computação;
• Sistemas de auditoria;
• Avaliação de sistemas automatizados de decisão;
• Responsabilidade.

Após estes conceitos, abaixo são listados conceitos relacionados fora do espectro da computação:

• Filosofia da lei, regra da lei e software como lei;
• Processo justo;
• Transparência;
• Engenharia reversa;
• Supervisão e execução;
• Justeza;
• Responsabilidade.

Algoritmos responsabilizáveis

Algoritmos responsabilizáveis têm vários exemplos práticos que são utilizados com propósitos que podem ser bem distintos. Alguns dos algoritmos mais utilizados são:

• Credit Score

Pontuação de crédito, mais conhecida como credit score, é uma pontuação calculada por um algoritmo específico que instituições financeiras utilizam para determinar em quais clientes devem fazer investimentos, ou seja, são hábitos de pagamentos, verificando como o cliente se relaciona com o mercado de crédito. Temos um Credit Score conhecido como Serasa Score, é uma pontuação que vai de zero a mil; são analisados diversos fatores, como, pagamentos de contas em dia, histórico de dívidas negativadas, relacionamento financeiro com empresas e dados cadastrais atualizados. Com o score alto fica mais fácil de obter crédito no mercado. O score é dinâmico, sempre mudando de acordo com as ações do consumidor no mercado financeiro;

• Sistema de justiça criminal prevendo criminalidade de um detento

Através de análise de dados estatísticos o software “prevê” se um determinado detento irá cometer outro delito ou não. Este tipo de sistema utiliza dados sócio-demográficos e histórico criminal do detento para aferir a probabilidade da pessoa recorrer a algum tipo de crime novamente.

• Empresas escolhendo candidatos para vagas de emprego

“Caçar empregos é uma questão de Big Data, não como você se porta na entrevista”. É assim que começa a matéria feita por Tim Adams, do jornal The Guardian. O que ele quis dizer com isso é que empresas atualmente preferem utilizar algoritmos para determinar se um candidato é mais apto para a vaga disponível que métodos tradicionais de contratação como entrevistas.

• Algoritmo que determina a taxa de sucesso de um filme

Alguns estúdios de Hollywood, como Paramount, Universal, Warner Bros, contratam empresas de consultoria que se utilizam de algoritmos para mostrar se um filme irá render dinheiro e a chance de se sair bem. Ele compara várias bases de dados de filmes que já foram feitos, como o novo filme, determinando o impacto da história e de mudança entre atores.

• Algoritmo do amor

Muitas pessoas utilizam sites de namoro para encontrar a pessoa ideal, um dos sites mais conhecidos é o eHarmony, que para se ter um perfil completo era preciso responder quatrocentas perguntas. Recentemente esta empresa fez mudanças no algoritmo para encontrar a pessoa ideal, deixando de lado a obrigatoriedade de responder todas as perguntas. Outro serviço é o aplicativo Tinder, mesmo que os executivos não revelem de que forma o algoritmo trabalha, eles afirmam que cada usuário recebe uma nota secreta para calcular as melhores combinações, e a quantidade de vezes que um perfil foi rejeitado ou curtido, influenciam muito para a combinação, além de variáveis como geografia, idade e orientação sexual.

Ética em Algoritmos responsabilizáveis

Muitas vezes as causas do viés se encontram nos processos sociais, e não no código, mesmo que sejam utilizadas técnicas de restrições no processo de decisão, não será totalmente certo que algum algoritmo não apresente nenhum conceito moralmente errado. Mesmo os códigos mais cuidadosamente escritos, podem conter preconceitos preexistentes ou refletir dados discriminatórios. Por isso, para garantir a maior taxa de acerto, a atenção na equidade do design e também uma vistoria minuciosa de como esses códigos operam na prática são imprescindíveis.

Ainda sobre esse conceito houve um caso no processo Ricci V. DeStefano, que determinadas ações eram tomadas de acordo com a raça do indivíduo, sendo elas distintas. A lei permite que seja feita uma auditoria nos algoritmos para que haja a detecção e correção de qualquer forma discriminatória, e ainda permite a revisão de forma prospectiva para remoção do problema. Todas estas ferramentas são utilizadas para que haja uma diminuição da discriminação.

Aplicações controversas

Há exemplos de aplicações que mostram a necessidade de uma supervisão humana, pois os construtores do sistema podem produzir o mesmo de forma a trazer uma vantagem sobre os concorrentes de uma maneira ilícita. São exemplos destas aplicações:

• Gravar comunicação privada para venda

Uma empresa produtora de SmartTVs foi acusada de gravar voz sem pedir permissão durante o ato, ou seja, invadindo a privacidade de seus usuários. A empresa emitiu nota informando que eram necessárias algumas gravações para um funcionamento razoável de uma de suas ferramentas, produzida por um terceiro. Tais gravações ainda seriam transmitidas para este terceiro de forma encriptada. Porém foi descoberto que os dados não estavam criptografados e a mesma admitiu a veracidade de tal informação. O acusador alega que os termos na política de privacidade do produto como avisos de possíveis gravações de voz não são suficientes para permitir tal invasão de privacidade.

• Burlar testes de emissão de gases veiculares

Uma empresa multibilionária produtora de automóveis foi descoberta burlando testes de emissão de gases de alguns de seus modelos. O que aconteceu foi que o veículo possuía um computador a bordo que identificava os testes e nivelava o desempenho do carro de forma a reduzir a produção dos poluentes. Porém quando o computador identificava o veículo como uso real melhorava o desempenho de forma a agradar o usuário do automóvel e produzia gases em maiores quantidades. A empresa foi multada por um alto valor e a própria empresa tomou medidas (divulgadas de forma oficial) para evitar que volte a acontecer.

• Startups realizando empréstimos utilizando credit scores com interesses discriminatórios

“Por lei, credores não podem discriminar aplicações de empréstimo baseados em raça, religião, país de origem, sexo, estado civil, idade ou recebimento de assistência social.” Ou seja, alguns dados que são bastante usados por mineradores de dados não podem inviabilizar um negócio deste ramo. Startups do setor financeiro buscam utilizar uma nova abordagem do mesmo princípio básico conhecido neste mundo: “conheça seu consumidor”. Porém não é pública a forma que tais empresas indicam como escolhem consumidores para realizar seus negócios. Dito isso enquanto não for provado o mal uso de tais dados essas empresas não podem punidas.

Caminhão Autônomo Volvo

• Carro auto-dirigido da Uber ultrapassa sinal vermelho

Em um caso um Volvo autônomo passou por um sinal vermelho em uma rua movimentada em frente ao Museu de Arte Moderna da cidade. Alegaram que foi um erro humano, mas documentos internos da Uber vistos pelo New York Times, confirmaram que quando o carro ultrapassou o sinal, ele estava no modo auto dirigido. Pelos programas de mapeamento utilizados pelos carros da Uber, não conseguiram reconhecer seis semáforos na área de São Francisco.

Escala da Justiça

• Algoritmo que prevê reincidência de um crime

COMPAS é um sistema automatizado, baseado em um algoritmo de análise de risco, que é utilizado para saber a probabilidade de uma pessoa cometer um novo crime. Ocorreu um caso no estado de Wisconsin em 2013, onde um homem foi condenado a sete anos de prisão, o nome dele é Eric Loomis. Nesse caso, antes de sair a sentença, juízes fizeram uma avaliação pelo sistema COMPAS, o resultado indicava alto risco de cometer novos crimes, o que influenciou na decisão. Advogados de Loomis questionaram o sistema alegando que os direitos do cliente foram violados, pois a avaliação era tendenciosa me fatores como gênero e raça. Em 2016 a ONG ProPublic, avaliou mais de dez mil casos e constatou que a previsão do sistema COMPAS para alto risco de reincidência era mais comum para negros que para brancos.

• Faceapp constrói uma Inteligência Artificial racista

Faceapp é um aplicativo de edição de fotos, ele utiliza uma rede neural para editar fotos. Umas das funções é o efeito "embelezar", dentro do filtro hotness, que foi considerado por muitos usuários como racista. Esse efeito consistia em aliviar os tons de pele, dando a entender que para embelezar a pele, deveria ser a mais clara possível.

• Entrevista de emprego, escolha do algoritmo

Nas milhares de inscrições recebidas, empresas optam por sistemas automatizados na hora de escolher os candidatos. A estimativa, nos Estados Unidos, é que 70% dos candidatos sejam eliminados antes de serem avaliados por pessoas, ficando a seleção a cargo destes sistemas. Gideon Mann e Cathy O'Neil, publicaram um artigo na revista Harvard Business Review, afirmando que a Inteligência Artificial pode ter decisões tendenciosas e que os programas não são desprovidos dos preconceitos humanos.

Ver também

• Algoritmo
• Big data
• Veículo autônomo