Cientistas criam teste para detectar tendências que possam indicar preconceito em IA

Pesquisadores liderados pelo cientista de pesquisa do Google Moritz Hardt desenvolveram um método para impedir que algoritmos tomem decisões injustas com base em critérios como etnia, gênero ou idade das pessoas.

“Decisões baseadas em mahcine learning podem ser incrivelmente úteis e ter um profundo impacto em nossas vidas… E falta uma metodologia de machine learning↳Machine learning39 conteúdosClassificador de Sentimentos – Azure MLData · abr 2019Inteligência Artificial e Machine Learning: O que você precisa saberAI · fev 2024Inteligência Artificial: seminário online da USP debate o futuro do aprendizado de máquinaGestão Dev & TI · jun 2021Ver tudo em AI → que previna esse tipo de discriminação baseada em atributos sensíveis”, afirmou Hardt.

O teste é voltado para programas de machine learning que aprendem a fazer previsões sobre o futuro através de grandes quantidades de dados existentes. Como os critérios de decisão são essencialmente aprendidos pelo computador, em vez de serem pré-programados por humanos, a lógica exata das decisões é muitas vezes opaca, até mesmo para os cientistas que escreveram o software.

Para contornar isso, os cientistas desenvolveram uma maneira de testar a discriminação simplesmente analisando os dados que entram em um programa e as decisões resultantes.

[awprm urls=https://imasters.com.br/noticia/para-pesquisadora-algoritmos-fomentam-desigualdade-e-discriminacao/,https://imasters.com.br/noticia/pesquisadores-podem-ter-descoberto-algoritmo-que-explica-inteligencia/]

A abordagem, chamada de Equality of Opportunity in Supervised Learning, funciona em conformidade com o princípio básico de que quando um algoritmo toma uma decisão sobre um indivíduo – seja para mostrar um anúncio online ou conceder liberdade condicional -, ela não deve revelar nada sobre a raça ou o gênero do indivíduo além do que poderia ser obtido a partir dos próprios dados de entrada do algoritmo.

Como exemplo, o site The Guardian cita a seguinte situação: imagine que um banco descobre que mulheres têm o dobro de probabilidade de pagar empréstimos do que homens. Assim, seria razoável imaginar que uma pessoa que não tivesse pagado um empréstimo tinha maior probabilidade de ser homem que mulher. No entanto, se o algoritmo calculasse que a melhor estratégia para o banco era apenas conceder empréstimos a mulheres, ele se revelaria preconceituoso, já que alguns homens também pagariam empréstimos, e algumas mulheres, não.

Além disso, de acordo com Hardt, eliminar determinadas informações não impede que o algoritmo tome decisões preconceituosas, pois ele seria capaz de usar outros dados disponíveis de maneira igualmente “preconceituosa”, o que levaria aos mesmos problemas de um algoritmo que tivesse acesso a esses dados.

O método foi detalhado em um artigo apresentado na conferência NIPS, em Barcelona, no começo de dezembro. E o regulador financeiro dos EUA, Consumer Financial Protection Bureau, já manifestou interesse em usá-lo para avaliar bancos.

No entanto, têm sido levantadas preocupações de que a existência desse tipo de “teste” possa remover o foco de como as máquinas chegam às decisões que tomam. Normalmente, sabe-se muito pouco sobre a forma como as redes neurais funcionam, e esse “teste” pode desviar a atenção de problemas sérios que estejam ocorrendo nessa camada do algoritmo.

Para Noel Sharkey, professor de robótica da Universidade de Sheffield, ainda é temerário usar esse tipo de algoritmo para situações que tenham impacto social. “Machine learning é ótimo se usado para determinar a melhor rota para uma tubulação de petróleo”, opinou. “Mas até que nós saibamos mais sobre como isso lida com preconceitos, eu ficaria muito preocupado de que ele fosse usado para tomar decisões que afetem as vidas das pessoas”, completou.