A ascensão do Big Data e suas implicações preocupantes para a justiça e o patrimônio líquido
- Criado em 15/12/2021 Por LinkLei
O que o julgamento de Kyle Rittenhouse, o julgamento de Ahmaud Arbery e o julgamento de Unite the Right de Charlottesville têm em comum?
Além da considerável atenção da mídia que atraíram e da proximidade com várias outras questões paralelas de justiça social, esses julgamentos geraram conversas sobre o papel da raça na escolha do júri.
O aumento do big data , que se refere ao alto volume de dados que pode ser coletado por meio de tecnologias modernas, trouxe consigo um aumento na quantidade de informações sobre jurados em potencial que os litigantes podem acessar antes da seleção do júri. A partir das postagens que os jurados em potencial compartilham com os sites de notícias em que confiam, os litigantes agora podem especular com mais precisão sobre a inclinação política do jurado e outros dados importantes.
Pixabay
Falando sobre os polêmicos júris dos três julgamentos recentes, o professor de direito da Universidade de Georgetown, Paul Butler, comentou em uma entrevista recente ao NPR: “[S] e você tem preocupações sobre o sistema jurídico criminal, mesmo que essas preocupações sejam baseadas em evidências, às vezes , que é usado para sugerir viés. E isso elimina desproporcionalmente as pessoas de cor do júri ”.
O big data tem o potencial de afetar não apenas a seleção do júri, mas virtualmente todos os processos legais. Seu poder vem de sua capacidade de fornecer um modelo de aprendizado de máquina , também conhecido como algoritmo. Treinando-se nos dados que foi alimentado, o algoritmo pode então realizar tarefas complexas, como encontrar padrões do passado ou fazer previsões de comportamento futuro. O campo emergente da justiça de dados explora a interseção entre o uso de dados e a justiça social.
Na >conferência re: publica de 2017 , a maior >conferência da Internet e da sociedade digital da Europa, Arne Hintz abordou as preocupações de coletar grandes quantidades de dados. O codiretor do Data Justice Lab , Hintz referiu-se ao processo de uso de tais dados para classificar os indivíduos como "datificação".
“Somos categorizados de acordo com conjuntos de dados e nossos direitos e obrigações são reconfigurados de acordo com essas classificações”, disse Hintz. “A datificação muda a sociedade, a governança e o poder.”
Hintz considerou as mudanças na dependência de dados tão generalizadas a ponto de exigir uma "renegociação das liberdades civis e da democracia e a mudança de poder entre as diferentes forças da sociedade".
“A autoproteção e os direitos digitais são importantes, mas não são suficientes para lidar com a transformação mais fundamental que estamos testemunhando”, continuou Hintz. “A mudança no tecido e na organização da sociedade por meio da datafication, que afeta a capacidade das pessoas de participar da sociedade e algumas pessoas mais do que outras.”
Em uma entrevista ao TED Radio Hour , o fundador da Algorithmic Justice League Joy Buolamwini explorou como o aprendizado de máquina pode ter um impacto desproporcional na capacidade de certos indivíduos de participarem da sociedade. Se o modelo de computação for treinado em dados tendenciosos ou se os dados refletirem as desigualdades existentes, o algoritmo aprenderá a replicar o viés e perpetuar essa discriminação.
“O que você pode ter pensado que deveria ser um processo neutro, na verdade reflete os preconceitos sobre os quais [o modelo de computação] foi treinado”, explicou Boulamwini. “E às vezes o que você está vendo é uma representação distorcida, mas outras vezes o que as máquinas estão detectando são nossos próprios preconceitos sociais que são realmente verdadeiros com os dados.”
Conjuntos de dados de imagens de rostos humanos fornecidos para treinar sistemas de reconhecimento facial ilustram as implicações da representação distorcida no aprendizado de máquina. Quando esses conjuntos de dados contêm principalmente rostos de pele mais clara, como mostrou a pesquisa de Boulamwini, os sistemas de reconhecimento facial não serão sensíveis a rostos com outros tons de pele.
“O que isso significa para a vigilância?” Boulamwini perguntou. “O que isso significa para a democracia?”
A ferramenta de contratação automatizada da Amazon , que acabou eliminando, ilustra as implicações do preconceito social no aprendizado de máquina. Ao classificar currículos de ex-candidatos e funcionários bem-sucedidos, o algoritmo da Amazon foi projetado para tornar o recrutamento mais eficiente.
“O que estamos aprendendo são os padrões de como o sucesso parecia no passado”, disse Boulamwini. “Então, se estamos definindo o sucesso por como parecia no passado e o passado foi aquele em que os homens tiveram oportunidades, os brancos tiveram oportunidade e você não necessariamente se encaixa nesse perfil, embora possa pensar que é criando esse sistema objetivo, está passando por currículos, certo? É aqui que encontramos problemas. ”
Em sua palestra no TED , o Dr. Phillip Atiba Goff explorou como os dados podem ser usados ​​para combater alguns dos mesmos problemas discriminatórios que eles criam. Co-fundador do Center for Policing Equity, Goff discutiu como os dados podem ser usados ​​para garantir a responsabilização da aplicação da lei.
“Você tem um problema ou uma meta, você mede, você se responsabiliza por essa métrica”, disse Goff. “Então, se todas as outras organizações medem o sucesso dessa forma, por que não podemos fazer isso no policiamento?”
Goff observou que os departamentos de polícia já praticam a responsabilidade baseada em dados, mas limitam essa prática à análise de métricas de crime por meio de um sistema chamado CompStat. Goff explicou que um sistema semelhante pode ser empregado para analisar métricas adicionais, como dados demográficos e dados comportamentais da polícia, que podem revelar disparidades raciais.
“Agora, quando você define o racismo em termos de comportamentos mensuráveis, você pode fazer a mesma coisa. Você pode criar um CompStat para a justiça ”, disse Goff.
“O objetivo dessas análises é determinar o quanto o crime, a pobreza e a demografia do bairro prevêem, digamos, o uso da força pela polícia”, continuou Goff. “Digamos que esses fatores prevejam que a polícia usará a força contra tantos negros. Lá? Portanto, nossa próxima pergunta é, quantos negros realmente são alvos do uso da força policial? Digamos que sejam tantos. Então, o que há com a lacuna? Bem, uma grande parte da lacuna é a diferença entre o que é previsto por coisas que a polícia não pode controlar e o que é previsto por coisas que a polícia pode controlar - suas políticas e seus comportamentos ”.
As plataformas Data-for-Justice também tentam usar os dados como uma ferramenta para promover a justiça. A startup israelense-americana fundada há pouco mais de um ano Darrow é um exemplo. Ao extrair dados online de relatórios corporativos e outras publicações, Darrow usa o aprendizado de máquina para descobrir violações legais e responsabilizar os criminosos por essas transgressões. As violações comuns incluem violações de privacidade, fraude ao consumidor, poluentes ambientais, cobranças excessivas e concorrência desleal.
“Nós ensinamos uma máquina a entender a lei, identificar ações prejudiciais e trazê-las à luz e à justiça”, disse Gila Hayat, cofundadora e diretora de tecnologia, em um recente comunicado à imprensa . “Este é um grande desafio com o qual o sistema jurídico ainda não foi capaz de lidar.”
Empregar o aprendizado de máquina não é apenas mais rápido do que os métodos tradicionais, mas também resulta na descoberta de mais violações. “A maioria das violações nunca é descoberta”, disse Hayat. “A informação está disponível, mas o desafio está em encontrá-la dentro da vasta quantidade de dados online e montar a história jurídica a partir de fragmentos espalhados por múltiplas fontes.”
Como outras ferramentas produzidas por humanos, o aprendizado de máquina pode ser usado de várias maneiras, e muitas vezes contraditórias. Ao perpetuar as desigualdades, o aprendizado de máquina pode prejudicar a justiça; ou, ao levar a mais responsabilidade, pode servir à justiça.
As formas opostas em que os dados podem ser usados ​​foram reconhecidas por entidades governamentais e formuladores de políticas. Várias iniciativas, incluindo o Observatório de Políticas de AI da OCDE e o Grupo de Especialistas de Alto Nível em Inteligência Artificial da Comissão Europeia , foram formadas em resposta às implicações éticas das novas tecnologias. Com poucas diretrizes legislativas aprovadas nos Estados Unidos, as implicações legais do efeito do uso de dados na justiça social permanecem obscuras.
Enquanto continuamos lutando com a convergência de big data e justiça, vale a pena observar uma observação do ex-secretário de Estado dos EUA Henry Kissinger e seus coautores do livro Age of AI: And Our Human Future : “[AI] não é um facilitador de muitas indústrias e facetas da vida humana: pesquisa científica, educação, manufatura, logística, transporte, defesa, aplicação da lei, política, publicidade, arte, cultura e muito mais. As características da IA - incluindo sua capacidade de aprender, evoluir e surpreender - irão atrapalhar e transformar todos eles. O resultado será a alteração da identidade humana e da experiência humana da realidade em níveis não experimentados desde o início da era moderna. ”