OS RISCOS NA ERA DA IA: DISCRIMINAÇÃO ALGORÍTMICA, MODELAGEM DOS INDIVÍDUOS E O PAPEL DO DIREITO NA PROMOÇÃO DA INCLUSÃO

Liga Acadêmica de Direito Internacional, Disruptividade e Direito

Os riscos na Era da IA_ Discriminação Algorítmica, Modelagem dos Indivíduos e o Papel do D.

Fazer download de • 134KB

1 INTRODUÇÃO

Com a ascensão do mundo cada vez mais tecnológico, sob hegemonia quase exclusiva dos países centrais do capitalismo - Europa e, sobretudo, Estados Unidos -, foge da atenção social os problemas relacionados à governança e proteção de dados em um mundo extremamente danificado pelas grandes empresas de tecnologia, principalmente as Big Techs. A ausência de questionamento sobre as novas tecnologias e o foco apenas em suas vantagens são as chamadas “não-questões” (SILVEIRA, 2021).

Uma dessas “não-questões” é a discriminação algorítimica machista impulsionada sobretudo a partir da baixa representatividade feminina na área de computação. Os algoritmos da atualidade podem reproduzir as conclusões geradas por meio da análise dos dados que lhes foram disponibilizados. No entanto, durante esse processo, também reproduzem os preconceitos presentes nesses conjuntos de dados, seja porque a realidade captada é desigual ou porque o próprio processo de sua coleta é enviesado.

A falta de transparência e acesso de tais dados utilizados e dos códigos que constituem os algoritmos prejudica uma possível defesa das minorias ali excluídas. Com isso, os algoritmos e a Inteligência Artificial ganham o potencial de exercer um papel próprio de dizer quem somos e podem fazer isso de maneira absolutamente discriminatória e machista, mas com uma roupagem de verdade objetiva.

2 A MODIFICAÇÃO DOS INDIVÍDUOS PELOS ALGORITMOS

Para entender essa relação, de início, é importante destacar o contexto em que surge o conceito de não-questão: o colonialismo de dados. A parceria firmada entre o Tribunal de Justiça de São Paulo que forneceu dados de processos judiciais à Microsoft em troca da facilitação de processos e redução de custos em 40%, é um exemplo disso. Quais os impactos dessa parceria no âmbito da soberania nacional? Para Sérgio Silveira (2021) trata-se de um reflexo do neoliberalismo e da colonialidade do pensamento, haja vista que a ideologia neoliberal estaria em busca de melhores produtos e serviços, que seriam sempre os das grandes empresas do capitalismo central, de modo que não há preocupação, por exemplo, se a produção é local ou não, o que, por efeito bola de neve, inibe o desenvolvimento local.

Esse contexto se integra ao “capitalismo de vigilância” (ZUBOFF, 2020). O capitalismo tem por uma de suas bases a transformação de tudo em mercadoria, como a árvore em móvel doméstico e onde até a vida privada é comoditizada: “A experiência humana podia ser a floresta virgem do Google” (Ibid, p. 128) e para explorá-la, o capitalismo de vigilância lança mão do “Big Brother”, que é justamente o aparato que coleta informações e modifica pensamentos:

É o fantoche perceptível, computacional, conectado que renderiza, monitora, computa e modifica o comportamento humano [...] o poder instrumentário reduz a experiência humana a comportamento observável mensurável e, ao mesmo tempo, mantém resoluta indiferença ao significado de tal experiência. (Ibid, p. 477)

Após a coleta dos dados mais sensíveis, como os comportamentais, lança-se mão do processo de renderização dos dados, que transforma as experiências pessoais em dados, para que se lucre de formas mais diversas possíveis, desde a tomada de decisão até a manipulação do comportamento. Zuboff (2020) exemplifica com aplicativos que sem necessidade solicitam a localização do usuário porque trata-se de dado lucrativo para fins de geofencing (anúncio com base na localização). Quanto mais as experiências pessoais são renderizadas, maior controle dos comportamentos, logo, maior lucro, maior venda.

Nesse cenário, quem renderiza e detém as informações é titular, por ocasião, da verdade sobre os indivíduos. Paula Sibilia (2018), no livro Tecnopolíticas da Vigilância, explica que a fonte desta verdade sobre os indivíduos se deslocou da hospedagem nas memórias subjetivas, traduzidas nos álbuns de família, para a internet e o mundo digital, materializadas pelo Google. A primeira coisa que fazemos quando queremos saber algo ou alguém é “dar um Google”.

Fundamentalmente, a “essência e a aparência se misturam e se confundem" (Ibid, p. 207 e 208) na sociedade, porque “se somos algo ou alguém, tudo isso tem que estar à vista” (Idem). Então, se o Google, ou outra ferramenta que o valha, por meio da forma com que seus algoritmos governam e renderizam nossos dados, consegue definir nossa aparência e modificar nosso comportamento, através de enviesamento nas pesquisas de busca, inserts publicitários nas redes sociais individualizados (NOBLE, 2021), também consegue dizer qual a nossa essência. No fim, como afirma Sibilia “Você é o que o Google diz que você é” e ele lucra muito com o controle de quem nós somos e como agimos.

3 A DISCRIMINAÇÃO ALGORÍTMICA

Todo esse processamento de dados é feito por algoritmos. Estes são “um conjunto de instruções, organizadas de forma sequencial, que determina como algo deve ser feito” (MENDES; MATTIUZZO, 2019, p. 42), incapazes de análise subjetiva/qualitativa, apenas trabalham binariamente, objetivamente e quantitativamente. Essa determinação é o embasamento da tomada de decisões pelas empresas, que apesar de uma pretensa, e aceita socialmente, neutralidade, pode carregar vieses discriminatórios da sociedade.

Mas, se os algoritmos operam longe da lógica subjetiva e qualitativa, como poderiam carregar vieses capazes de violar a igualdade de maneira discriminatória?

Reproduzindo as lentes de seus programadores (majoritariamente, homens) ou reproduzindo as discriminações presentes nos próprios dados processados. Ora, se existem menos mulheres exercendo função de engenheira mecânica, o algoritmo pode chegar à conclusão de que mulheres são menos qualificadas para a função. Assim, criam [falsas] “verdades objetivas” (Ibid, p. 41) reprodutoras de informações discriminatórias, tidas como verídicas.

Os algoritmos são capazes de modular comportamentos para fins financeiros e de poder, sem sequer preocupações de ordem ética quanto à privacidade das pessoas e seu consentimento. A preocupação é tão pouca que, no contexto em que essência e aparência se confundem e a verdade está deslocada para o mundo digital (SIBILIA, 2018), as Big Techs têm o controle da verdade, inclusive da verdade sobre o indivíduo. Ou seja, além da questão comportamental, o Google é capaz de definir quem somos. Isto é, o processo de análise algorítmica entre como somos e como deveríamos ser para atender aos interesses do capital, tem caráter discriminatório.

Ainda, é relevante investigar se a proteção dos nossos dados poderia evitar esse cenário, ou algum deles. Em uma pesquisa realizada pela Universidade de Nova York os pesquisadores chegaram à conclusão de que o resultado de pesquisas em ferramentas consideradas como “neutras” em percepção de gênero, mas que ainda carregam esses preconceitos, podem influenciar o processo de contratação de funcionários.

O fato é que falar de discriminação algorítimica contra mulheres vai além de falar de dados, é relembrar um passado e uma história que constantemente apaga ou é reescrita para excluir mulheres. Importa ressaltar que os algoritmos trabalham com a gama de dados em seu input para produzir os resultados almejados no output e quando esses dados incluem esse vício de representatividade feminina, os resultados podem muito bem acompanhar essa tendência.

4 CONSIDERAÇÕES FINAIS: CAMINHOS PARA UMA IA MAIS INCLUSIVA E O PAPEL DO DIREITO

Dessa forma, é possível observar o movimento criado pela introdução da Inteligência Artificial no cotidiano da sociedade brasileira e de sua presença de forma global. Neste contexto, os Estados passam a entender sobre a necessidade da criação de regulamentações, por meio de leis, que possam fornecer e explicitar direitos que envolvam a utilização dessa tecnologia. Também deve ser observada a importância, já citada no presente artigo, em relação ao perigo da utilização dos algoritmos de modo a alimentar uma história que visa excluir a figura feminina e suas conquistas.

Nesse contexto, a regulação da tecnologia por meio do direito deve proporcionar a transparência do processo de desenvolvimento dos algoritmos a fim de que seja compreendido se a discriminação foi prevista ou se foi consequência da produção autônoma de determinado algoritmo. Somado a isso, esse processo deve proporcionar e promover uma melhor ocupação desses espaços pela figura feminina, permitindo que haja um reconhecimento maior do trabalho das mulheres nessa área, eliminando parte dos vieses discutidos anteriormente, e evitando a violação do princípio constitucional da igualdade.

Essa regulamentação pode ser vista como uma forma de diminuir os casos de discriminação intencional, por meio da aplicação de sanções, e deve ser utilizada para implementar projetos educacionais que visem a promoção da reflexão e o debate sobre o assunto, a fim de que as pessoas tenham maiores esclarecimentos e compreendam as mudanças que estão vivenciando.

O grande desafio do direito é regulamentar o desenvolvimento, funcionamento e as consequências trazidas pelo uso da IA, para que seu uso seja mais consciente e inclusivo, de forma a não prejudicar a vontade de desenvolver novas tecnologias.

REFERÊNCIAS

MENDES, Laura Schertel, MATTIUZZO, Marcela. Discriminação Algorítmica: conceito, fundamento legal e tipologia. RDU, Porto Alegre, Volume 16, n. 90, 2019, 39-64, nov-dez 2019.

MOROZOV, Evgeny. Introdução: Capitalismo tecnológico e cidadania. In: MOROZOV, Evgeny. Big Tech. São Paulo: Ubu, 2018.

NOBLE, Safiya Umoja. Algoritmos da opressão: como o google fomenta e lucra com o racismo. Santo André/SP: Rua do Sabão, 2021.

SIBILIA, Paula. Você é o que o Google diz que você é: a vida editável, entre controle e espetáculo. In: BRUNO, Fernanda; CARDOSO, Bruno; GUILHON, Luciana; KANASHIRO, Marta (Orgs.). Tecnopolíticas da vigilância. 1a ed. São Paulo: Boitempo, 2018.

SILVEIRA, Sérgio Amadeu. A hipótese do colonialismo de dados e o neoliberalismo. In: CASSINO, João Francisco; SOUZA, Joyce; SILVEIRA, Sérgio Amadeu (org.). Colonialismo de dados: como opera a trincheira algorítmica na guerra neoliberal. São Paulo: Autonomia literária, 2021.

ZUBOFF, Shoshana. A era do capitalismo de vigilância: a luta por um futuro humano na nova fronteira do poder. Rio de Janeiro: Intrínseca, 2020.

GASKELL, Adi. Viés em buscas do Google pode afetar a contratação de mulheres: Pesquisadores indicam que a inteligência artificial é influenciada pelos preconceitos da sociedade e reforça o problema. FORBES, 2022. Disponível em: https://forbes.com.br/carreira/2022/09/vies-em-buscas-do-google-pode-afetar- contratacao-de-mulheres/. Acesso em: 18 de dezembro de 2024

VICENTE, João Paulo. Preconceito das máquinas: como algoritmos podem ser racistas e machistas. Tilt OUL, 2018. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2018/04/24/preconceito-das-maquinas- como-algoritmos-tomam-decisoes-discriminatorias.htm. Acesso em: 18 de dezembro de 2024.

SALAS, Javier. Se está na cozinha, é uma mulher: como os algoritmos reforçam preconceitos: As máquinas inteligentes consolidam os vieses sexistas, racistas e classistas que prometiam resolver. El país, 2017. Disponível em: https://brasil.elpais.com/brasil/2017/09/19/ciencia/1505818015_847097.html. Acesso em: 18 de dezembro de 2024.