* Maria Thereza Henriques
Introdução à Inteligência Artificial e ao Fenômeno da Discriminação Algorítmica
Os termos Inteligência Artificial (IA) e algoritmos já fazem parte do vocabulário cotidiano, inclusive no Direito. Ainda assim, compreender com exatidão o que significam e, principalmente, como afetam nossa realidade prática, é um desafio.
De forma simples, podemos entender a IA como sistemas projetados para aprender com dados e experiências, reconhecendo padrões, fazendo previsões e, em alguns casos, tomando decisões. Os algoritmos são a engrenagem por trás disso: um conjunto de instruções lógicas que orientam a máquina sobre como agir a partir das informações que recebe.
O que parecia sinônimo de eficiência e neutralidade, contudo, vem revelando um lado mais complexo. A tecnologia, além de resolver problemas antigos, também é capaz de recriá-los sob novas formas. É o que ocorre com a discriminação algorítmica — quando sistemas automatizados produzem resultados que favorecem ou prejudicam certos grupos de forma desproporcional.
Em outras palavras, a IA pode reproduzir preconceitos históricos e desigualdades sociais existentes nos dados que alimentam esses sistemas, amplificando-os em escala digital. Essa distorção toca diretamente princípios fundamentais como igualdade e não discriminação, pilares do nosso ordenamento jurídico e de tratados internacionais. Os impactos são concretos: decisões automatizadas que influenciam contratações, concessão de crédito e até julgamentos judiciais.
É importante reconhecer que a causa da discriminação algorítmica nem sempre está em uma intenção deliberada. Em geral, ela surge de duas fontes principais:
- Vieses nos dados de treinamento. A IA aprende com os dados que recebe. Se esses dados trazem traços de desigualdade — como preconceitos raciais, de gênero ou de classe — o sistema tende a reproduzir essas distorções. É a velha máxima do “garbage in, garbage out”: se o que entra está contaminado, o resultado também estará. No contexto brasileiro, o racismo estrutural é um exemplo eloquente de viés social que pode ser transferido ao mundo digital.
- Escolhas humanas no desenvolvimento. O viés também pode nascer das decisões tomadas por programadores e desenvolvedores — desde a seleção de dados até a definição de parâmetros de análise. Por mais técnicos que sejam, esses processos carregam a subjetividade e as referências de quem os cria.
O resultado é um sistema que, longe de ser neutro, reflete as imperfeições da sociedade que o produziu. Reconhecer esse fenômeno é o primeiro passo para enfrentá-lo de forma ética e jurídica, especialmente porque as consequências da automação discriminatória já estão diante de nós — e exigem uma resposta do Direito à altura dos tempos digitais.
Os Impactos da Discriminação Algorítmica e Exemplos Notórios
O maior risco jurídico da discriminação algorítmica está na violação direta a princípios fundamentais de igualdade e não discriminação — valores estruturantes da Constituição Federal de 1988 e de tratados internacionais. Quando um sistema de Inteligência Artificial aprende a partir de dados contaminados por preconceitos históricos, ele tende a reproduzir e até amplificar esses vieses, gerando uma forma de discriminação sistêmica que desafia a ideia de neutralidade tecnológica.
Diversos estudos brasileiros, especialmente nas áreas de Direitos Humanos e Direito Administrativo, têm se debruçado sobre esse fenômeno, apontando como a IA pode, de maneira sutil e automatizada, reproduzir desigualdades e criar novos mecanismos de exclusão. O uso crescente de algoritmos em decisões automatizadas afeta setores sensíveis da vida social e econômica, como o sistema judiciário, as relações de consumo, o mercado de trabalho e até a liberdade de expressão nas redes sociais.
No Judiciário, por exemplo, a utilização de algoritmos para prever riscos de reincidência ou auxiliar em julgamentos tem levantado sérias preocupações. O caso mais emblemático é o do sistema COMPAS, nos Estados Unidos, amplamente citado na literatura jurídica, que atribuía pontuações de risco maiores a réus negros do que a brancos, influenciando decisões mais severas. Esse é um retrato claro de como a automação pode perpetuar desigualdades raciais sob a aparência de objetividade.
Casos semelhantes ocorrem em outras áreas. Ferramentas de reconhecimento facial, como as desenvolvidas por grandes empresas de tecnologia, já apresentaram erros graves de classificação. Um dos episódios mais notórios envolveu o Google, que chegou a rotular imagens de dois jovens negros como “gorilas”. Episódios como esse expõem a face mais preocupante da discriminação racial algorítmica: o preconceito embutido nos dados e nas modelagens, projetado em escala global.
A discriminação de gênero também tem sido amplamente documentada. Em 2018, o algoritmo de recrutamento da Amazon foi desativado após constatar-se que ele penalizava candidaturas femininas, por ter sido treinado com dados históricos marcados pelo predomínio masculino na área de tecnologia. Um ano depois, o Apple Card foi investigado por conceder limites de crédito significativamente menores a mulheres, mesmo quando apresentavam histórico financeiro superior ao de seus companheiros — um exemplo evidente de desigualdade de gênero reproduzida por software.
A discriminação também se manifesta sob forma econômica e geográfica, em práticas como o geopricing. No Brasil, a empresa Decolar foi multada por aplicar preços diferentes conforme a localização do consumidor, restringindo inclusive reservas de determinadas regiões. O mesmo tipo de viés aparece em sistemas de concessão de crédito, que associam renda e localização a risco financeiro, criando uma barreira invisível para indivíduos de áreas menos favorecidas — um reflexo digital da desigualdade social.
Esses casos demonstram a complexidade das manifestações discriminatórias no ambiente algorítmico. Mendes e Mattiuzzo (2019) classificam-nas segundo seus elementos causais, o que ajuda a compreender a profundidade do problema. A discriminação por erro estatístico surge de falhas na coleta ou no tratamento de dados, quando certos grupos são mal representados. Já a discriminação por generalização decorre do excesso de simplificação dos modelos matemáticos, que tratam pessoas diferentes como se fossem iguais. Há ainda a discriminação por uso de informações sensíveis, quando o sistema se baseia em dados como gênero, raça ou localização — categorias protegidas por lei. E, por fim, a discriminação limitadora de direitos, em que o impacto negativo do resultado algorítmico compromete o exercício de direitos fundamentais, ainda que o cálculo em si seja tecnicamente correto.
A análise desses exemplos evidencia que o problema não está apenas na tecnologia em si, mas na forma como ela é concebida, alimentada e aplicada. O Direito, portanto, precisa se posicionar como instrumento de equilíbrio — capaz de garantir que a inovação não se torne uma nova forma de exclusão.
O Marco Regulatório e a Busca por Transparência no Brasil
A discriminação algorítmica é um fenômeno atual e persistente que vai muito além do ambiente digital. Ela ocorre quando sistemas de Inteligência Artificial, projetados para aprender, reconhecer padrões e tomar decisões, produzem resultados que favorecem ou prejudicam certos grupos de forma desproporcional. Longe de serem neutros, esses sistemas refletem e até amplificam desigualdades históricas já presentes na sociedade. No contexto brasileiro, o racismo estrutural é um exemplo emblemático de como preconceitos sociais podem ser traduzidos em linguagem matemática, gerando uma nova forma de discriminação sistêmica.
Esses vieses podem surgir de diferentes formas: falhas na coleta de dados, erros estatísticos, generalizações excessivas dos modelos, uso indevido de informações sensíveis ou, simplesmente, do impacto negativo que uma decisão automatizada pode gerar sobre o exercício de direitos fundamentais. Estudos jurídicos nacionais mostram que as discriminações racial e de gênero são as mais recorrentes.
Para enfrentar esses desafios, o Direito precisa se apoiar no princípio da igualdade substancial, que não se limita à ideia formal de tratar todos de maneira idêntica, mas exige ações concretas de inclusão e combate a distinções arbitrárias. A Constituição Federal de 1988 é o ponto de partida, e a Lei Geral de Proteção de Dados (LGPD) (Lei nº 13.709/2018) representa um avanço importante. O artigo 20 da LGPD garante ao titular o direito de solicitar revisão e explicação de decisões tomadas unicamente por tratamento automatizado quando seus interesses forem afetados. Embora o veto presidencial tenha suprimido a obrigatoriedade de revisão por pessoa natural, parte da doutrina defende uma interpretação extensiva desse artigo, de modo a preservar a proteção efetiva dos direitos dos titulares de dados.
No campo institucional, o Conselho Nacional de Justiça (CNJ) incorporou o princípio da não discriminação em suas diretrizes para o uso de IA no Judiciário (Resolução nº 332/2020), exigindo que os sistemas sejam capazes de identificar preconceitos e generalizações que possam ter influenciado seu desenvolvimento. Essa diretriz reconhece que a imparcialidade algorítmica não é automática — é uma construção que precisa ser monitorada e auditada continuamente.
Um dos principais obstáculos jurídicos é o que se convencionou chamar de opacidade algorítmica, ou “efeito caixa-preta”: a dificuldade de compreender como o sistema chega às suas decisões. Essa falta de transparência impede a identificação da causa e a atribuição de responsabilidade em casos de dano. A ausência de clareza sobre os critérios de decisão, o tratamento de dados e a própria programação da IA potencializa resultados discriminatórios e desafia os mecanismos tradicionais de responsabilização civil.
Nesse ponto, a regulação brasileira precisa avançar no sentido da transparência e explicabilidade, exigindo que sistemas sejam auditáveis e compreensíveis. Como a IA não possui personalidade jurídica, a responsabilidade recai sobre desenvolvedores, controladores e operadores do sistema, aplicando-se, conforme o caso, a teoria do risco e a inversão do ônus da prova nas relações de consumo, especialmente quando o consumidor não tem meios de compreender ou contestar a decisão automatizada.
Entre as soluções apontadas, destaca-se o desenvolvimento de sistemas de Inteligência Artificial Explicável (XAI), que buscam transformar a “caixa-preta” em uma “caixa de vidro”, oferecendo explicações sobre as correlações e lógicas internas do algoritmo. Ainda assim, a natureza probabilística de técnicas como deep learning impõe limites práticos: algum grau de inexplicabilidade é inevitável, o que reforça a necessidade de regulação e acompanhamento contínuos.
O Direito, portanto, deve não apenas reagir, mas antecipar os riscos. Isso envolve promover auditorias algorítmicas independentes, estimular a diversidade nas equipes de desenvolvimento, incluindo grupos historicamente sub-representados, e adotar medidas afirmativas que tragam pluralidade para dentro da programação. Só assim é possível reduzir os vieses reproduzidos pelos próprios sistemas.
Embora a pesquisa jurídica sobre o tema ainda esteja em estágio inicial no Brasil, seu crescimento é notável. O caminho mais promissor é o das abordagens interdisciplinares, que unam juristas, engenheiros e cientistas de dados na construção de soluções regulatórias éticas, eficientes e justas. É nesse diálogo entre técnica e humanidade que o constitucionalismo digital começa a se materializar, reafirmando que, mesmo diante da automação, o centro da proteção jurídica deve continuar sendo o ser humano.
Responsabilidade e Estratégias de Mitigação para o Profissional do Direito
A responsabilidade jurídica decorrente da discriminação algorítmica talvez seja um dos maiores desafios contemporâneos para o Direito. A dificuldade começa na própria natureza da Inteligência Artificial: seus processos decisórios são, muitas vezes, opacos, o chamado “efeito caixa-preta”, o que torna complexa a demonstração do nexo causal entre a decisão automatizada e o dano sofrido pelo indivíduo.
Em termos normativos, a responsabilidade civil brasileira ainda se apoia nos artigos 186 e 927 do Código Civil, que impõem o dever de reparar àquele que, por ação ou omissão, causar dano a outrem. Assim, a responsabilidade pode recair sobre o controlador, o desenvolvedor ou o operador do sistema algorítmico. No entanto, a ausência de personalidade jurídica da própria IA impede sua responsabilização direta, um argumento que, não raramente, é utilizado por empresas desenvolvedoras para tentar se eximir de reparações por danos causados por suas tecnologias.
No âmbito judicial, a aplicação da teoria do risco e da inversão do ônus da prova, previstas no artigo 6º, inciso VIII, do Código de Defesa do Consumidor, assume papel central. Esses instrumentos equilibram a relação entre o titular de dados e as empresas controladoras, especialmente porque o consumidor lesado geralmente não dispõe do conhecimento técnico necessário para compreender ou provar o funcionamento interno do sistema.
Para mitigar riscos e promover equidade, a atuação jurídica precisa ser tanto preventiva quanto reativa. No campo preventivo, cabe ao advogado orientar empresas desde a fase de concepção do sistema, conduzindo auditorias prévias e avaliações de risco, especialmente em relação à coleta e ao tratamento de dados sensíveis. É nesse ponto que surgem princípios como o privacy by design e o equity by design, que exigem a incorporação de proteção de dados e de equidade como elementos estruturais do projeto. Essa abordagem reduz a exposição a litígios e penalidades previstas na Lei Geral de Proteção de Dados (LGPD) e reforça a necessidade de accountability, transparência e responsabilidade ética no desenvolvimento de algoritmos. Além disso, é essencial que as equipes de tecnologia sejam capacitadas não apenas tecnicamente, mas também sob a ótica ética e jurídica de seus projetos.
Na esfera contenciosa, o profissional do Direito tem o papel de assegurar a plena aplicação da LGPD, especialmente o artigo 20, que garante ao titular o direito de solicitar revisão e explicação de decisões tomadas de forma automatizada. A efetividade desse direito depende, em grande medida, da capacidade de produzir provas técnicas, como perícias digitais, análises estatísticas e estudos comparativos que revelem padrões discriminatórios, mesmo quando eles não decorrem de intenção, mas de vieses ocultos nos dados de treinamento.
O advogado também desempenha função social relevante na defesa de interesses coletivos e de grupos vulneráveis, seja por meio de ações civis públicas, seja atuando junto à Autoridade Nacional de Proteção de Dados (ANPD) e ao Ministério Público. A discriminação algorítmica, por atingir categorias inteiras da população, demanda uma resposta jurídica que vá além da tutela individual — exige atuação institucional e articulação com órgãos de controle.
Por fim, o enfrentamento desse tema requer uma mudança de postura do próprio campo jurídico brasileiro, que ainda apresenta lacunas em áreas como Direito Civil, Direito do Trabalho e Processo Penal quando o assunto é Inteligência Artificial. O profissional do Direito precisará cada vez mais dialogar com outras áreas do conhecimento, engenharia, estatística, ciência de dados e ética computacional, para compreender a lógica que sustenta essas tecnologias e propor soluções regulatórias coerentes, eficazes e justas.
Esse movimento representa, em última análise, a consolidação do chamado constitucionalismo digital: uma nova etapa da evolução jurídica, em que a proteção da dignidade humana e da igualdade precisa ser reafirmada diante das máquinas. Cabe ao Direito garantir que o avanço tecnológico não se sobreponha aos direitos fundamentais, mas que sirva para ampliá-los, e nunca para restringi-los.
Conclusão e Perspectivas Futuras
O debate sobre a discriminação algorítmica ainda é recente no Direito brasileiro, mas vem ganhando espaço e relevância à medida que a Inteligência Artificial se torna parte do cotidiano social e jurídico. A produção acadêmica já identifica dois eixos principais nessa discussão: de um lado, as abordagens baseadas nos Direitos Humanos e Fundamentais; de outro, as que priorizam a regulação e a transparência no uso dos algoritmos. Em linhas gerais, há um consenso de que os sistemas de Inteligência Artificial tendem a reproduzir e, em muitos casos, amplificar desigualdades já presentes na sociedade. Essa constatação impõe ao Direito uma resposta consistente, alinhada a valores éticos e constitucionais, voltada à prevenção de discriminações e à proteção efetiva de direitos.
O ordenamento jurídico brasileiro já oferece instrumentos importantes nessa direção. A Lei Geral de Proteção de Dados, especialmente em seu artigo 20, garante ao titular o direito de solicitar a revisão e a explicação de decisões automatizadas, reforçando a necessidade de transparência. A regulação estatal tem papel fundamental nesse processo, pois a ausência de fiscalização adequada pode permitir que práticas discriminatórias se consolidem sob a aparência de neutralidade tecnológica. Nesse contexto, a transparência deve ser compreendida não apenas como um dever técnico, mas como uma exigência democrática.
Ainda assim, há lacunas significativas a preencher. A responsabilidade civil por danos decorrentes do uso de sistemas de Inteligência Artificial enfrenta obstáculos teóricos e práticos, principalmente pela ausência de personalidade jurídica desses sistemas. Da mesma forma, o Direito do Trabalho e o Processo Penal exigem reflexão sobre como os algoritmos podem afetar processos de seleção de pessoal, a privacidade dos trabalhadores e até mesmo decisões judiciais automatizadas. São temas que pedem atenção acadêmica e regulamentar urgente.
Entre as estratégias para mitigar vieses, destaca-se a Inteligência Artificial Explicável, que busca reduzir a opacidade dos sistemas e permitir maior compreensão sobre suas decisões. É necessário, porém, reconhecer que certos modelos, como os de aprendizado profundo, mantêm níveis inevitáveis de complexidade e exigem controle contínuo. Nesse sentido, iniciativas como auditorias algorítmicas independentes e a promoção de diversidade nas equipes de desenvolvimento representam caminhos concretos para reduzir a discriminação algorítmica desde sua origem.
O enfrentamento desse fenômeno exige uma atuação verdadeiramente interdisciplinar. O desenvolvimento de políticas públicas, marcos regulatórios e práticas empresariais responsáveis depende do diálogo entre juristas, engenheiros, cientistas de dados e formuladores de políticas. Essa é a essência do chamado constitucionalismo digital, um movimento que busca assegurar que o uso da tecnologia permaneça a serviço do ser humano, guiado pelos princípios da dignidade, da precaução e da sustentabilidade.
O Caputo Duarte Advogados acompanha de forma contínua e estratégica os impactos da Inteligência Artificial no universo jurídico e empresarial, contribuindo para a construção de soluções éticas e inovadoras que conciliem tecnologia, responsabilidade e a proteção de direitos fundamentais. Para empresas e empreendedores que desenvolvem ou utilizam modelos de negócios baseados em decisões automatizadas, o acompanhamento jurídico especializado é essencial para garantir crescimento sustentável, segurança jurídica e relações transparentes com seus usuários. Por isso, convidamos você a acompanhar nossas publicações e a contar com o suporte do nosso escritório, que atua de forma próxima e técnica para transformar inovação em vantagem competitiva, sem abrir mão da conformidade legal.
*Maria Thereza Henriques, advogada júnior no Caputo Duarte Advogados Associados, assessoria empresarial full service com ênfase em Startups e Estúdios de Games. Bacharela em Direito pela Universidade Federal da Paraíba (UFPB), Pós Graduanda em Direito Privado, Tecnologia e Inovação pela Escola Brasileira de Direito (EBRADI).
Referências
GONÇALVES, Mariana Sbaite. Viés algorítmico e discriminação: Como os algoritmos de IA podem perpetuar e amplificar vieses sociais. Migalhas, [S.l.], 12 set. 2024. Colunas. Disponível em: https://www.migalhas.com.br/depeso/415125/vies-algoritmico-e-discriminacao-ia-pode-amplificar-vieses-sociais
LEGALE EDUCACIONAL. Discriminação algorítmica no Direito: riscos, legislação e práticas jurídicas. Legale Educacional, [S.l.], 23 out. 2025. Disponível em: https://legale.com.br/blog/discriminacao-algoritmica-no-direito-riscos-legislacao-e-praticas-juridicas/
SAINZ, Nilton; GABARDO, Emerson; ONGARATTO, Natália. Discriminação algorítmica no Brasil: uma análise da pesquisa jurídica e suas perspectivas para a compreensão do fenômeno. RDP – Revista de Direito Público, Brasília, v. 21, n. 110, p. 258-289, abr./jun. 2024. Disponível em: [DOI: 10.11117/rdp.v21i110.7295]
