A IA que ninguém quer assumir

Em 2018, um algoritmo de recrutamento desenvolvido por uma das maiores empresas de tecnologia do mundo foi silenciosamente desativado. Por anos, ele havia aprendido com padrões históricos de contratação — e, ao fazer isso, aprendeu a discriminar mulheres. O sistema penalizava currículos que continham a palavra “feminino” e rebaixava candidatas de universidades exclusivamente femininas. Ninguém havia programado o preconceito. Ele simplesmente cresceu ali, invisível, dentro dos dados.

Esta história não é uma anomalia. É um aviso.

À medida que sistemas de inteligência artificial penetram decisões de crédito, triagem médica, seleção de pessoal, monitoramento penal e precificação de seguros, o risco de que o viés algorítmico se torne o novo rosto da discriminação institucional cresce de forma exponencial. E junto com ele, crescem os riscos regulatórios e reputacionais para as empresas que adotam IA sem governança adequada.

Este guia foi desenvolvido pela Volcano para oferecer às organizações — de startups a grandes corporações — um caminho concreto, academicamente fundamentado e legalmente orientado para implementar IA de forma ética, auditável e em conformidade com as principais legislações de proteção de dados: a Lei Geral de Proteção de Dados Pessoais (LGPD) do Brasil e o Regulamento Geral sobre a Proteção de Dados (GDPR) da União Europeia.

Governança de IA não é burocracia. É sobrevivência.

O que é viés algorítmico — e por que ele é tão difícil de ver

Definindo o problema

O viés algorítmico ocorre quando um sistema de IA produz resultados sistematicamente injustos para grupos específicos de pessoas — geralmente definidos por raça, gênero, idade, classe socioeconômica ou outras características protegidas. O que torna o viés algorítmico particularmente insidioso é que, ao contrário do preconceito humano declarado, ele frequentemente se oculta atrás de uma aparência de objetividade matemática.

Pesquisadoras do MIT Media Lab, Joy Buolamwini e Timnit Gebru, demonstraram em estudo seminal publicado em 2018 na Conference on Fairness, Accountability, and Transparency (ACM FAccT) que sistemas de reconhecimento facial comerciais apresentavam taxas de erro de até 34,7% para mulheres de pele escura, comparadas a apenas 0,8% para homens de pele clara. O algoritmo não era racista por design. Ele era racista por dados.

“A acurácia não é equidade. Um sistema pode ser precisamente preciso para alguns e catastroficamente errado para outros.” — Joy Buolamwini & Timnit Gebru, Gender Shades, 2018

As três origens do viés

Viés nos dados de treinamento

Quando os dados históricos refletem desigualdades sociais, o modelo aprende essas desigualdades como se fossem verdades naturais. Se históricos de concessão de crédito mostram que mulheres receberam menos crédito no passado, o modelo irá perpetuar essa lógica — mesmo que a legislação vigente proíba discriminação por gênero.

Viés de representação

Ocorre quando certos grupos populacionais estão sub-representados nos dados. Um modelo treinado majoritariamente com imagens de rostos caucasianos terá desempenho inferior ao analisar rostos de outras etnias — não por má intenção, mas por lacuna de representatividade.

Viés de medição

Quando os proxies utilizados para medir um conceito são inadequados. Usar o CEP como variável de risco de crédito, por exemplo, é tecnicamente neutro, mas na prática pode funcionar como proxy para raça ou classe social em países com forte segregação territorial.

O custo real do viés

O viés algorítmico não é apenas uma questão ética — é um passivo financeiro e reputacional concreto. Em 2019, o estado de Nova York abriu investigação contra um grande banco americano por suspeita de que seu algoritmo de análise de crédito discriminava mulheres. Em 2023, a Comissão Europeia emitiu orientações de alto risco para sistemas de IA usados em seleção de pessoal, crédito e saúde, antecipando o que o EU AI Act tornaria lei.

Segundo pesquisa da McKinsey Global Institute (2023), empresas que implementam IA sem frameworks de governança enfrentam em média 2,3 vezes mais incidentes regulatórios do que aquelas com práticas estruturadas de gestão de risco de IA.

O marco regulatório — LGPD, GDPR e EU AI Act

LGPD: O que a lei brasileira exige da IA

A Lei Geral de Proteção de Dados (Lei nº 13.709/2018) entrou em vigor em setembro de 2020 e estabeleceu um conjunto de princípios e direitos que têm impacto direto sobre sistemas de IA que processam dados pessoais. Os artigos mais relevantes para governança de IA são:

• Art. 6º — Princípios: finalidade, adequação, necessidade, livre acesso, qualidade dos dados, transparência, segurança, prevenção, não discriminação e responsabilização. Cada um desses princípios cria obrigações concretas para o design e operação de modelos de IA.
• Art. 18º — Direitos do titular: acesso, correção, portabilidade, eliminação e informação sobre compartilhamento de dados. Sistemas de IA devem ser arquitetados para suportar esses direitos tecnicamente.
• Art. 20º — Revisão de decisões automatizadas: o titular tem direito a solicitar revisão humana de decisões tomadas exclusivamente por algoritmos. Isso implica que toda decisão automatizada materialmente relevante deve ter um caminho de contestação humano documentado.
• Art. 46º — Segurança e sigilo: obrigação de adotar medidas técnicas e administrativas para proteger dados contra acesso não autorizado, destruição ou alteração.

A Autoridade Nacional de Proteção de Dados (ANPD) publicou em 2021 e atualizou em 2023 guias de orientação que reforçam que sistemas de decisão automatizada baseados em perfis de comportamento — como scoring de crédito, triagem de empregos ou análise de risco de saúde — estão sujeitos à aplicação plena do Art. 20.

GDPR: O padrão ouro global

O Regulamento Geral sobre a Proteção de Dados (Regulamento UE 2016/679) é frequentemente considerado o padrão mais exigente do mundo em proteção de dados. Para sistemas de IA, os dispositivos mais críticos são:

• Art. 5º — Princípios: limitação de finalidade, minimização de dados, exatidão e integridade. Modelos treinados em dados coletados para uma finalidade não podem ser usados para outra sem nova base legal.
• Art. 22º — Decisões automatizadas individuais: proibição de decisões baseadas unicamente em tratamento automatizado que produzam efeitos jurídicos ou que afetem significativamente a pessoa, salvo exceções com salvaguardas rigorosas.
• Art. 35º — Avaliação de Impacto sobre a Proteção de Dados (DPIA): obrigatória para qualquer processamento que possa resultar em alto risco para os direitos dos titulares. A implantação de sistemas de IA para tomada de decisões é um caso típico de necessidade de DPIA.
• Considerando 71 — Explicabilidade: o titular deve ter direito a obter explicação sobre a decisão e poder contestá-la. Isso criou o conceito de “right to explanation”, central para o debate de IA explicável (XAI).

EU AI Act: O futuro que já chegou

O Regulamento de Inteligência Artificial da União Europeia (Regulamento UE 2024/1689), aprovado em 2024, introduz uma abordagem baseada em risco para regulação de IA que terá impacto global. Empresas brasileiras que exportam produtos ou serviços para a UE, ou que utilizam modelos treinados em dados europeus, já estão sujeitas ao seu escopo.

O EU AI Act classifica sistemas de IA em quatro categorias de risco:

Framework prático de governança de IA

Compreender o problema é o primeiro passo. O segundo — e muito mais difícil — é construir sistemas, processos e cultura organizacional que transformem princípios em prática. A Volcano propõe um framework de seis pilares para governança de IA, baseado nas melhores práticas identificadas em pesquisas da NIST, IEEE, OECD e na literatura acadêmica de Fairness, Accountability and Transparency (FAccT).

Pilar 1: Avaliação de risco antes do deployment

Antes de colocar qualquer sistema de IA em produção, a organização deve conduzir uma Avaliação de Impacto Algorítmico (AIA) — análoga à DPIA exigida pelo GDPR, mas com foco específico em impactos de equidade e viés.

A AIA deve responder a perguntas como: Quais populações serão afetadas? Existem grupos historicamente sub-representados nos dados de treinamento? Quais são os possíveis danos em caso de erro de falso positivo vs. falso negativo? O modelo pode ser contestado?

O NIST AI Risk Management Framework (NIST AI RMF 1.0, 2023) estrutura esse processo em quatro funções: Govern, Map, Measure e Manage — um ciclo contínuo de identificação, medição e mitigação de riscos.

Pilar 2: Fairness by Design — equidade no design do modelo

Equidade não pode ser adicionada ao modelo depois que ele está pronto. Ela precisa ser construída desde as fases iniciais de design. Pesquisadores de machine learning identificaram múltiplas métricas formais de equidade — e o campo inteiro reconhece que elas frequentemente são matematicamente incompatíveis entre si, o que torna a escolha da métrica de equidade uma decisão profundamente política e ética.

As principais métricas de equidade utilizadas na literatura são:

• Paridade demográfica (Demographic Parity): a taxa de resultados positivos deve ser igual entre grupos. Exige que o modelo trate grupos igualmente independentemente de diferenças subjacentes.
• Igualdade de oportunidade (Equalized Odds): as taxas de verdadeiros positivos e falsos positivos devem ser iguais entre grupos. Foca em equidade no impacto dos erros.
• Calibração: a probabilidade predita de um evento deve corresponder à frequência real do evento dentro de cada grupo. Relevante para modelos de scoring de risco.

Chouldechova (2017), em estudo publicado na Big Data journal, demonstrou matematicamente que as métricas de equidade são mutuamente exclusivas quando as taxas de prevalência diferem entre grupos. Isso significa que nenhum modelo pode satisfazer todas as definições de equidade simultaneamente — escolher uma métrica é escolher um valor social.

“Quando as taxas de prevalência diferem entre grupos, é matematicamente impossível satisfazer simultaneamente a paridade demográfica e a igualdade de oportunidade.” — Chouldechova, 2017

Pilar 3: Transparência e explicabilidade (XAI)

Um dos requisitos mais práticos derivados tanto da LGPD quanto do GDPR é a necessidade de explicar decisões automatizadas. O campo de IA Explicável (Explainable AI — XAI) desenvolveu um conjunto de técnicas para tornar modelos de caixa-preta mais interpretáveis.

As principais abordagens de XAI em uso comercial incluem:

• LIME (Local Interpretable Model-agnostic Explanations): gera explicações locais aproximando o comportamento do modelo por meio de modelos mais simples ao redor de uma decisão específica. Permite dizer: “nesta decisão, as variáveis X e Y foram determinantes”.
• SHAP (SHapley Additive exPlanations): baseado em teoria dos jogos, atribui a cada variável uma contribuição marginal para a predição. É considerado o estado da arte em explicabilidade pós-hoc para modelos tabulares.
• Grad-CAM (Gradient-weighted Class Activation Mapping): para modelos de visão computacional, gera mapas de calor que mostram quais regiões de uma imagem influenciaram a decisão do modelo.

Doshi-Velez e Kim (2017), em paper seminal publicado no ICML, argumentam que interpretabilidade não é um fim em si mesmo, mas um meio para atingir objetivos como verificação de segurança, identificação de viés, auditoria de conformidade e construção de confiança com usuários.

Pilar 4: Monitoramento contínuo e detecção de Drift

Um modelo que foi justo no momento do treinamento pode se tornar enviesado ao longo do tempo. Isso ocorre por fenômenos como data drift (mudança na distribuição dos dados de entrada) e concept drift (mudança na relação entre variáveis e resultado).

Um exemplo concreto: modelos de crédito treinados antes da pandemia de COVID-19 viram suas predições deteriorar rapidamente à medida que padrões de inadimplência mudaram de forma dramática e sem precedentes históricos para os quais o modelo pudesse aprender.

Um framework robusto de monitoramento deve incluir:

• Métricas de desempenho segmentadas por grupos demográficos — não apenas métricas globais
• Alertas automáticos quando disparidade entre grupos excede limiar predefinido
• Ciclos regulares de retrainamento com dados atualizados e revisados
• Registro auditável de todas as versões do modelo e suas métricas de desempenho

Pilar 5: Governança de dados — O fundamento de tudo

Sistemas de IA são tão bons quanto os dados com que são treinados. Uma estratégia robusta de governança de dados é o fundamento sobre o qual todo o restante da governança de IA repousa. Os princípios centrais incluem:

• Catalogação e linhagem de dados: saber de onde vêm os dados, como foram coletados, quem os processou e quais transformações foram aplicadas.
• Consentimento e base legal: verificar se os dados foram coletados com a base legal adequada para o uso no treinamento de modelos de IA.
• Qualidade e representatividade: auditar regularmente se os conjuntos de dados são representativos das populações que o modelo irá impactar.
• Minimização: usar apenas os dados estritamente necessários para o funcionamento do modelo, conforme exige o princípio da necessidade da LGPD.
• Retenção e exclusão: definir políticas claras de quanto tempo os dados de treinamento são retidos e como são descartados com segurança.

Pilar 6: Accountability — Quem responde quando a IA erra?

O último pilar — e talvez o mais negligenciado — é o da responsabilização. Quando um sistema de IA causa dano, quem é responsável? O desenvolvedor do modelo? A empresa que o implantou? O gestor que aprovou o uso?

A tendência regulatória global, refletida tanto no EU AI Act quanto nas orientações da ANPD, aponta para responsabilidade compartilhada com obrigações específicas para cada papel na cadeia de valor de IA:

• Fornecedor do modelo (Provider): responsável pela documentação técnica, testes de viés pré-deployment e certificação de conformidade.
• Implementador (Deployer): responsável por garantir que o uso do modelo respeita os direitos dos titulares e as condições de uso estabelecidas pelo fornecedor.
• Usuário final: em sistemas B2C, a empresa deve garantir que o titular de dados compreende quando está sendo submetido a decisão automatizada.

A implementação efetiva do princípio de accountability exige a criação de estruturas formais como Comitês de Ética em IA, políticas escritas de uso responsável, e processos documentados de revisão e aprovação de modelos antes do deployment.

Risco reputacional — quando o algoritmo vira notícia

Os casos que mudaram a conversa

O risco reputacional de IA é real, documentado e crescente. Uma série de incidentes de alto perfil nos últimos anos transformaram a governança de IA de tema técnico em questão de estratégia corporativa.

• COMPAS (Correctional Offender Management Profiling for Alternative Sanctions): sistema usado por tribunais americanos para prever reincidência criminal. Investigação da ProPublica (2016) revelou que o sistema classificava erroneamente negros como de alto risco com o dobro da frequência em comparação a brancos. O caso virou objeto de múltiplos artigos acadêmicos e resultou em revisão legislativa em vários estados americanos.
• Apple Card e Goldman Sachs (2019): clientes reportaram que o cartão de crédito concedia limites significativamente menores para mulheres do que para homens com perfil financeiro equivalente. A investigação regulatória resultou em multa e obrigações de auditoria contínua do algoritmo.
• Algoritmo de saúde nos EUA — Obermeyer et al. (2019): estudo publicado na revista Science demonstrou que um algoritmo amplamente usado para identificar pacientes com necessidades de saúde complexas sistematicamente subestimava as necessidades de pacientes negros, pois usava o custo de saúde histórico como proxy para necessidade clínica — ignorando que pacientes negros historicamente tinham menos acesso ao sistema de saúde.

A lógica do dano reputacional

O que transforma um incidente técnico de IA em crise reputacional? A pesquisadora Kate Crawford, do AI Now Institute, argumenta em Atlas of AI (2021) que a reação pública a falhas de IA é amplificada quando:

• O impacto é visível e identificável — pessoas reais foram prejudicadas de forma concreta e demonstrável
• Há assimetria de poder — a vítima não tinha conhecimento ou capacidade de contestar a decisão automatizada
• A empresa parece ter sabido e ignorado — a percepção de negligência é mais danosa reputacionalmente do que a falha técnica em si
• A falha se conecta a narrativas mais amplas de desconfiança em relação ao poder das plataformas tecnológicas

Do ponto de vista de gestão de risco, isso significa que a governança de IA não é apenas sobre conformidade legal — é sobre demonstrar, de forma transparente e verificável, que a empresa levou a sério sua responsabilidade de não causar danos com seus sistemas automatizados.

Implementação prática 

Transformar os princípios deste guia em ação requer um roteiro concreto. A seguir, um checklist mínimo de conformidade para organizações que utilizam ou pretendem utilizar sistemas de IA em decisões que afetam pessoas.

Pré-Deployment: Antes de colocar o modelo em produção

• Conduzir Avaliação de Impacto Algorítmico (AIA) documentada
• Verificar base legal para coleta e uso dos dados de treinamento (LGPD Art. 7º / GDPR Art. 6º)
• Executar testes de equidade segmentados por grupos demográficos relevantes
• Documentar métricas de desempenho e suas limitações (AI FactSheet ou equivalente)
• Definir mecanismo de revisão humana para decisões contestadas (LGPD Art. 20 / GDPR Art. 22)
• Realizar DPIA se aplicável (GDPR Art. 35 — obrigatório para processamento de alto risco)
• Obter aprovação formal do Comitê de Ética ou equivalente

Durante a operação: monitoramento contínuo

• Monitorar métricas de equidade segmentadas mensalmente ou trimestralmente
• Registrar todas as contestações de decisões automatizadas e seus resultados
• Auditar a representatividade dos dados de entrada periodicamente
• Manter log auditável de versões do modelo e mudanças de configuração
• Reportar incidentes de viés ao DPO (Data Protection Officer) e ao Comitê de Ética

Gestão de incidentes: Quando algo dá errado

• Ativar protocolo de resposta a incidentes dentro de 72 horas (prazo GDPR para notificação de violações)
• Documentar o incidente, impacto e populações afetadas
• Suspender ou limitar o uso do modelo até investigação concluída
• Comunicar titulares afetados se aplicável e legalmente exigido
• Conduzir análise de causa raiz e implementar correções estruturais
• Notificar ANPD ou autoridade supervisora europeia se aplicável

Jornada de Governança

Governança de IA é complexa, multidisciplinar e em constante evolução. Exige expertise em machine learning, direito de dados, ética aplicada, gestão de risco e engenharia de software — raramente concentrados em uma única equipe interna.

Abordagem a ter atenção

• Auditoria de modelos existentes: análise profunda dos modelos de IA em produção para identificar riscos de viés, lacunas de conformidade com LGPD/GDPR e vulnerabilidades de explicabilidade.
• Implementação de frameworks de governança: design e implementação de políticas, processos e estruturas de governança adaptados ao tamanho e maturidade da sua organização.
• Treinamento e capacitação: programas de formação para equipes de dados, produto, jurídico e liderança sobre os fundamentos de IA responsável e conformidade regulatória.
• Monitoramento contínuo: implementação de sistemas automatizados de monitoramento de equidade e drift, com dashboards executivos e alertas de conformidade.
• Suporte regulatório: apoio na preparação de Avaliações de Impacto, resposta a investigações regulatórias e relacionamento com a ANPD.

A IA ética é a IA que dura

A pergunta não é mais se sua organização vai usar inteligência artificial. A pergunta é se ela vai usar de forma que respeite as pessoas, cumpra a lei e resista ao escrutínio público.

O viés algorítmico não desaparece por ignorância ou boa intenção. Ele persiste enquanto não houver processos deliberados de identificação e mitigação. A conformidade com LGPD e GDPR não é um obstáculo à inovação — é o mapa que impede que a inovação se transforme em passivo.

As organizações que hoje investem em governança de IA não estão apenas evitando riscos. Estão construindo o tipo de confiança que não pode ser comprada — a confiança que vem de demonstrar, de forma verificável e transparente, que a tecnologia está a serviço das pessoas.

Esse é o único tipo de IA que dura.

Fontes

Artigos Acadêmicos

• Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research, 81, 1–15. Conference on Fairness, Accountability and Transparency (ACM FAccT).
• Chouldechova, A. (2017). Fair prediction with disparate impact: A study of bias in recidivism prediction instruments. Big Data, 5(2), 153–163. Mary Ann Liebert, Inc.
• Doshi-Velez, F., & Kim, B. (2017). Towards A Rigorous Science of Interpretable Machine Learning. Proceedings of the 34th International Conference on Machine Learning (ICML). arXiv:1702.08608.
• Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447–453.
• Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.
• Lundberg, S. M., & Lee, S. I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems 30 (NIPS 2017).

Legislação e Regulamentação

• Brasil. Lei nº 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União, Brasília.
• União Europeia. Regulamento (UE) 2016/679 do Parlamento Europeu e do Conselho (GDPR). Jornal Oficial da União Europeia, L 119.
• União Europeia. Regulamento (UE) 2024/1689 do Parlamento Europeu e do Conselho (EU AI Act). Jornal Oficial da União Europeia.
• Autoridade Nacional de Proteção de Dados (ANPD). Guia Orientativo de Tratamento de Dados Pessoais pelo Poder Público. ANPD, 2023.

Relatórios Institucionais

• National Institute of Standards and Technology (NIST). AI Risk Management Framework (AI RMF 1.0). U.S. Department of Commerce, 2023.
• OECD. Recommendation of the Council on Artificial Intelligence. OECD/LEGAL/0449, 2019 (atualizado 2024).
• McKinsey Global Institute. The State of AI in 2023: Generative AI’s breakout year. McKinsey & Company, 2023.
• Gartner. AI Governance and Responsible AI Survey. Gartner Research, 2024.
• Accenture. Responsible AI: From Principles to Practice. Accenture Technology Vision Report, 2023.
• IEEE. Ethically Aligned Design: A Vision for Prioritizing Human Well-being with Autonomous and Intelligent Systems. First Edition. IEEE, 2019.
• Crawford, K. Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press, 2021.
• Angwin, J., Larson, J., Mattu, S., & Kirchner, L. Machine Bias: There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica, 2016