Quando pensamos em Inteligência Artificial na educação, é natural imaginar avanços: aulas personalizadas, inclusão para estudantes com necessidades especiais, apoio aos professores. Mas por trás dessa narrativa otimista existe outra história — menos falada, mais incômoda. Uma história sobre privacidade, vigilância e ética. A cada dado coletado em sala de aula, cresce a dúvida: estamos preparando alunos para aprender ou para serem monitorados?

Provas sob vigilância digital

Durante a pandemia, milhões de estudantes fizeram avaliações em casa sob o olhar de sistemas de proctoring online (Proctorio, ProctorU, ExamSoft). Esses softwares gravam vídeo, áudio, movimentos de olhos e até bloqueiam o computador. A promessa de segurança virou angústia: relatos mostraram que o reconhecimento facial falhava mais com estudantes negros e asiáticos, gerando falsas suspeitas de fraude. Organizações como a EFF descreveram o fenômeno como “vigilância por padrão”, e análises acadêmicas discutiram riscos éticos, vieses e estresse psicológico associados a essas ferramentas.

O rastreamento silencioso de crianças

Em 2015, a EFF apresentou queixa à FTC acusando o Google de coletar e minerar dados de estudantes no então Google Apps for Education (atual Workspace for Education), inclusive histórico de navegação fora do ambiente escolar. A empresa revisou políticas no ano seguinte, mas o episódio deixou uma lição: se dados são o “combustível” da personalização, quais limites protegem a privacidade infantil e evitam usos comerciais indevidos?

Quando a escala vira vulnerabilidade

Na China, plataformas gigantes de lição de casa com IA, como Yuanfudao e Zuoyebang, cresceram de forma meteórica. Em 2021, o governo impôs um endurecimento regulatório (incluindo a proibição de tutorias com fins lucrativos em disciplinas centrais) citando pressão sobre as famílias e preocupações com o setor — e investigações sobre coleta excessiva de dados de menores levaram a mudanças profundas no mercado. O recado global: inovação sem governança pode escalar riscos para crianças e famílias.

Algoritmos que decidem quem “merece” entrar

Universidades vêm usando modelos para prever sucesso estudantil e apoiar decisões de admissões e bolsas. Pesquisas recentes apontam viés racial em parte desses sistemas, com taxas mais altas de “falsos negativos” para estudantes negros e latinos. Analistas de políticas públicas também alertam que algoritmos de “gestão de matrículas” podem priorizar probabilidade de matrícula (e receita) em detrimento de necessidade financeira, afetando a equidade.

Além da escola: o aviso do setor público

Fora do ambiente educacional, casos de algoritmos governamentais oferecem lições duras sobre o que não fazer: na Holanda, investigações jornalísticas e acadêmicas mostraram que sistemas de triagem em bem-estar social (welfare) produziram discriminação e riscos altos para mães solteiras, migrantes e pessoas com baixa proficiência em holandês — até serem suspensos. Esses exemplos reforçam por que transparência e possibilidade de contestação são essenciais onde dados sensíveis definem oportunidades.