O princípio sem instrumento
O guia da ANPD exige que sistemas de aferição de idade não discriminem, e ao mesmo tempo, restringe o dado necessário para verificar se discriminam. Um relato de quem tentou cumprir os dois.
Há 2 meses atrás eu havia submetido uma contribuição à consulta pública da ANPD sobre aferição de idade e, depois, tentei responder na prática a uma pergunta que o guia preliminar exige de qualquer sistema: como provar que ele não erra mais com um grupo do que com outro? Não achei uma resposta que não colidisse com outra regra do mesmo documento, e fiquei nesta indagação esses meses enquanto pesquisava maneiras de resolver isso.
O guia é claro num ponto: os sistemas de aferição de idade não podem discriminar. E ele vai além, reconhece que certos métodos apresentam acurácia diferente entre gêneros e entre grupos raciais, com potencial de gerar efeitos discriminatórios. A recomendação que ele dá é avaliar previamente se o método produz esses efeitos. O problema apareceu quando fui fazer isso. Para saber se meu sistema erra mais com um grupo do que com outro, preciso medir o desempenho por grupo. E para medir por grupo, preciso saber quem pertence a qual grupo, o dado que outra parte do mesmo guia manda minimizar, ao determinar que a solução trate apenas o atributo etário necessário.
A norma pede a prova e veda o instrumento.
E há um detalhe que torna isso pior do que parece. O exemplo que o guia dá é de biometria facial. Mas o viés não é privilégio dela. Num sistema comportamental, que não usa rosto nenhum, ele aparece do mesmo jeito: uma parcela das meninas em situação de risco não é detectada, porque o padrão que o modelo aprende é o do grupo majoritário. O método mais limpo em privacidade, o que menos coleta, não é imune ao viés. E é mais difícil de auditar justamente por isso: quanto menos dado se tem sobre quem é o usuário, menos se consegue verificar se o sistema está errando mais com alguém.
A versão do guia que li é preliminar. A ANPD recebeu contribuições até julho e deve publicar a orientação definitiva a partir de agosto. É essa a janela, o momento de decidir se "não discriminar" vem acompanhado de um modo de verificar a não discriminação, ou se fica como princípio sem instrumento. Medir equidade sem coletar o atributo sensível é um problema técnico difícil, mas não é um problema sem pesquisa. É uma pergunta que o documento definitivo tem a chance de encarar de frente.