Uma amostra da investigação
O caso começa aqui.
Modelos de machine learning aprendem com o passado e agem no presente, da mesma forma que pessoas que passaram por traumas aprendem com o trauma e agem nos lugares onde o trauma não aconteceu. A diferença é que pessoas, eventualmente, fazem terapia. Modelos são retreinados por engenheiros apressados, usando dados que ninguém questionou, num sprint de duas semanas, e ninguém pergunta ao modelo se ele está bem.
Marcela Antunes era diretora de crédito de uma fintech de empréstimos pessoais chamada CréditoVia. Ela não trouxe um problema técnico. Ela trouxe uma anomalia que havia demorado dezoito meses para conseguir nomear.
Trecho da abertura de A Conta Que Ficou, de Kleber de Oliveira Andrade.