FAMP — Framework de Auditoria Matemática de Modelos Preditivos

 

Seu modelo diz que está certo. Alguém já verificou?

Toda empresa que usa um modelo para prever preço, risco, ou qualquer decisão relevante do negócio, confia em um número. Poucas verificaram, com rigor matemático, se esse número merece a confiança que recebe. Não é uma pergunta sobre programação. É uma pergunta sobre matemática, e a resposta raramente aparece em um relatório de "acurácia de 95%".

 

O que é o FAMP

Framework de Auditoria Matemática de Modelos Preditivos, é uma metodologia própria, estruturada em quatro blocos, para avaliar a confiabilidade matemática de qualquer modelo preditivo, sem precisar ler uma linha de código.

 

Auditoria dos Dados

Como o modelo trata valor ausente, outlier, e se existe vazamento de informação entre o que ele usa para prever e o que só se sabe depois do resultado acontecer.

 

Auditoria Estatística

Multicolinearidade entre as variáveis, variância do erro constante ou não entre grupos e faixas de valor, estabilidade da base ao longo do tempo.

 

Auditoria Preditiva

Diferença entre o erro que o modelo mostra no treino e o erro real, fora da amostra. Sensibilidade a pequenas mudanças de entrada, e quais variáveis o modelo realmente usa para decidir.

​

Auditoria de Negócio

Se as previsões fazem sentido lógico, se o erro custa o mesmo para cima e para baixo, e se o modelo comunica incerteza, ou só um número solto, como se fosse certeza absoluta.

 

​

Isso é importante porque um modelo com boa métrica agregada pode, ainda assim, estar sistematicamente errado para um grupo específico de cliente, uma faixa de valor, ou uma região inteira, sem que isso apareça em nenhum relatório padrão. Esse tipo de falha carrega risco financeiro direto, expõe a empresa a decisão estratégica mal informada, e, em setores que exigem conformidade, pode significar ausência de evidência documentada de validação independente, exatamente o que um regulador, auditor, ou parceiro comercial pode exigir.

​

Como funciona

Você não precisa me dar acesso ao código-fonte, nem passar por uma auditoria de engenharia de software. O foco é matemático, não técnico de implementação. Também não preciso de acesso direto à sua base de dados, o trabalho é feito em cima dos resultados que o modelo já produziu, não da informação bruta dos seus clientes.

O que eu preciso saber, sim, é o que foi usado no modelo, quais variáveis entraram, qual algoritmo foi escolhido, como o dado ausente foi tratado, e os resultados que o modelo produziu, erro segmentado, matriz de correlação, resíduos. Essa informação normalmente já existe em qualquer projeto sério, documentada ou fácil de gerar, e é isso que sustenta a auditoria, sem exigir acesso a código nem a dado sensível da sua operação.

A partir desses resultados, aplico um conjunto de verificações matemáticas, com critério explícito de aprovação ou reprovação, encerrando num parecer estruturado, no mesmo formato que auditoria financeira já usa, "adequado", "necessita atenção", ou "reprovado", por bloco, e um veredito geral.

 

Testado publicamente, antes de ser aplicado ao seu modelo

O FAMP não nasceu de teoria abstrata. Foi desenvolvido, testado, e documentado publicamente, aplicado a um dataset real de precificação de imóveis, com cada verificação demonstrada com número real, não hipotético. Você pode conferir o processo inteiro, com cada teste explicado e replicado, no artigo "Como eu audito matematicamente um modelo de precificação, sem ver uma linha de código".[Leia o artigo]

 

Se sua empresa usa, ou está avaliando, um modelo preditivo o FAMP funciona como uma segunda opinião matemática, independente de quem construiu o modelo.

Entre em contato para saber como aplicar essa auditoria ao seu caso específico.