Parte 2 - Validação Matemática em Machine Learning

Mesmo dentro da categoria "no mercado", com um erro nacional que parece bom, 2,4%, a própria Zillow reconhece que em cidades de alta densidade como Nova York, o modelo acerta dentro de 5% do preço real em apenas 1 em cada 3 casos. Bem abaixo da  nacional.

Isso não é um detalhe menor. É a demonstração de um fenômeno estatístico com nome técnico preciso. Heterocedasticidade. Quando a variância do erro de um modelo não é constante, mas varia sistematicamente de acordo com alguma característica dos dados, nesse caso a região geográfica.

Mas reparar que "Nova York parece pior", mesmo quantificando com precisão o tamanho da diferença, ainda não é a mesma coisa que provar estatisticamente que essa diferença é real, nem corrigir o modelo para lidar com ela. Isso exige ferramentas específicas, que são o assunto do próximo artigo.

Próximo artigo da série: como diagnosticar heterocedasticidade formalmente (testes de Breusch-Pagan e White) e corrigir um modelo com Mínimos Quadrados Ponderados — o processo completo, do teste estatístico ao modelo reajustado.

Próximo artigo da série: como diagnosticar heterocedasticidade formalmente (testes de Breusch-Pagan e White) e corrigir um modelo com Mínimos Quadrados Ponderados — o processo completo, do teste estatístico ao modelo reajustado.