5.2 · PREPARAÇÃO DOS DADOS

Valores ausentes

Um campo vazio pode significar falha de coleta, “não se aplica”, recusa, atraso ou ausência real. Antes de preencher, investigue o mecanismo que produziu a falta.

TRÊS SITUAÇÕES

Por que o dado desapareceu?

Completamente ao acaso

A ausência não depende das variáveis observadas nem do valor ausente. É uma hipótese forte e rara.

Dependente do observado

A ausência pode ser explicada por outras colunas disponíveis, como um exame pedido apenas para certa faixa etária.

Dependente do próprio valor

A chance de faltar depende do dado escondido, como pessoas de renda muito alta omitindo a renda.

Não existe uma imputação universalmente correta. Média é simples, mediana resiste melhor a extremos, uma constante destaca a ausência e modelos de imputação aproveitam outras variáveis. Cada escolha muda a distribuição.

SEM VAZAMENTO

Aprenda o preenchimento no treino.

1

Separar os dados

Preserve validação e teste antes de calcular qualquer estatística.

2

Calcular no treino

Encontre média, mediana ou modelo de imputação usando apenas X de treino.

3

Reaplicar

Use o mesmo valor ou imputador na validação, no teste e na produção.

LABORATÓRIO INTERATIVO

Compare estratégias em uma coluna.

Exemploidade
A18
B22
C?
D46
E24

Resultado para o exemplo C

idade =

Fontes consultadas: scikit-learn · imputação de valores ausentes · Google ML · dados incompletos.

Próximo: dados categóricos.

Veja como categorias textuais podem ser representadas sem inventar uma ordem falsa.

Abrir dados categóricos →