5.2 · PREPARAÇÃO DOS DADOS

Dos dados brutos à matriz pronta

Preparar dados significa tornar exemplos consistentes, representáveis e disponíveis no momento da previsão. Cada transformação precisa ter uma razão, ser aprendida apenas no treino e ser repetida da mesma maneira em produção.

MAPA DAS TÉCNICAS

Preparação é uma sequência de decisões.

Nem todo projeto precisa de todas as transformações. A necessidade depende da fonte, do significado das colunas e do modelo que receberá os dados.

1 · Coleta e integraçãoDocumentar origem, período, unidade e chave usada para unir fontes.

2 · Validação e limpezaConferir esquema, faixas, tipos, duplicatas, grafias e incoerências.

3 · Valores ausentesInvestigar a causa; remover, imputar ou representar explicitamente a ausência.

4 · Dados categóricosUsar One-Hot, codificação ordinal, hashing, embeddings ou suporte nativo.

5 · Escala numéricaAplicar min–max, z-score, log ou clipping quando modelo e distribuição exigirem.

6 · EngenhariaCriar relações úteis, como ticket médio, duração, ciclos e interações.

7 · SeleçãoRemover IDs, vazamentos, constantes, redundâncias e ruído após validação.

8 · Pipeline e monitoramentoVersionar regras e reaplicar o mesmo preparo no teste e em produção.

ORDEM SEGURA

Primeiro separe; depois aprenda as transformações.

Dados brutoscoletar e validar

Divisãotreino · validação · teste

fit no treinoaprender mediana, escala e categorias

transformreaplicar regras preservadas

Modelotreinar, avaliar e monitorar

Evite vazamento: a mediana, os limites da normalização, o vocabulário de categorias e a seleção de atributos não podem consultar o teste. O laboratório abaixo usa uma tabela única apenas para visualizar as contas; em um projeto real, essas estatísticas viriam exclusivamente do treino.

LABORATÓRIO INTERATIVO

Compare a tabela bruta com a tabela preparada.

O objetivo é prever cancelamento. Ative e desative técnicas para observar mudanças no número de linhas, colunas e valores ausentes. O exemplo é pequeno para que cada transformação permaneça visível.

Limpeza
Padronizar cidades e remover duplicata. Valores ausentes
Preencher idade com a mediana . Codificação
One-Hot para cidade e 0/1 para o alvo. Normalização
Min–max em idade, renda e compras. Engenharia
Criar ticket médio = renda ÷ compras. Seleção
Retirar cliente_id das entradas.

Tabela bruta

Contém idade ausente, ID duplicado, categorias escritas de formas diferentes e escalas incompatíveis.

cliente_id	idade	cidade	renda	compras	cancelou
C-001	22	Uberaba	1800	2	não
C-002	ausente	␠uberaba␠	5200	15	sim
C-002 duplicado	ausente	␠uberaba␠	5200	15	sim
C-004	48	FRANCA	3500	7	não
C-005	29	Goiânia	12000	3	sim
C-006	67	goiania␠	7800	22	sim

Tabela preparada

O cabeçalho e os valores mudam conforme as técnicas selecionadas. Role horizontalmente quando novas colunas forem criadas.

linhas finais

colunas finais

valores ausentes restantes

duplicatas removidas

LEITURA DA COMPARAÇÃO

A tabela preparada não é apenas uma versão “bonita”.

Linhas confiáveis

Duplicatas alteram frequências e podem fazer um cliente pesar duas vezes no treinamento. Removê-las depende de uma chave e de uma regra de negócio válidas.

Colunas computáveis

Texto categórico vira representação numérica; valores passam a uma escala comparável; o alvo fica separado das entradas.

Sinais úteis

Engenharia pode revelar relações como ticket médio. Seleção remove identificadores e atributos que só acrescentam custo, ruído ou vazamento.

Mais colunas não significam necessariamente mais qualidade. One-Hot e engenharia aumentam a dimensão; seleção pode reduzi-la. A decisão final deve comparar desempenho, estabilidade, custo e explicabilidade em validação.

APROFUNDE CADA ETAPA

Use esta página como mapa do módulo.

Comece pela origem.

Agora aprofunde como diferentes fontes são coletadas e integradas antes da limpeza.

Abrir coleta e integração →