Coleta
Registre finalidade, consentimento, período, cobertura e mecanismo de captura. Uma amostra conveniente pode não representar a população real.
5.2 · PREPARAÇÃO DOS DADOS
Coleta e integração
Antes de limpar uma tabela, precisamos saber de onde seus dados vieram, quando foram produzidos e como registros de fontes distintas representam a mesma entidade.
DA FONTE AO DATASET
Coletar não é apenas copiar linhas.
Integração
Une bancos, planilhas, APIs e eventos usando chaves estáveis. Exige conciliar nomes, tipos, horários e unidades.
Proveniência
Guarda a linhagem: qual fonte criou o campo, qual transformação ocorreu e em que versão.
Uma junção pode alterar o problema. Relações um-para-muitos duplicam linhas; chaves incompletas perdem registros; horários incompatíveis podem associar um evento ao futuro e causar vazamento temporal.
CHECKLIST DE INTEGRAÇÃO
Verifique antes de unir.
| Pergunta | Exemplo de risco | Controle |
|---|---|---|
| A chave é única? | Dois cadastros com o mesmo CPF | Regra de deduplicação auditável |
| As unidades coincidem? | kg em uma fonte e lb em outra | Converter e registrar unidade canônica |
| Os períodos coincidem? | Compra posterior à previsão | Corte temporal e timestamp de disponibilidade |
| O significado coincide? | “ativo” com regras diferentes | Dicionário de dados e contrato de esquema |
LABORATÓRIO INTERATIVO
Integre três fontes por cliente_id.
Escolha as fontes. O vetor integrado cresce, mas também aumenta o número de regras necessárias para manter o significado consistente.
Esquema integrado
Próximo: limpeza dos dados.
Inspecione duplicatas, inconsistências, variáveis inúteis e custo computacional.
Abrir limpeza dos dados →