ATIVIDADES INTEGRADORAS · DO DADO À DECISÃO

Construa, trate, proteja e avalie.

Quatro desafios encadeados para praticar uma rede multicamadas, a preparação de dados, a classificação de requisições suspeitas e a leitura crítica das métricas.

ROTEIRO

O percurso proposto

Faça as atividades na ordem. Os links de estudo abrem o conteúdo de apoio já disponível no material.

01 · MLPDefina arquitetura e implemente o treinamento.
02 · LimpezaConverta uma tabela inconsistente em dados de treino.
03 · WAFClassifique requisições antes que cheguem ao PHP.
04 · MétricasJustifique a qualidade e os riscos da decisão.
05 · K-MeansAgrupe clientes de e-commerce e tome decisões.
06 · PCAReduza dados de 15 sensores industriais.
07 · AprioriDescubra regras de compra em uma padaria.
01

REDE NEURAL MULTICAMADAS

Implemente uma MLP configurável.

Crie um algoritmo de Perceptron Multicamadas no qual seja possível definir o número de entradas, os neurônios da camada oculta e as saídas. A implementação deve montar pesos e vieses com os tamanhos corretos e treinar a rede por backpropagation.

Forward passBackpropagationArquitetura variávelTreino e teste

Requisitos mínimos

  1. Receber n_entradas, n_ocultos e n_saidas.
  2. Inicializar matrizes de pesos e vieses sem valores fixos de dimensão.
  3. Implementar ativação, forward pass, função de perda e atualização por backpropagation.
  4. Separar treino, validação e teste; não medir desempenho no conjunto usado para ajustar pesos.
  5. Exibir perda por época e uma métrica apropriada ao alvo.

Entrega

Entregue o código, um arquivo de configuração da arquitetura, gráfico de perda e uma breve explicação das escolhas: ativação, taxa de aprendizagem, épocas, critério de parada e métrica.

Teste pelo menos duas arquiteturas e compare erro de validação, não apenas acurácia de treino.

Explorar laboratório de rede configurável Revisar MLP e backpropagation
02

TRATAMENTO DE DADOS

Transforme um dataset “sujo” em dado de treino.

O arquivo fornecido descreve estudantes e o alvo aprovado. Ele contém valores ausentes, duplicata, espaços, categorias escritas de formas diferentes, formatos numéricos incompatíveis e valores fora do intervalo esperado.

Amostra de problemas presentes

ididadehorasfrequênciamodalidadenota
003vazio1295presencial8.9
006320783Presencial6.9
008231597Híbrido9,1
00920588EAD6.4

Checklist obrigatório

  • Padronize nomes, espaços e categorias.
  • Converta valores para o tipo numérico correto.
  • Trate NA, ? e células vazias sem usar informação do teste.
  • Encontre e trate duplicatas, intervalos impossíveis e outliers com uma regra justificada.
  • Codifique a modalidade, normalize entradas quando necessário e registre cada transformação.
  • Remova id_aluno das entradas: ele não representa um sinal pedagógico.
Baixar alunos_sujo.csv Menu de limpeza dos dados Normalização e padronização

CONEXÃO ENTRE AS ATIVIDADES 01 E 02

O algoritmo aprende exatamente a representação que recebe.

Use o dataset limpo como problema de classificação para a MLP. O objetivo é prever aprovado usando idade, horas de estudo, frequência, modalidade e nota de simulado.

Dataset brutoerros, ausências e escalas misturadas
Pipeline de limpezaregras aprendidas somente no treino
MLP configurávelentradas tratadas → camada oculta → saída
Teste finalmétricas e análise dos erros
03

SEGURANÇA DEFENSIVA · WAF COM IA

Classifique e bloqueie requisições suspeitas antes do PHP.

O kit fornece a infraestrutura completa em Docker: Nginx na frente repassando as requisições para o Python via X-Accel-Redirect, e PHP-FPM como aplicação backend. A única parte que o aluno altera são os arquivos Python (`mlp.py`, `extractor.py` e `train.py`).

Navegadorpágina de teste
→
Nginxrecebe tráfego
→
Modelo IA (Python)risco: bloqueio ou proxy
→
403 ou PHPinterrompe ou redireciona

O que já está pronto

  • docker-compose.yml com Nginx, PHP-FPM e serviço Python do modelo.
  • Configuração X-Accel-Redirect do Nginx para fluxo interno.
  • Scripts de setup e servidor Flask (server.py).
  • Página HTML de teste e tela de bloqueio.
  • Dataset rotulado de exemplos normais e suspeitos.

Responsabilidade do aluno

Implementar a extração de características (extractor.py), a arquitetura matemática da rede neural multicamadas (mlp.py) e o laço de treinamento (train.py).

Após o modelo funcionar, o teste seguro deve chegar ao PHP (200) e o payload hacker deve receber 403.

Como executar o ambiente

  1. Baixe o Ambiente Completo (Versão Aluno) abaixo e extraia.
  2. No terminal, abra a pasta extraída.
  3. Execute docker compose up -d --build.
  4. Treine a sua rede rodando: docker compose exec python_waf python train.py
  5. Acompanhe os resultados no terminal com docker compose logs -f python_waf e faça requisições para http://localhost:8080/
  6. Ao terminar, execute docker compose down.
Baixar Ambiente Completo (Versão Aluno) Dataset (Excel) Dataset (CSV)
04

AVALIAÇÃO DO MODELO

Defenda a decisão do modelo com métricas.

Avalie tanto a MLP de aprovação quanto o classificador do WAF. Apresente matriz de confusão, acurácia, precisão, recall e F1-score no conjunto de teste mantido separado.

Leitura esperada para o WAF

MétricaPergunta prática
PrecisãoDos bloqueios, quantos eram de fato suspeitos?
RecallDas requisições suspeitas, quantas o WAF encontrou?
F1-scoreComo está o equilíbrio entre bloqueio correto e cobertura?
MatrizQuais erros foram bloqueios indevidos (FP) e ataques liberados (FN)?

Entrega final

  • Uma tabela com as métricas para cada modelo.
  • A matriz de confusão identificando VP, VN, FP e FN.
  • O limiar usado e por que ele foi escolhido.
  • Três exemplos de erro e uma hipótese para cada um.
  • Uma decisão de melhoria: mais dados, atributos melhores, limpeza, arquitetura ou ajuste de limiar.
Abrir matriz de confusão Revisar F1-score
05

CLUSTERIZAÇÃO K-MEANS

Faça a segmentação de clientes de um e-commerce.

Utilize o algoritmo K-Means para agrupar clientes baseando-se na idade, renda e pontuação de gastos, sem utilizar rótulos pré-existentes. O objetivo é criar estratégias de marketing personalizadas.

Requisitos mínimos

  1. Carregue o dataset ecommerce_kmeans.csv e descarte o ID.
  2. Use o Método do Cotovelo (Elbow Method) para provar o número ideal de K.
  3. Treine o K-Means com o número K escolhido.
  4. Plote um gráfico de dispersão colorindo os pontos pelos clusters gerados.
  5. Descreva um perfil de marketing para cada cluster (Ex: "Foco em cupons").

Entrega

Entregue o Jupyter Notebook com a visualização dos grupos, o gráfico do Cotovelo que justificou a escolha matemática do K, e um parágrafo defendendo qual campanha de marketing deve ser ativada para cada grupo descoberto.

Baixar ecommerce_kmeans.csv Revisar a teoria e laboratório K-Means
06

REDUÇÃO DE DIMENSIONALIDADE (PCA)

Reduza dados de 15 sensores industriais para 2D.

Imagine que você está monitorando uma máquina complexa através de 15 sensores, o que torna a visualização impossível em telas normais. Use o PCA para condensar toda essa variação em apenas 2 eixos principais (Componentes).

Requisitos mínimos

  1. Carregue o dataset sensores_pca.csv.
  2. Padronize os dados (StandardScaler), pois o PCA é sensível à escala.
  3. Aplique o PCA pedindo 2 componentes (n_components=2).
  4. Avalie o explained_variance_ratio_ para ver quanta informação foi retida.
  5. Crie um gráfico 2D mostrando o estado dos sensores.
Baixar sensores_pca.csv Revisar a teoria do PCA
07

REGRAS DE ASSOCIAÇÃO (APRIORI)

Descubra produtos vendidos juntos em uma padaria.

Se um cliente comprar pão, qual a probabilidade de ele comprar manteiga? Aplique o algoritmo Apriori para minerar regras de associação no histórico de cupons fiscais e organize melhor as prateleiras.

Requisitos mínimos

  1. Carregue o dataset padaria_apriori.csv, que possui itens separados por vírgula.
  2. Converta a lista de strings para o formato aceito pelo Apriori (One-Hot Encoding das cestas).
  3. Gere conjuntos de itens frequentes pedindo um suporte mínimo de 0.2 (20%).
  4. Gere as regras de associação filtrando por Confiança mínima de 0.6 (60%).
  5. Liste as Top 3 regras pelo índice Lift e justifique onde você colocaria esses produtos na loja.
Baixar padaria_apriori.csv Revisar a teoria do Apriori

CRITÉRIO DE QUALIDADE

Uma boa entrega torna suas decisões auditáveis.

Mais importante que atingir um número alto é documentar o dado recebido, o tratamento aplicado, a arquitetura treinada, o limiar escolhido e os erros que ainda permanecem.

Voltar ao início do roteiro →