APRENDIZAGEM SUPERVISIONADA · SVM

Separar classes deixando a maior margem possível.

Uma Máquina de Vetores de Suporte procura uma fronteira de decisão e dá atenção especial às amostras mais próximas dela: os vetores de suporte.

Construir a ideia ↓

−−−+++margem −1margem +1

01 · PROBLEMA PRÁTICO

Qual reta separa melhor dois grupos?

Imagine classificar duas espécies de fruta usando massa x₁ e intensidade da cor x₂. Várias retas podem acertar os exemplos de treino. A SVM prefere a que deixa o corredor mais largo entre as duas classes.

Entradas x

Cada fruta é representada por características numéricas.

x = [massa, intensidade da cor]

Alvo y

Na formulação binária, as duas classes são representadas por −1 e +1.

y ∈ {−1, +1}

Decisão ŷ

O sinal do potencial u determina de qual lado da fronteira o ponto ficou.

ŷ = sinal(u)

02 · FUNÇÃO DE DECISÃO

Pesos orientam a fronteira; bias a desloca.

x₁, x₂entradas[x₁,x₂]

→

w₁, w₂pesosw · x

→

uescorew₁x₁+w₂x₂+b

→

ŷclassesinal(u)

u(x) = w · x + b = w₁x₁ + w₂x₂ + b | ŷ = sinal(u)

xvetor de características da amostra.

wvetor perpendicular à fronteira; controla sua orientação.

bbias que desloca a fronteira sem alterar diretamente sua inclinação.

uescore assinado: negativo de um lado e positivo do outro.

03 · FRONTEIRA, MARGENS E VETORES DE SUPORTE

Três linhas vêm da mesma função.

Fronteira central

É o conjunto de pontos no qual o modelo está exatamente entre as duas classes.

w · x + b = 0

Limites da margem

No ajuste canônico, as linhas paralelas passam por u=−1 e u=+1.

w · x + b = −1 ou +1

Vetores de suporte

São as amostras sobre a margem ou que a violam. Elas participam diretamente da posição final da fronteira.

y · u ≤ 1

largura total da margem = 2 / ‖w‖ onde ‖w‖ = √(w₁² + w₂²)

O nome explica o método: são “vetores” porque cada amostra é um vetor de características; são “de suporte” porque as amostras mais críticas sustentam a fronteira. Pontos muito afastados e corretamente classificados não mudam a solução da SVM clássica.

04 · UMA AMOSTRA PASSO A PASSO

Do ponto até a perda hinge.

DADOS

x=[2;1], y=+1

Considere w=[0,6;0,4] e b=−0,2. O alvo +1 indica que a amostra pertence à classe positiva.

1. u = 0,6×2 + 0,4×1 − 0,2 = 1,42. ŷ = sinal(1,4) = +1 · previsão correta3. margem funcional = y×u = (+1)×1,4 = 1,44. L_hinge = máx(0, 1−1,4) = 0

05 · PERDA HINGE

Erros e margens insuficientes geram correção.

A margem funcional combina alvo e escore em um único número: m=y·u. Quanto maior e positivo, mais segura é a decisão correta.

m = y × u | L_hinge = máx(0, 1 − m)

y	u	m=y·u	L=max(0,1−m)	Interpretação
+1	+1,6	1,6	0	correto e fora da margem
+1	+0,4	0,4	0,6	correto, mas dentro da margem
−1	+0,3	−0,3	1,3	classe errada
−1	−1	1	0	exatamente no limite

objetivo = ½‖w‖² + C × Σ máx(0, 1 − yᵢ(w·xᵢ+b))

06 · MARGEM RÍGIDA, MARGEM SUAVE E C

Separar perfeitamente ou tolerar violações.

Hard margin

Exige todos os pontos corretamente classificados e fora da margem. Só é viável quando os dados são linearmente separáveis.

yᵢ(w·xᵢ+b) ≥ 1

Soft margin

Permite algumas violações para lidar com ruído, sobreposição e outliers.

margem + penalidade

Parâmetro C

C grande penaliza fortemente violações. C menor aceita mais violações e favorece regularização.

C ↑ → maior custo do erro

07 · KERNELS

Quando uma reta não é suficiente.

Um kernel calcula similaridades como se os dados fossem representados em outro espaço. Isso permite que uma separação linear nesse novo espaço apareça como uma curva no espaço original.

Linear

Bom ponto de partida para muitas características, especialmente dados textuais esparsos.

K(x,z)=x·z

Polinomial

Representa interações de graus definidos entre as características.

K(x,z)=(γx·z+r)ᵈ

RBF · Gaussiano

Cria regiões curvas e locais. C e γ precisam ser ajustados cuidadosamente.

K(x,z)=exp(−γ‖x−z‖²)

08 · QUANDO USAR E COMO PREPARAR

SVM é poderosa, mas sensível à representação.

Texto

Classificação de documentos, spam e sentimento com vetores esparsos e muitas dimensões.

texto → TF-IDF → SVM

Imagens e sinais

Classificação usando características extraídas de pixels, formas, espectros ou sensores.

características → escala → SVM

Bioinformática

Problemas com muitas características e conjuntos de amostras moderados.

genes / proteínas → classe

SVR

A família também possui Support Vector Regression para prever valores contínuos.

regressão com tubo ε

Preparação	Por quê?
Padronizar entradas numéricas	Distâncias, produtos internos e regularização são afetados pela escala.
Codificar categorias	Implementações usuais esperam vetores numéricos.
Separar treino e teste antes da escala	Evita vazamento das estatísticas do teste.
Ajustar C e parâmetros do kernel na validação	Controla o compromisso entre margem, complexidade e violações.

DO CONCEITO À PRÁTICA

Veja a fronteira e as margens se moverem.

Treine uma SVM linear didática, acompanhe a perda hinge de cada ponto e teste novas coordenadas no plano.

Abrir laboratório SVM →