Por que aqui se usa tanh e não ReLU?

ReLU é mais comum em redes profundas pela velocidade e pelas ativações esparsas, mas tanh é suave e limitada: num modelo didático tão pequeno fica mais cômoda e mais perto das contas clássicas. Se houver saturação, o efeito das derivadas que se anulam aparece do mesmo jeito.

Em que o gradiente completo difere do estocástico?

O passo estocástico pega um ponto ou um conjunto aleatório pequeno; o gradiente completo toma a média sobre todos os pontos. Assim um só passo se lê melhor, mas numa amostra grande custa mais.

Por que as espirais às vezes não terminam de aprender?

As espirais são difíceis e a rede é pequena: faltam largura da camada oculta, um passo estável e muitas épocas. A fronteira pode precisar de dobras que, com camada estreita, surgem devagar ou ficam presas num mínimo ruim.

Rede de duas camadas e retropropagação

Duas características e um rótulo binário: camada oculta com tanh e saída logística. Gradiente completo da entropia cruzada binária média; mapa de calor da probabilidade e fronteira de nível 0,5 (XOR ou espirais).

Sobre o modelo

A rede de duas camadas é um perceptron multicamadas mínimo: uma camada oculta com tanh e saída logística σ(z₂) para um rótulo binário nas características (x, y). Passo direto: z₁ = W₁x + b₁, a₁ = tanh(z₁), z₂ = w₂ᵀ a₁ + b₂, ŷ = σ(z₂). O treino é o gradiente completo sobre toda a amostra, com passo η, da entropia cruzada binária média. A retropropagação é a regra da cadeia: o erro ŷ − y puxa os pesos da saída e, por tanh′(z₁) = 1 − tanh²(z₁), os da camada oculta. O mapa de calor de σ(z₂(x, y)) mostra a estimativa da probabilidade da classe 1 e como a fronteira de nível ~0,5 se move depois de blocos de épocas; o anel branco é erro no treino. As predefinições são o problema XOR e duas espirais.

Para quem: Curso introdutório de redes neurais: perceptron, entropia cruzada, retropropagação.

Conceitos-chave

perceptron multicamadas
tangente hiperbólica
sigmoide
entropia cruzada binária
gradiente completo sobre a amostra
retropropagação
fronteira de decisão
problema XOR

Como funciona

Rede 2 → H → 1: z₁ = W₁x + b₁, camada oculta tanh, saída ŷ = σ(w₂ᵀ a₁ + b₂). A perda é a entropia cruzada binária média; o gradiente é a média sobre todos os pontos. Retropropagação: ŷ − y na saída e depois tanh′ até os pesos da camada oculta. O mapa de calor estima P(classe 1); a fronteira de nível 0,5 se move com as épocas.

Perguntas frequentes

Por que aqui se usa tanh e não ReLU?: ReLU é mais comum em redes profundas pela velocidade e pelas ativações esparsas, mas tanh é suave e limitada: num modelo didático tão pequeno fica mais cômoda e mais perto das contas clássicas. Se houver saturação, o efeito das derivadas que se anulam aparece do mesmo jeito.
Em que o gradiente completo difere do estocástico?: O passo estocástico pega um ponto ou um conjunto aleatório pequeno; o gradiente completo toma a média sobre todos os pontos. Assim um só passo se lê melhor, mas numa amostra grande custa mais.
Por que as espirais às vezes não terminam de aprender?: As espirais são difíceis e a rede é pequena: faltam largura da camada oculta, um passo estável e muitas épocas. A fronteira pode precisar de dobras que, com camada estreita, surgem devagar ou ficam presas num mínimo ruim.

Continue com temas próximos desta categoria — ou todos os 85 em «Visualização matemática».

Toda a categoria →

NovoEscola

Árvore de decisão

Abrir o simulador

Partições gulosas alinhadas aos eixos, no plano com duas classes: índice de Gini ou entropia, profundidade e mínimo de pontos na folha. Retângulos das folhas e cortes tracejados.

NovoEscola

Gradiente descendente

Abrir o simulador

Curvas de nível de f(x, y) e trajetória (x, y) ← (x, y) − η∇f; tigela ou poço elíptico.

NovoEscola

Agrupamento k-médias

Abrir o simulador

Pontos no plano, número de grupos k e centróides iniciais. Passo de Lloyd: atribuição ao centro mais próximo e deslocamento do centróide ao baricentro. A demonstração é uma mistura de gaussianas; soma dos quadrados intra-grupo.

NovoEscola

Envoltória convexa

Abrir o simulador

Pontos no plano: varredura de Graham com animação passo a passo ou QuickHull; comparação dos conjuntos de vértices.

NovoEscola

Crescimento logístico

Abrir o simulador

Equação logística dN/dt = rN(1 − N/K): curva em S e saturação na capacidade de suporte K. O gráfico é a solução exata, não um passo de Euler.

NovoUniversidade / pesquisa

Gradientes conjugados

Abrir o simulador

Sistema SDP Ax=b como minimização de uma forma quadrática: curvas de nível, gradientes conjugados contra a descida mais íngreme, norma do resíduo e número de condição.

Rede de duas camadas e retropropagação

Sobre o modelo

Como funciona

Perguntas frequentes

Simuladores relacionados

Árvore de decisão

Gradiente descendente

Agrupamento k-médias

Envoltória convexa

Crescimento logístico

Gradientes conjugados

Rede de duas camadas e retropropagação

Sobre o modelo

Como funciona

Perguntas frequentes