4. Perceptrons Multicamada

Neste capítulo, apresentaremos sua primeira rede verdadeiramente profunda. As redes profundas mais simples são chamadas perceptrons multicamada, e eles consistem em várias camadas de neurônios cada um totalmente conectado àqueles na camada abaixo (do qual eles recebem contribuições) e aqueles acima (que eles, por sua vez, influenciam). Quando treinamos modelos de alta capacidade, corremos o risco de fazer overfitting. Portanto, precisaremos fornecer sua primeira introdução rigorosa às noções de overfitting, underfitting e seleção de modelo. Para ajudá-lo a combater esses problemas, apresentaremos técnicas de regularização, como redução do peso e abandono escolar. Também discutiremos questões relacionadas à estabilidade numérica e inicialização de parâmetros que são essenciais para o treinamento bem-sucedido de redes profundas. Durante todo o tempo, nosso objetivo é dar a você uma compreensão firme não apenas dos conceitos mas também da prática de usar redes profundas. No final deste capítulo, aplicamos o que apresentamos até agora a um caso real: a previsão do preço da casa. Nós examinamos questões relacionadas ao desempenho computacional, escalabilidade e eficiência de nossos modelos para os capítulos subsequentes.

• 4.1. Perceptrons Multicamada
  • 4.1.1. Camadas Ocultas
  • 4.1.2. Funções de Ativação
  • 4.1.3. Resumo
  • 4.1.4. Exercícios
• 4.2. Implementação de Perceptrons Multicamadas do Zero
  • 4.2.1. Inicializando os Parâmetros do Modelo
  • 4.2.2. Função de Ativação
  • 4.2.3. Modelo
  • 4.2.4. Função de Perda
  • 4.2.5. Trainamento
  • 4.2.6. Resumo
  • 4.2.7. Exercícios
• 4.3. Implementação Concisa de Perceptrons Multicamadas
  • 4.3.1. Modelo
  • 4.3.2. Resumo
  • 4.3.3. Exercícios
• 4.4. Seleção do Modelo, Underfitting, e Overfitting
  • 4.4.1. Erro de Treinamento e Erro de Generalização
  • 4.4.2. Seleção do Modelo
  • 4.4.3. Underfitting ou Overfitting?
  • 4.4.4. Regressão Polinomial
  • 4.4.5. Resumo
  • 4.4.6. Exercícios
• 4.5. Weight Decay
  • 4.5.1. Normas e Weight Decay
  • 4.5.2. Regressão Linear de Alta Dimensão
  • 4.5.3. Implementação do Zero
  • 4.5.4. Implementação Concisa
  • 4.5.5. Resumo
  • 4.5.6. Exercícios
• 4.6. Dropout
  • 4.6.1. Overfitting Revisitado
  • 4.6.2. Robustez por Meio de Perturbações
  • 4.6.3. Dropout na Prática
  • 4.6.4. Implementação do Zero
  • 4.6.5. Implementação Concisa
  • 4.6.6. Resumo
  • 4.6.7. Exercícios
• 4.7. Propagação Direta, Propagação Reversa e Gráficos Computacionais
  • 4.7.1. Propagação Direta
  • 4.7.2. Gráfico Computatcional de Propagação Direta
  • 4.7.3. Propagação Reversa
  • 4.7.4. Treinando Redes Neurais
  • 4.7.5. Resumo
  • 4.7.6. Exercícios
• 4.8. Estabilidade Numérica e Inicialização
  • 4.8.1. Explosão e Desaparecimento de Gradientes
  • 4.8.2. Inicialização de Parâmetros
  • 4.8.3. Resumo
  • 4.8.4. Exercícios
• 4.9. Mudança de Ambiente e Distribuição
  • 4.9.1. Tipos de Turno de Distribuição
  • 4.9.2. Exemplos de Mudança de Distribuição
  • 4.9.3. Correção de Mudança de Distribuição
  • 4.9.4. Uma taxonomia de Problemas de Aprendizagem
  • 4.9.5. Justiça, Responsabilidade e Transparência no Machine Learning
  • 4.9.6. Resumo
  • 4.9.7. Exercícios
• 4.10. Previsão de Preços de Imóveis no Kaggle
  • 4.10.1. Download e Cache de datasets
  • 4.10.2. Kaggle
  • 4.10.3. Acessando e Lendo o Conjunto de Dados
  • 4.10.4. Pré-processamento de Dados
  • 4.10.5. Treinamento
  • 4.10.6. Validação Cruzada \(K\)-Fold
  • 4.10.7. Seleção de Modelo
  • 4.10.8. Enviando Previsões no Kaggle
  • 4.10.9. Resumo
  • 4.10.10. Exercícios