3. Linear Neural NetworkRedes Neurais Lineares

Antes de entrarmos nos detalhes das redes neurais profundas, precisamos cobrir os fundamentos do treinamento de redes neurais. Neste capítulo, cobriremos todo o processo de treinamento, incluindo a definição de arquiteturas de redes neurais simples, manipulação de dados, especificação de uma função de perda e treinamento do modelo. Para tornar as coisas mais fáceis de entender, começamos com os conceitos mais simples. Felizmente, técnicas clássicas de aprendizagem estatística, como regressão linear e softmax podem ser lançadas como redes neurais lineares. Partindo desses algoritmos clássicos, apresentaremos o básico, fornecendo a base para técnicas mais complexas no restante do livro.

• 3.1. Linear Regression
  • 3.1.1. Elementos Básicos de Regressão Linear
  • 3.1.2. Vetorização para Velocidade
  • 3.1.3. A Distribuição Normal e Perda Quadrada
  • 3.1.4. Da Regressão Linear às Redes Profundas
  • 3.1.5. Summary
  • 3.1.6. Exercises
• 3.2. Linear Regression Implementation from Scratch
  • 3.2.1. Gerando o Dataset
  • 3.2.2. Lendo o Dataset
  • 3.2.3. Initializing Model Parameters
  • 3.2.4. Definindo o Modelo
  • 3.2.5. Definindo a Função de Perda
  • 3.2.6. Definindo o Algoritmo de Otimização
  • 3.2.7. Treinamento
  • 3.2.8. Resumo
  • 3.2.9. Exercícios
• 3.3. Implementação Concisa de Regressão Linear
  • 3.3.1. Gerando the Dataset
  • 3.3.2. Lendo o Dataset
  • 3.3.3. Definindo o Modelo
  • 3.3.4. Inicializando os Parâmetros do Modelo
  • 3.3.5. Definindo a Função de Perda
  • 3.3.6. Definindo o Algoritmo de Otimização
  • 3.3.7. Treinamento
  • 3.3.8. Resumo
  • 3.3.9. Exercícios
• 3.4. Regressão Softmax
  • 3.4.1. Problema de Classificação
  • 3.4.2. Arquitetura de Rede
  • 3.4.3. Custo de Parametrização de Camadas Totalmente Conectadas
  • 3.4.4. Operação do Softmax
  • 3.4.5. Vetorização para Minibatches
  • 3.4.6. Função de Perda
  • 3.4.7. Fundamentos da Teoria da Informação
  • 3.4.8. Predição do Modelo e Avaliação
  • 3.4.9. Resumo
  • 3.4.10. Exercícios
• 3.5. O Dataset de Classificação de Imagens
  • 3.5.1. Lendo o Dataset
  • 3.5.2. Lendo um Minibatch
  • 3.5.3. Juntando Tudo
  • 3.5.4. Resumo
  • 3.5.5. Exercícios
• 3.6. Implementação da Regressão Softmax do Zero
  • 3.6.1. Inicializando os Parâmetros do Modelo
  • 3.6.2. Definindo a Operação do Softmax
  • 3.6.3. Definindo o Modelo
  • 3.6.4. Definindo a Função de Perda
  • 3.6.5. Exatidão da Classificação
  • 3.6.6. Treinamento
  • 3.6.7. Predição
  • 3.6.8. Resumo
  • 3.6.9. Exercícios
• 3.7. Implementação Concisa da Regressão Softmax
  • 3.7.1. Inicializando os Parâmetros do Modelo
  • 3.7.2. Implementação do Softmax Revisitada
  • 3.7.3. Otimização do Algoritmo
  • 3.7.4. Trainamento
  • 3.7.5. Resumo
  • 3.7.6. Exercícios