14.2. Treinamento Aproximado¶ Open the notebook in SageMaker Studio Lab
Lembre-se do conteúdo da última seção. O principal recurso do modelo skip-gram é o uso de operações softmax para calcular a probabilidade condicional de gerar a palavra de contexto \(w_o\) com base na palavra-alvo central fornecida \(w_c\).
A perda logarítmica correspondente à probabilidade condicional é dada como
Como a operação softmax considerou que a palavra de contexto poderia ser qualquer palavra no dicionário \(\mathcal{V}\), a perda mencionada acima na verdade inclui a soma do número de itens no tamanho do dicionário. Na última seção, sabemos que para o modelo skip-gram e o modelo CBOW, porque ambos obtêm a probabilidade condicional usando uma operação softmax, o cálculo do gradiente para cada etapa contém a soma do número de itens no tamanho do dicionário. Para dicionários maiores com centenas de milhares ou até milhões de palavras, a sobrecarga para calcular cada gradiente pode ser muito alta. Para reduzir essa complexidade computacional, apresentaremos dois métodos de treinamento aproximados nesta seção: amostragem negativa e softmax hierárquico. Como não há grande diferença entre o modelo skip-gram e o modelo CBOW, usaremos apenas o modelo skip-gram como um exemplo para apresentar esses dois métodos de treinamento nesta seção.
14.2.1. Amostragem Negativa¶
A amostragem negativa modifica a função objetivo original. Dada uma janela de contexto para a palavra alvo central \(w_c\), vamos tratá-la como um evento para a palavra de contexto \(w_o\) aparecer na janela de contexto e calcular a probabilidade deste evento a partir de
Aqui, a função \(\sigma\) tem a mesma definição que a função de ativação sigmóide:
Consideraremos primeiro o treinamento do vetor de palavras maximizando a probabilidade conjunta de todos os eventos na sequência de texto. Dada uma sequência de texto de comprimento \(T\), assumimos que a palavra no passo de tempo \(t\) é \(w^{(t)}\) e o tamanho da janela de contexto é \(m\). Agora consideramos maximizar a probabilidade conjunta
No entanto, os eventos incluídos no modelo consideram apenas exemplos positivos. Nesse caso, apenas quando todos os vetores de palavras são iguais e seus valores se aproximam do infinito, a probabilidade conjunta acima pode ser maximizada para 1. Obviamente, esses vetores de palavras não têm sentido. A amostragem negativa torna a função objetivo mais significativa, amostrando com uma adição de exemplos negativos. Assuma que o evento \(P\) ocorre quando a palavra de contexto \(w_o\) aparece na janela de contexto da palavra alvo central \(w_c\), e nós amostramos \(K\) palavras que não aparecem na janela de contexto de acordo com a distribuição \(P(w)\) para atuar como palavras de ruído. Assumimos que o evento para a palavra de ruído \(w_k\) (\(k=1, \ldots, K\)) não aparecer na janela de contexto da palavra de destino central \(w_c\) é \(N_k\). Suponha que os eventos \(P\) e \(N_1, \ldots, N_K\) para os exemplos positivos e negativos sejam independentes um do outro. Ao considerar a amostragem negativa, podemos reescrever a probabilidade conjunta acima, que considera apenas os exemplos positivos, como
Aqui, a probabilidade condicional é aproximada a ser
Seja o índice de sequência de texto da palavra \(w^{(t)}\) no passo de tempo \(t\) \(i_t\) e \(h_k\) para a palavra de ruído \(w_k\) no dicionário. A perda logarítmica para a probabilidade condicional acima é
Aqui, o cálculo do gradiente em cada etapa do treinamento não está mais relacionado ao tamanho do dicionário, mas linearmente relacionado a \(K\). Quando \(K\) assume uma constante menor, a amostragem negativa tem uma sobrecarga computacional menor para cada etapa.
14.2.2. Hierárquico Softmax¶
O softmax hierárquico é outro tipo de método de treinamento aproximado. Ele usa uma árvore binária para a estrutura de dados conforme ilustrado em Fig. 14.2.1, com os nós folha da árvore representando cada palavra no dicionário \(\mathcal{V}\).
Fig. 14.2.1 Hierarchical Softmax. Each leaf node of the tree represents a word in the dictionary.¶
Assumimos que \(L(w)\) é o número de nós no caminho (incluindo os nós raiz e folha) do nó raiz da árvore binária ao nó folha da palavra \(w\). Seja \(n(w, j)\) o nó \(j^\mathrm{th}\) neste caminho, com o vetor de palavra de contexto \(\mathbf{u}_{n(w, j)}\). Usamos Fig. 14.2.1 como exemplo, então \(L(w_3) = 4\). O softmax hierárquico aproximará a probabilidade condicional no modelo skip-gram como
Aqui, a função \(\sigma\) tem a mesma definição que a função de ativação sigmóide, e \(\text{leftChild}(n)\) é o nó filho esquerdo do nó \(n\). Se \(x\) for verdadeiro, \([\![x]\!] = 1\); caso contrário, \([\![x]\!] = -1\). Agora, vamos calcular a probabilidade condicional de gerar a palavra \(w_3\) com base na palavra \(w_c\) dada em Fig. 14.2.1. Precisamos encontrar o produto interno do vetor palavra \(\mathbf{v}_c\) (para a palavra \(w_c\)) e cada vetor de nó não folha no caminho do nó raiz para \(w_3\). Porque, na árvore binária, o caminho do nó raiz ao nó folha \(w_3\) precisa ser percorrido para a esquerda, direita e esquerda novamente (o caminho com a linha em negrito em Fig. 14.2.1), obtemos
Porque \(\sigma(x)+\sigma(-x) = 1\), a condição de que a soma da probabilidade condicional de qualquer palavra gerada com base na palavra alvo central fornecida \(w_c\) no dicionário \(\mathcal{V}\) ser 1 também será suficiente:
Além disso, porque a ordem de magnitude para \(L(w_o)-1\) é \(\mathcal{O}(\text{log}_2|\mathcal{V}|)\), quando o tamanho do dicionário \(\mathcal{V}\) for grande, a sobrecarga computacional para cada etapa do treinamento hierárquico softmax é muito reduzida em comparação com situações em que não usamos treinamento aproximado.
14.2.3. Sumário¶
A amostragem negativa constrói a função de perda considerando eventos independentes que contêm exemplos positivos e negativos. O gradiente de sobrecarga computacional para cada etapa do processo de treinamento está linearmente relacionado ao número de palavras de ruído que amostramos.
O softmax hierárquico usa uma árvore binária e constrói a função de perda com base no caminho do nó raiz ao nó folha. A sobrecarga computacional gradiente para cada etapa do processo de treinamento está relacionada ao logaritmo do tamanho do dicionário.