.. _sec_synonyms:

Encontrando sinônimos e analogias
=================================


Em :numref:`sec_word2vec_pretraining` treinamos um modelo de
incorporação de palavras word2vec em um conjunto de dados de pequena
escala e procurou por sinônimos usando a similaridade de cosseno de
vetores de palavras. Na prática, vetores de palavras pré-treinados em um
corpus de grande escala muitas vezes pode ser aplicado a tarefas de
processamento de linguagem natural downstream. Esta seção irá demonstrar
como usar esses vetores de palavras pré-treinados para encontrar
sinônimos e analogias. Continuaremos a aplicar vetores de palavras
pré-treinados em seções subsequentes.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-1-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-1-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-1-0">

.. code:: python

    import os
    from mxnet import np, npx
    from d2l import mxnet as d2l
    
    npx.set_np()



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-1-1">

.. code:: python

    import os
    import torch
    from torch import nn
    from d2l import torch as d2l



.. raw:: html

    </div>



.. raw:: html

    </div>

Usando vetores de palavras pré-treinados
----------------------------------------

Abaixo lista os embeddings GloVe pré-treinados de dimensões 50, 100 e
300, que pode ser baixado do `site do
GloVe <https://nlp.stanford.edu/projects/glove/>`__. Os fastText
pré-treinados embarcados estão disponíveis em vários idiomas. Aqui,
consideramos uma versão em inglês (“wiki.en” 300-dimensional) que pode
ser baixada do `site fastText <https://fasttext.cc/>`__.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-3-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-3-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-3-0">

.. code:: python

    #@save
    d2l.DATA_HUB['glove.6b.50d'] = (d2l.DATA_URL + 'glove.6B.50d.zip',
                                    '0b8703943ccdb6eb788e6f091b8946e82231bc4d')
    
    #@save
    d2l.DATA_HUB['glove.6b.100d'] = (d2l.DATA_URL + 'glove.6B.100d.zip',
                                     'cd43bfb07e44e6f27cbcc7bc9ae3d80284fdaf5a')
    
    #@save
    d2l.DATA_HUB['glove.42b.300d'] = (d2l.DATA_URL + 'glove.42B.300d.zip',
                                      'b5116e234e9eb9076672cfeabf5469f3eec904fa')
    
    #@save
    d2l.DATA_HUB['wiki.en'] = (d2l.DATA_URL + 'wiki.en.zip',
                               'c1816da3821ae9f43899be655002f6c723e91b88')



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-3-1">

.. code:: python

    #@save
    d2l.DATA_HUB['glove.6b.50d'] = (d2l.DATA_URL + 'glove.6B.50d.zip',
                                    '0b8703943ccdb6eb788e6f091b8946e82231bc4d')
    
    #@save
    d2l.DATA_HUB['glove.6b.100d'] = (d2l.DATA_URL + 'glove.6B.100d.zip',
                                     'cd43bfb07e44e6f27cbcc7bc9ae3d80284fdaf5a')
    
    #@save
    d2l.DATA_HUB['glove.42b.300d'] = (d2l.DATA_URL + 'glove.42B.300d.zip',
                                      'b5116e234e9eb9076672cfeabf5469f3eec904fa')
    
    #@save
    d2l.DATA_HUB['wiki.en'] = (d2l.DATA_URL + 'wiki.en.zip',
                               'c1816da3821ae9f43899be655002f6c723e91b88')



.. raw:: html

    </div>



.. raw:: html

    </div>

Definimos a seguinte classe ``TokenEmbedding`` para carregar os
embeddings pré-treinados Glove e fastText acima.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-5-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-5-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-5-0">

.. code:: python

    #@save
    class TokenEmbedding:
        """Token Embedding."""
        def __init__(self, embedding_name):
            self.idx_to_token, self.idx_to_vec = self._load_embedding(
                embedding_name)
            self.unknown_idx = 0
            self.token_to_idx = {token: idx for idx, token in
                                 enumerate(self.idx_to_token)}
    
        def _load_embedding(self, embedding_name):
            idx_to_token, idx_to_vec = ['<unk>'], []
            data_dir = d2l.download_extract(embedding_name)
            # GloVe website: https://nlp.stanford.edu/projects/glove/
            # fastText website: https://fasttext.cc/
            with open(os.path.join(data_dir, 'vec.txt'), 'r') as f:
                for line in f:
                    elems = line.rstrip().split(' ')
                    token, elems = elems[0], [float(elem) for elem in elems[1:]]
                    # Skip header information, such as the top row in fastText
                    if len(elems) > 1:
                        idx_to_token.append(token)
                        idx_to_vec.append(elems)
            idx_to_vec = [[0] * len(idx_to_vec[0])] + idx_to_vec
            return idx_to_token, np.array(idx_to_vec)
    
        def __getitem__(self, tokens):
            indices = [self.token_to_idx.get(token, self.unknown_idx)
                       for token in tokens]
            vecs = self.idx_to_vec[np.array(indices)]
            return vecs
    
        def __len__(self):
            return len(self.idx_to_token)



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-5-1">

.. code:: python

    #@save
    class TokenEmbedding:
        """Token Embedding."""
        def __init__(self, embedding_name):
            self.idx_to_token, self.idx_to_vec = self._load_embedding(
                embedding_name)
            self.unknown_idx = 0
            self.token_to_idx = {token: idx for idx, token in
                                 enumerate(self.idx_to_token)}
    
        def _load_embedding(self, embedding_name):
            idx_to_token, idx_to_vec = ['<unk>'], []
            data_dir = d2l.download_extract(embedding_name)
            # GloVe website: https://nlp.stanford.edu/projects/glove/
            # fastText website: https://fasttext.cc/
            with open(os.path.join(data_dir, 'vec.txt'), 'r') as f:
                for line in f:
                    elems = line.rstrip().split(' ')
                    token, elems = elems[0], [float(elem) for elem in elems[1:]]
                    # Skip header information, such as the top row in fastText
                    if len(elems) > 1:
                        idx_to_token.append(token)
                        idx_to_vec.append(elems)
            idx_to_vec = [[0] * len(idx_to_vec[0])] + idx_to_vec
            return idx_to_token, torch.tensor(idx_to_vec)
    
        def __getitem__(self, tokens):
            indices = [self.token_to_idx.get(token, self.unknown_idx)
                       for token in tokens]
            vecs = self.idx_to_vec[torch.tensor(indices)]
            return vecs
    
        def __len__(self):
            return len(self.idx_to_token)



.. raw:: html

    </div>



.. raw:: html

    </div>

Em seguida, usamos embeddings GloVe de 50 dimensões pré-treinados em um
subconjunto da Wikipedia. A incorporação de palavras correspondente é
baixada automaticamente na primeira vez que criamos uma instância de
incorporação de palavras pré-treinada.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-7-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-7-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-7-0">

.. code:: python

    glove_6b50d = TokenEmbedding('glove.6b.50d')


.. parsed-literal::
    :class: output

    Downloading ../data/glove.6B.50d.zip from http://d2l-data.s3-accelerate.amazonaws.com/glove.6B.50d.zip...




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-7-1">

.. code:: python

    glove_6b50d = TokenEmbedding('glove.6b.50d')


.. parsed-literal::
    :class: output

    Downloading ../data/glove.6B.50d.zip from http://d2l-data.s3-accelerate.amazonaws.com/glove.6B.50d.zip...




.. raw:: html

    </div>



.. raw:: html

    </div>

Produza o tamanho do dicionário. O dicionário contém :math:`400.000`
palavras e um token especial desconhecido.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-9-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-9-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-9-0">

.. code:: python

    len(glove_6b50d)




.. parsed-literal::
    :class: output

    400001





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-9-1">

.. code:: python

    len(glove_6b50d)




.. parsed-literal::
    :class: output

    400001





.. raw:: html

    </div>



.. raw:: html

    </div>

Podemos usar uma palavra para obter seu índice no dicionário ou podemos
obter a palavra de seu índice.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-11-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-11-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-11-0">

.. code:: python

    glove_6b50d.token_to_idx['beautiful'], glove_6b50d.idx_to_token[3367]




.. parsed-literal::
    :class: output

    (3367, 'beautiful')





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-11-1">

.. code:: python

    glove_6b50d.token_to_idx['beautiful'], glove_6b50d.idx_to_token[3367]




.. parsed-literal::
    :class: output

    (3367, 'beautiful')





.. raw:: html

    </div>



.. raw:: html

    </div>

Aplicação de vetores de palavras pré-treinados
----------------------------------------------

Abaixo, demonstramos a aplicação de vetores de palavras pré-treinados,
usando GloVe como exemplo.

Encontrando sinônimos
~~~~~~~~~~~~~~~~~~~~~

Aqui, reimplementamos o algoritmo usado para pesquisar sinônimos por
cosseno similaridade introduzida em :numref:`sec_word2vec`

A fim de reutilizar a lógica para buscar os :math:`k` vizinhos mais
próximos quando buscando analogias, encapsulamos esta parte da lógica
separadamente no ``knn`` função (:math:`k`-vizinhos mais próximos).



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-13-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-13-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-13-0">

.. code:: python

    def knn(W, x, k):
        # The added 1e-9 is for numerical stability
        cos = np.dot(W, x.reshape(-1,)) / (
            np.sqrt(np.sum(W * W, axis=1) + 1e-9) * np.sqrt((x * x).sum()))
        topk = npx.topk(cos, k=k, ret_typ='indices')
        return topk, [cos[int(i)] for i in topk]



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-13-1">

.. code:: python

    def knn(W, x, k):
        # The added 1e-9 is for numerical stability
        cos = torch.mv(W, x.reshape(-1,)) / (
            torch.sqrt(torch.sum(W * W, axis=1) + 1e-9) *
            torch.sqrt((x * x).sum()))
        _, topk = torch.topk(cos, k=k)
        return topk, [cos[int(i)] for i in topk]



.. raw:: html

    </div>



.. raw:: html

    </div>

Em seguida, buscamos sinônimos pré-treinando a instância do vetor de
palavras ``embed``.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-15-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-15-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-15-0">

.. code:: python

    def get_similar_tokens(query_token, k, embed):
        topk, cos = knn(embed.idx_to_vec, embed[[query_token]], k + 1)
        for i, c in zip(topk[1:], cos[1:]):  # Remove input words
            print(f'cosine sim={float(c):.3f}: {embed.idx_to_token[int(i)]}')



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-15-1">

.. code:: python

    def get_similar_tokens(query_token, k, embed):
        topk, cos = knn(embed.idx_to_vec, embed[[query_token]], k + 1)
        for i, c in zip(topk[1:], cos[1:]):  # Remove input words
            print(f'cosine sim={float(c):.3f}: {embed.idx_to_token[int(i)]}')



.. raw:: html

    </div>



.. raw:: html

    </div>

O dicionário de instância de vetor de palavras pré-treinadas
``glove_6b50d`` já criado contém 400.000 palavras e um token especial
desconhecido. Excluindo palavras de entrada e palavras desconhecidas,
procuramos as três palavras que têm o significado mais semelhante a
“chip”.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-17-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-17-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-17-0">

.. code:: python

    get_similar_tokens('chip', 3, glove_6b50d)


.. parsed-literal::
    :class: output

    cosine sim=0.856: chips
    cosine sim=0.749: intel
    cosine sim=0.749: electronics




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-17-1">

.. code:: python

    get_similar_tokens('chip', 3, glove_6b50d)


.. parsed-literal::
    :class: output

    cosine sim=0.856: chips
    cosine sim=0.749: intel
    cosine sim=0.749: electronics




.. raw:: html

    </div>



.. raw:: html

    </div>

A seguir, procuramos os sinônimos de “baby” e “beautiful”.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-19-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-19-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-19-0">

.. code:: python

    get_similar_tokens('baby', 3, glove_6b50d)


.. parsed-literal::
    :class: output

    cosine sim=0.839: babies
    cosine sim=0.800: boy
    cosine sim=0.792: girl


.. code:: python

    get_similar_tokens('beautiful', 3, glove_6b50d)


.. parsed-literal::
    :class: output

    cosine sim=0.921: lovely
    cosine sim=0.893: gorgeous
    cosine sim=0.830: wonderful




.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-19-1">

.. code:: python

    get_similar_tokens('baby', 3, glove_6b50d)


.. parsed-literal::
    :class: output

    cosine sim=0.839: babies
    cosine sim=0.800: boy
    cosine sim=0.792: girl


.. code:: python

    get_similar_tokens('beautiful', 3, glove_6b50d)


.. parsed-literal::
    :class: output

    cosine sim=0.921: lovely
    cosine sim=0.893: gorgeous
    cosine sim=0.830: wonderful




.. raw:: html

    </div>



.. raw:: html

    </div>

Encontrando Analogias
~~~~~~~~~~~~~~~~~~~~~

Além de buscar sinônimos, também podemos usar o vetor de palavras
pré-treinadas para buscar analogias entre palavras. Por exemplo,
“man”:“woman”::“son”:“daughter” é um exemplo de analogia, “man” está
para “woman” como “son” está para “daughter”. O problema de buscar
analogias pode ser definido da seguinte forma: para quatro palavras na
relação analógica :math:`a : b :: c : d`, dadas as três primeiras
palavras, :math:`a`, :math:`b` e :math:`c`, queremos encontre :math:`d`.
Suponha que a palavra vetor para a palavra :math:`w` seja
:math:`\text{vec}(w)`. Para resolver o problema de analogia, precisamos
encontrar o vetor de palavras que é mais semelhante ao vetor de
resultado de :math:`\text{vec}(c)+\text{vec}(b)-\text{vec}(a)`.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-21-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-21-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-21-0">

.. code:: python

    def get_analogy(token_a, token_b, token_c, embed):
        vecs = embed[[token_a, token_b, token_c]]
        x = vecs[1] - vecs[0] + vecs[2]
        topk, cos = knn(embed.idx_to_vec, x, 1)
        return embed.idx_to_token[int(topk[0])]  # Remove unknown words



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-21-1">

.. code:: python

    def get_analogy(token_a, token_b, token_c, embed):
        vecs = embed[[token_a, token_b, token_c]]
        x = vecs[1] - vecs[0] + vecs[2]
        topk, cos = knn(embed.idx_to_vec, x, 1)
        return embed.idx_to_token[int(topk[0])]  # Remove unknown words



.. raw:: html

    </div>



.. raw:: html

    </div>

Verifique a analogia “male-female”.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-23-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-23-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-23-0">

.. code:: python

    get_analogy('man', 'woman', 'son', glove_6b50d)




.. parsed-literal::
    :class: output

    'daughter'





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-23-1">

.. code:: python

    get_analogy('man', 'woman', 'son', glove_6b50d)




.. parsed-literal::
    :class: output

    'daughter'





.. raw:: html

    </div>



.. raw:: html

    </div>

Analogia de “país-capital”: “beijing” é para “china” como “tokyo” é para
quê? A resposta deve ser “japão”.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-25-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-25-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-25-0">

.. code:: python

    get_analogy('beijing', 'china', 'tokyo', glove_6b50d)




.. parsed-literal::
    :class: output

    'japan'





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-25-1">

.. code:: python

    get_analogy('beijing', 'china', 'tokyo', glove_6b50d)




.. parsed-literal::
    :class: output

    'japan'





.. raw:: html

    </div>



.. raw:: html

    </div>

Analogia do “adjetivo-adjetivo superlativo”: “ruim” está para o “pior”,
assim como “grande” está para o quê? A resposta deve ser “maior”.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-27-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-27-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-27-0">

.. code:: python

    get_analogy('bad', 'worst', 'big', glove_6b50d)




.. parsed-literal::
    :class: output

    'biggest'





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-27-1">

.. code:: python

    get_analogy('bad', 'worst', 'big', glove_6b50d)




.. parsed-literal::
    :class: output

    'biggest'





.. raw:: html

    </div>



.. raw:: html

    </div>

Analogia do “verbo presente-verbo no pretérito”: “do” é “did” assim como
“go” é para quê? A resposta deve ser “went”.



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar code"><a href="#mxnet-29-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-29-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-29-0">

.. code:: python

    get_analogy('do', 'did', 'go', glove_6b50d)




.. parsed-literal::
    :class: output

    'went'





.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-29-1">

.. code:: python

    get_analogy('do', 'did', 'go', glove_6b50d)




.. parsed-literal::
    :class: output

    'went'





.. raw:: html

    </div>



.. raw:: html

    </div>

Sumário
-------

-  Vetores de palavras pré-treinados em um corpus de grande escala podem
   frequentemente ser aplicados a tarefas de processamento de linguagem
   natural downstream.
-  Podemos usar vetores de palavras pré-treinados para buscar sinônimos
   e analogias.

Exercícios
----------

1. Teste os resultados do fastText usando
   ``TokenEmbedding ('wiki.en')``.
2. Se o dicionário for extremamente grande, como podemos acelerar a
   localização de sinônimos e analogias?



.. raw:: html

    <div class="mdl-tabs mdl-js-tabs mdl-js-ripple-effect"><div class="mdl-tabs__tab-bar text"><a href="#mxnet-31-0" onclick="tagClick('mxnet'); return false;" class="mdl-tabs__tab is-active">mxnet</a><a href="#pytorch-31-1" onclick="tagClick('pytorch'); return false;" class="mdl-tabs__tab ">pytorch</a></div>



.. raw:: html

    <div class="mdl-tabs__panel is-active" id="mxnet-31-0">

`Discussão <https://discuss.d2l.ai/t/387>`__



.. raw:: html

    </div>



.. raw:: html

    <div class="mdl-tabs__panel " id="pytorch-31-1">

`Discussão <https://discuss.d2l.ai/t/1336>`__



.. raw:: html

    </div>



.. raw:: html

    </div>

.. raw:: html

   <!--stackedit_data:
   eyJoaXN0b3J5IjpbLTEzNzYyMDg0OCw1MTk1NDA4MTFdfQ==
   -->