.. _sec_encoder-decoder:
Arquitetura Encoder-Decoder
===========================
Como discutimos em :numref:`sec_machine_translation`, maquina de
tradução é um domínio de problema principal para modelos de transdução
de sequência, cuja entrada e saída são ambas as sequências de
comprimento variável. Para lidar com este tipo de entradas e saídas,
podemos projetar uma arquitetura com dois componentes principais. O
primeiro componente é um *codificador*: ele pega uma sequência de
comprimento variável como entrada e a transforma em um estado com uma
forma fixa. O segundo componente é um *decodificador*: ele mapeia o
estado codificado de uma forma fixa a uma sequência de comprimento
variável. Isso é chamado de arquitetura *codificador-decodificador*, que
é representado em :numref:`fig_encoder_decoder`.
.. _fig_encoder_decoder:
.. figure:: ../img/encoder-decoder.svg
A arquitetura encoder-decoder.
Vamos fazer uma tradução automática de inglês para francês como um
exemplo. Dada uma sequência de entrada em inglês: “They”, “are”,
“watching”, “.”, esta arquitetura de codificador-decodificador primeiro
codifica a entrada de comprimento variável em um estado, então
decodifica o estado para gerar o token de sequência traduzido por token
como saída: “Ils”, “respectent”, “.”. Uma vez que a arquitetura
codificador-decodificador forma a base de diferentes modelos de
transdução de sequência nas seções subsequentes, esta seção irá
converter esta arquitetura em uma interface que será implementada
posteriormente.
Encoder
-------
Na interface do codificador, nós apenas especificamos isso o codificador
recebe sequências de comprimento variável como ``X`` de entrada. A
implementação será fornecida por qualquer modelo que herde esta classe
``Encoder`` base.
.. raw:: html
.. raw:: html
.. code:: python
from mxnet.gluon import nn
#@save
class Encoder(nn.Block):
"""The base encoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Encoder, self).__init__(**kwargs)
def forward(self, X, *args):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. code:: python
from torch import nn
#@save
class Encoder(nn.Module):
"""The base encoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Encoder, self).__init__(**kwargs)
def forward(self, X, *args):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
#@save
class Decoder(nn.Block):
"""The base decoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Decoder, self).__init__(**kwargs)
def init_state(self, enc_outputs, *args):
raise NotImplementedError
def forward(self, X, state):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. code:: python
#@save
class Decoder(nn.Module):
"""The base decoder interface for the encoder-decoder architecture."""
def __init__(self, **kwargs):
super(Decoder, self).__init__(**kwargs)
def init_state(self, enc_outputs, *args):
raise NotImplementedError
def forward(self, X, state):
raise NotImplementedError
.. raw:: html
.. raw:: html
.. raw:: html
.. code:: python
#@save
class EncoderDecoder(nn.Block):
"""The base class for the encoder-decoder architecture."""
def __init__(self, encoder, decoder, **kwargs):
super(EncoderDecoder, self).__init__(**kwargs)
self.encoder = encoder
self.decoder = decoder
def forward(self, enc_X, dec_X, *args):
enc_outputs = self.encoder(enc_X, *args)
dec_state = self.decoder.init_state(enc_outputs, *args)
return self.decoder(dec_X, dec_state)
.. raw:: html
.. raw:: html
.. code:: python
#@save
class EncoderDecoder(nn.Module):
"""The base class for the encoder-decoder architecture."""
def __init__(self, encoder, decoder, **kwargs):
super(EncoderDecoder, self).__init__(**kwargs)
self.encoder = encoder
self.decoder = decoder
def forward(self, enc_X, dec_X, *args):
enc_outputs = self.encoder(enc_X, *args)
dec_state = self.decoder.init_state(enc_outputs, *args)
return self.decoder(dec_X, dec_state)
.. raw:: html
.. raw:: html
.. raw:: html
`Discussão `__
.. raw:: html
.. raw:: html
`Discussão `__
.. raw:: html
.. raw:: html