Questão de Ciência de Dados · FGV CVM 2024 (nº 3)

As LSTMs (Long Short-Term Memory) são um tipo especial de rede neural recorrente que consegue "lembrar" informações por longos períodos, superando problemas de memória das redes recorrentes tradicionais.

(A) Incorreta: O recorte de gradiente (gradient clipping) é uma técnica de treinamento usada para evitar o problema do gradiente explosivo, mas não é uma inovação arquitetônica da LSTM em si.
(B) Correta: A inovação arquitetônica central da LSTM são as células de memória (memory cells) que armazenam informações e os mecanismos de gating (portões de entrada, esquecimento e saída) que controlam de forma inteligente o fluxo de informações para dentro, para fora e através da célula, permitindo capturar dependências de longo prazo e mitigar o problema do gradiente que desaparece.
(C) Incorreta: Os mecanismos de atenção (attention mechanisms) são uma inovação posterior e separada, frequentemente usada com LSTMs ou em arquiteturas como Transformers, mas não são a inovação arquitetônica distintiva da própria LSTM. A armadilha aqui é que a atenção é muito poderosa para lidar com dependências de longo prazo, assim como a LSTM, mas a LSTM resolve isso de uma forma diferente e anterior.
(D) Incorreta: Conexões de salto (skip connections ou residual connections) são características de outras arquiteturas, como as Redes Residuais (ResNets), que ajudam a treinar redes profundas, mas não são a inovação arquitetônica da LSTM.
(E) Incorreta: Camadas de Max-pooling são comumente usadas em Redes Neurais Convolucionais (CNNs) para redução de dimensionalidade e extração de características, e não fazem parte da arquitetura fundamental de uma LSTM.