Questão de Tecnologia da Informação · CEBRASPE TCE MS 2025 SERVIDOR (nº 48)

O Transformer é a arquitetura que revolucionou os LLMs, e seu segredo é o mecanismo de atenção (self-attention). Em vez de ler palavra por palavra em ordem, o modelo olha para todas as palavras da frase ao mesmo tempo e calcula "quanto de atenção" cada palavra deve dar às outras, criando um contexto rico e dinâmico. É isso que permite gerar texto coerente, pois o modelo sabe quais partes do texto são relevantes para decidir a próxima palavra.

• (A) Incorreta: Algoritmos de busca por vizinhos mais próximos (k-NN) são usados para classificação ou regressão, encontrando dados similares em um espaço vetorial, mas não geram texto sequencial com contexto semântico profundo.
• (B) Incorreta: Redes neurais convolucionais (CNNs) são excelentes para processar dados com grade espacial (como imagens), mas não são o mecanismo principal dos LLMs, que lidam com sequências de tokens onde a ordem e a distância entre palavras importam muito.
• (C) Incorreta: Modelos de Markov de alta ordem preveem o próximo token baseando-se apenas nos últimos N tokens (memória curta). Eles falham em capturar dependências de longo alcance e contexto global, algo que a atenção resolve.
• (D) Incorreta: Árvores de decisão com bagging (como Random Forest) são modelos de aprendizado de máquina para classificação/regressão, não para geração de linguagem sequencial.
• (E) Correta: A arquitetura Transformer, baseada em mecanismos de atenção (especificamente multi-head self-attention), é o coração dos LLMs como o GPT. Ela processa a sequência inteira em paralelo, ponderando a relevância de cada token em relação a todos os outros, o que gera coerência e contexto.

Armadilha da banca (no distrator mais tentador): A letra C (Modelos de Markov) é a pegadinha clássica. Muitos alunos lembram que LLMs "preveem a próxima palavra" e associam isso a cadeias de Markov. A banca explora essa confusão: Markov também prevê a próxima palavra, mas com uma limitação crucial — ele só olha para o passado imediato (janela fixa). O Transformer, por outro lado, olha para toda a frase (passado e futuro, no caso do GPT, apenas o passado, mas com atenção a todas as posições anteriores) e calcula pesos de importância. A pegadinha está em achar que "prever a próxima palavra" é a mesma coisa que "usar Markov", quando na verdade o mecanismo interno é completamente diferente.