Questão nº 66
Questão de Tecnologia da Informação · FGV TCE-PA 2024 (nº 66)
Alguns dos primeiros modelos de linguagem de larga escala desenvolvidos tendiam a gerar resultados incorretos com excesso de confiança, caracterizando o que se convencionou chamar de alucinações dos modelos. Uma estratégia de mitigação das alucinações é o uso da técnica de Geração Aumentada por Recuperação, ou Retrieval-Augmented Generation (RAG).
A respeito da RAG, avalie as afirmativas a seguir.
I. Baseia-se na combinação de sistemas de recuperação de informações e de modelos generativos capazes de produzir novos textos.
II. Permite aos modelos buscarem informações relevantes em bases de dados mais confiáveis durante o processamento das consultas dos usuários (user queries), viabilizando melhor adequação a contextos e melhor qualidade das respostas.
III. Não altera os parâmetros dos modelos generativos, e, portanto, não influencia o treinamento das redes neurais com informações recuperadas de bases de dados externas.
Está correto o que se afirma em
- AI, apenas.
- BII, apenas.
- CIII, apenas.
- DI e II, apenas. (alternativa correta)
- EI, II e III.
Resposta comentada
Gabarito Alternativa D
RAG (Geração Aumentada por Recuperação) é uma técnica que ajuda modelos de inteligência artificial a dar respostas mais precisas e menos inventadas, buscando informações relevantes em uma base de dados externa antes de gerar o texto.
- (A) Incorreta: A afirmativa I está correta, mas não é a única correta.
- (B) Incorreta: A afirmativa II está correta, mas não é a única correta.
- (C) Incorreta: A afirmativa III é incorreta.
- (D) Correta: As afirmativas I e II descrevem corretamente a essência e os benefícios do RAG. A afirmativa I define o RAG como a combinação de sistemas de recuperação de informações (o "retriever") e modelos generativos (o "generator") capazes de produzir novos textos. A afirmativa II destaca que o RAG permite aos modelos buscarem informações relevantes em bases de dados confiáveis para contextualizar melhor as respostas e reduzir alucinações, melhorando a qualidade.
- (E) Incorreta: A afirmativa III é incorreta. A armadilha da banca reside em uma interpretação sutil: embora o RAG clássico (ou "vanilla RAG") funcione primariamente na inferência e não altere os parâmetros do modelo generativo pré-treinado, existem abordagens mais avançadas e sistemas RAG que podem envolver o fine-tuning (um tipo de treinamento) do modelo generativo usando dados recuperados. Nesses casos, os parâmetros do modelo são alterados e o treinamento é influenciado pelas informações recuperadas. Como a afirmação é categórica ("Não altera... e, portanto, não influencia..."), ela se torna falsa em cenários onde o modelo generativo é fine-tuned com dados recuperados.
Fonte: FGV TCE-PA 2024 Auditor de Controle Externo - Informática - Analista de Sistemas (Caderno Tipo 1). Reproduzida para fins de estudo.