Questão nº 89
Questão de Ciência de Dados · FGV TCE-PA 2024 (nº 89)
Alguns dos primeiros modelos de linguagem de larga escala desenvolvidos tendiam a gerar resultados incorretos com excesso de confiança, caracterizando o que se convencionou chamar de alucinações dos modelos. Uma estratégia de mitigação das alucinações é o uso da técnica de Geração Aumentada por Recuperação, ou Retrieval-Augmented Generation (RAG).
A respeito da RAG, avalie as afirmativas a seguir.
I. Baseia-se na combinação de sistemas de recuperação de informações e de modelos generativos capazes de produzir novos textos.
II. Permite aos modelos buscarem informações relevantes em bases de dados mais confiáveis durante o processamento das consultas dos usuários (user queries), viabilizando melhor adequação a contextos e melhor qualidade das respostas.
III. Não altera os parâmetros dos modelos generativos, e, portanto, não influencia o treinamento das redes neurais com informações recuperadas de bases de dados externas.
Está correto o que se afirma em
- AI, apenas.
- BII, apenas.
- CIII, apenas.
- DI e II, apenas. (alternativa correta)
- EI, II e III.
Resposta comentada
Gabarito Alternativa D
A Geração Aumentada por Recuperação (RAG) é uma técnica que ajuda modelos de inteligência artificial a darem respostas mais precisas e confiáveis, buscando informações em fontes externas antes de gerar o texto, em vez de depender apenas do que aprenderam durante o treinamento.
- (A) Incorreta: Apenas a afirmativa I não é suficiente, pois a II também está correta.
- (B) Incorreta: Apenas a afirmativa II não é suficiente, pois a I também está correta.
- (C) Incorreta: A afirmativa III é considerada incorreta no contexto da questão.
- (D) Correta:
- I. Baseia-se na combinação de sistemas de recuperação de informações e de modelos generativos capazes de produzir novos textos. Esta afirmativa está correta. O RAG é fundamentalmente a junção de um componente de "recuperação" (que busca dados relevantes) e um componente "generativo" (o modelo de linguagem que cria a resposta).
- II. Permite aos modelos buscarem informações relevantes em bases de dados mais confiáveis durante o processamento das consultas dos usuários (user queries), viabilizando melhor adequação a contextos e melhor qualidade das respostas. Esta afirmativa está correta. O principal objetivo do RAG é justamente acessar conhecimento externo e atualizado para contextualizar melhor as respostas, reduzindo alucinações e aumentando a precisão.
- III. Não altera os parâmetros dos modelos generativos, e, portanto, não influencia o treinamento das redes neurais com informações recuperadas de bases de dados externas. Esta afirmativa é considerada incorreta. Embora a ideia central do RAG seja usar modelos generativos pré-treinados sem alterá-los, existem abordagens mais avançadas (como o RAG-Finetuning) onde o modelo generativo pode ser ajustado (fine-tuned) para melhor integrar as informações recuperadas. Portanto, a afirmação de que "não altera os parâmetros" ou "não influencia o treinamento" é muito categórica e não abrange todas as variações da técnica. A armadilha da banca reside em testar um conhecimento mais aprofundado, que inclui a possibilidade de adaptação do modelo generativo em sistemas RAG mais complexos, o que tornaria a primeira parte da frase falsa.
- (E) Incorreta: A afirmativa III é considerada incorreta.
Fonte: FGV TCE-PA 2024 Auditor de Controle Externo - Administrativa - Ciência de Dados (Caderno Tipo 1). Reproduzida para fins de estudo.