Questão de Ciência de Dados · FGV CVM 2024 (nº 22)

A tokenização é o processo de dividir o texto em unidades menores (tokens) que os modelos de linguagem podem entender. Para LLMs, algoritmos de tokenização por subpalavras são usados para criar um vocabulário menor e mais eficiente, quebrando palavras em partes menores sem perder a capacidade de reconstruir o texto original.

• (A) Incorreta: UMAP é uma técnica de redução de dimensionalidade para visualização ou pré-processamento de dados numéricos (como embeddings), não um algoritmo de tokenização de texto. BPE (Byte Pair Encoding) é um algoritmo de tokenização por subpalavras, mas a inclusão de UMAP torna a alternativa incorreta.
• (B) Incorreta: T5 é um modelo de linguagem (uma arquitetura de Transformer), não um algoritmo de tokenização. UMAP é uma técnica de redução de dimensionalidade para dados numéricos, não para tokenização de texto.
• (C) Correta: BPE (Byte Pair Encoding) e WordPiece são dois dos algoritmos de tokenização por subpalavras mais comuns e eficazes, utilizados em modelos como GPT, BERT e outros. Eles criam um vocabulário de unidades de texto (subpalavras) que equilibra o tamanho do vocabulário com a capacidade de representar qualquer palavra, cumprindo o objetivo de reduzir a dimensionalidade do vocabulário sem perda da capacidade de reconstrução.
• (D) Incorreta: WordPiece é um algoritmo de tokenização por subpalavras, mas T5 é um modelo de linguagem, não um algoritmo de tokenização.
• (E) Incorreta: UMAP é uma técnica de redução de dimensionalidade para dados numéricos, não para tokenização de texto. GTE (General Text Embeddings ou outro termo similar) não é um algoritmo de tokenização padrão para LLMs que se encaixe na descrição.