Questão de Fluência em Dados · FGV CVM 2024 (nº 32)

A tokenização é a tarefa de Processamento de Linguagem Natural (PLN) que divide um texto em pedaços menores e significativos, chamados tokens, que são as unidades linguísticas mínimas, como palavras, números e pontuações.

(A) Incorreta: A sentenciação divide o texto em frases completas, e não em unidades mínimas como palavras ou pontuações, que é o que a contagem de 14 unidades representa. A armadilha aqui é que "unidades linguísticas" pode soar parecido com "frases", mas o foco é em "mínimas" e na saída que mostra uma contagem de elementos individuais.
(B) Correta: A tokenização é exatamente o processo de dividir o texto em suas unidades linguísticas mínimas, os tokens, que podem ser palavras, números e pontuações, como exemplificado pela contagem de 14 unidades resultantes da separação do texto.
(C) Incorreta: A lematização transforma as palavras para sua forma base (o "lema"), como "correndo" para "correr", mas não as separa em unidades menores.
(D) Incorreta: A radicalização (ou stemming) reduz as palavras ao seu radical, como "correndo" para "corr", sendo uma transformação e não uma separação em unidades.
(E) Incorreta: A etiquetagem (ou Part-of-Speech Tagging) atribui categorias gramaticais (substantivo, verbo, adjetivo) a cada palavra, mas não realiza a separação inicial do texto.