Questão nº 41
Questão de Tecnologia da Informação · CESGRANRIO BB 01/2022 (nº 41)
Uma organização decidiu monitorar a opinião do público sobre ela nas redes sociais. Para isso, processou as mensagens com referências ao seu nome, a fim de possibilitar o uso de uma técnica de processamento de linguagem natural conhecida como análise de sentimentos.
Após transformar cada mensagem em uma string, um dos passos importantes nessa técnica é a tokenização, que consiste em
- Acolocar todos os caracteres da mensagem em minúsculas.
- Bcolocar todos os verbos da mensagem no infinitivo.
- Cdividir o texto da mensagem em palavras isoladas. (alternativa correta)
- Deliminar todos os marcadores HTML ou XML da mensagem.
- Esubstituir todos os caracteres acentuados da mensagem por suas versões sem acento.
Resposta comentada
Gabarito Alternativa C
Tokenização é o processo de quebrar um texto bruto em unidades menores, chamadas tokens — que, na prática, são palavras isoladas, pontuações ou símbolos. É o primeiro passo para que o algoritmo consiga analisar cada termo separadamente e atribuir um sentimento (positivo, negativo ou neutro) a cada um deles.
- (A) Incorreta: Colocar tudo em minúsculas é uma etapa de normalização (pré-processamento), não de tokenização. A banca tenta confundir quem mistura as etapas.
- (B) Incorreta: Reduzir verbos ao infinitivo é lematização ou stemização, outra etapa opcional que ocorre depois da tokenização, e não a divisão em si.
- (C) Correta: Dividir o texto em palavras isoladas é exatamente a definição de tokenização — cada palavra vira um token que será analisado individualmente pelo modelo de sentimentos.
- (D) Incorreta: Remover tags HTML/XML é uma limpeza de dados (ou higienização), feita antes da tokenização para eliminar ruído, mas não é o ato de dividir o texto.
- (E) Incorreta: Substituir acentos por versões sem acento é uma normalização de caracteres, que ajuda a padronizar o texto, mas não gera tokens — apenas altera a forma das palavras já existentes.
Armadilha da banca: A letra A é a mais tentadora, pois muitos alunos confundem "pré-processamento" com "tokenização". A banca sabe que a análise de sentimentos exige várias etapas (limpeza, normalização, tokenização, etc.) e testa se você sabe a ordem e o nome exato de cada uma. Tokenizar é sempre dividir em unidades menores — nunca modificar o conteúdo das palavras.
Fonte: CESGRANRIO BB 01/2022 Escriturário - Agente de Tecnologia (Caderno Gabarito 1). Reproduzida para fins de estudo.