Questão nº 59
Questão de Tecnologia da Informação · FGV DATAPREV 2024 (nº 59)
A validação cruzada é uma importante técnica em aprendizado de máquina, usada para obter uma estimativa mais robusta do erro de generalização. Dessa forma, ela contribui para a construção de modelos mais confiáveis, permitindo uma avaliação mais precisa de sua capacidade preditiva em diferentes cenários.
Uma das características da validação cruzada com k conjuntos é que esse método
- Aconsidera, na sua versão estratificada, a proporção de exemplos de cada classe quando da geração de subconjuntos mutuamente exclusivos. (alternativa correta)
- Bdivide aleatoriamente registros em treinamento e teste em proporções p e (1-p), respectivamente.
- Cgera conjuntos cuja interseção é não vazia, utilizados a cada iteração como conjunto de treino e teste.
- Dpenaliza os conjuntos de treino com k sorteios aleatórios, de modo a torná-lo equilibrado frente ao conjunto de teste.
- Eproduz o conjunto de treinamento a partir de N sorteios aleatórios com reposição a partir dos dados originais.
Resposta comentada
Gabarito Alternativa A
A validação cruzada (cross-validation) é uma técnica para testar a performance de um modelo de aprendizado de máquina de forma mais confiável, dividindo os dados em várias partes para treinar e testar repetidamente, garantindo que o modelo seja avaliado em dados que ele não viu durante o treinamento.
- (A) Correta: A versão estratificada da validação cruzada com k conjuntos garante que cada "pedaço" (subconjunto ou fold) mantenha a mesma proporção de exemplos de cada classe que existe nos dados originais. Isso é crucial para evitar que um fold de teste tenha pouquíssimos exemplos de uma classe minoritária, o que distorceria a avaliação do modelo, especialmente em conjuntos de dados desbalanceados.
- (B) Incorreta: Esta alternativa descreve uma divisão simples de treino/teste, que é um passo inicial, mas não a característica definidora da validação cruzada com k conjuntos. A validação cruzada envolve k dessas divisões, onde cada subconjunto serve como teste uma vez, e os subconjuntos são mutuamente exclusivos. A armadilha aqui é que a divisão aleatória é parte do processo, mas não a característica principal ou única da validação cruzada com k conjuntos, que se distingue por suas k iterações e pela exclusividade dos folds.
- (C) Incorreta: Uma característica fundamental da validação cruzada com k conjuntos é que os subconjuntos (folds) são mutuamente exclusivos, ou seja, não há sobreposição de dados entre eles. Isso garante que o modelo seja testado em dados que ele nunca viu durante o treinamento daquela iteração, evitando vazamento de dados.
- (D) Incorreta: A validação cruzada não "penaliza" conjuntos de treino nem usa "sorteios aleatórios para equilibrar" dessa forma. O objetivo é testar a generalização do modelo, não aplicar penalidades ou equilibrar o treino com sorteios aleatórios nesse contexto.
- (E) Incorreta: Esta descrição se refere a técnicas de amostragem com reposição, como o bootstrap (usado em métodos como Bagging ou para estimar intervalos de confiança), e não à validação cruzada com k conjuntos, que usa amostragem sem reposição para criar os folds, garantindo que cada dado apareça em um único fold.
Fonte: FGV DATAPREV 2024 Analista de Tecnologia da Informação - Inteligência da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.