Questão de Ciência de Dados · FGV CVM 2024 (nº 21)

A memória necessária para um modelo de linguagem é calculada multiplicando o número de parâmetros (os "pesos" que o modelo aprende) pelo tamanho de cada parâmetro em bytes, que depende da sua precisão (quantos bits cada número usa).

• (A) Correta: Um modelo com 3 bilhões de parâmetros em meia-precisão (FP16) significa que cada parâmetro ocupa 16 bits, ou seja, 2 bytes (já que 1 byte = 8 bits). O cálculo direto da memória ocupada pelos pesos é $3 \times 10^9 \text{ parâmetros} \times 2 \text{ bytes/parâmetro} = 6 \times 10^9 \text{ bytes} = 6 \text{ GB}$. Como 6GB não é uma opção e a memória de GPUs ou sistemas é frequentemente alocada em blocos que são potências de 2 (ou múltiplos comuns), 8GB é a quantidade mínima de memória disponível para alocação que seria necessária para acomodar os 6GB de pesos.
• (B) Incorreta: 16GB seria necessário para um modelo de aproximadamente 8 bilhões de parâmetros em meia-precisão ($8 \times 2 = 16$ GB) ou para um modelo de 4 bilhões de parâmetros em precisão total (FP32, $4 \times 4 = 16$ GB). É o distrator mais tentador se o aluno confundir meia-precisão (FP16) com precisão total (FP32) e calcular $3 \times 4 = 12$ GB, arredondando para 16GB. A armadilha é a confusão entre FP16 e FP32, ou um arredondamento excessivo.
• (C) Incorreta: 32GB é uma quantidade muito maior do que a calculada, sendo o dobro de 16GB.
• (D) Incorreta: 64GB é uma quantidade significativamente maior, típica para modelos muito maiores ou em precisão total.
• (E) Incorreta: 128GB é uma quantidade de memória para modelos de linguagem extremamente grandes ou para cenários com muitos dados e estados adicionais.