Questão de Tecnologia da Informação · FGV TCE-ES 2022 (nº 78)

Uma Rede Neural Artificial (RNA) feed-forward processa informações em uma única direção, da entrada para a saída, através de camadas de neurônios que realizam somas ponderadas e aplicam funções de ativação. A função de ativação ReLU (Rectified Linear Unit) é uma regra simples que transforma qualquer valor negativo em zero e mantém os valores positivos inalterados, ou seja, $f(x) = \max(0, x)$.

Para resolver a questão, seguimos os passos:

1. Cálculo da camada oculta: Multiplicamos o vetor de entrada X pela matriz de pesos W₁ e, em seguida, aplicamos a função ReLU.

   • Entrada X = $[1, 2]$
   • W₁ = $[0,1 \quad -0,2; 0,4 \quad 0; 0 \quad 0,2]$
   • Soma ponderada para a camada oculta ($Z_1$):
     • Neurônio 1: $(0,1 \times 1) + (-0,2 \times 2) = 0,1 - 0,4 = -0,3$
     • Neurônio 2: $(0,4 \times 1) + (0 \times 2) = 0,4 + 0 = 0,4$
     • Neurônio 3: $(0 \times 1) + (0,2 \times 2) = 0 + 0,4 = 0,4$
   • $Z_1 = [-0,3; 0,4; 0,4]$
   • Ativação da camada oculta ($A_1 = \text{ReLU}(Z_1)$):
     • Neurônio 1: $\max(0, -0,3) = 0$
     • Neurônio 2: $\max(0, 0,4) = 0,4$
     • Neurônio 3: $\max(0, 0,4) = 0,4$
   • A_1 = [0; 0,4; 0,4]\

2. Cálculo da camada de saída: Multiplicamos a saída ativada da camada oculta ($A_1$) pela matriz de pesos W₂ e, em seguida, aplicamos a função ReLU.

   • W₂ = $[0,3 \quad -0,5 \quad 0,1; 0 \quad 0,2 \quad -0,1]$
   • Soma ponderada para a camada de saída ($Z_2$):
     • Neurônio 1: $(0,3 \times 0) + (-0,5 \times 0,4) + (0,1 \times 0,4) = 0 - 0,2 + 0,04 = -0,16$
     • Neurônio 2: $(0 \times 0) + (0,2 \times 0,4) + (-0,1 \times 0,4) = 0 + 0,08 - 0,04 = 0,04$
   • $Z_2 = [-0,16; 0,04]$
   • Ativação da camada de saída ($A_2 = \text{ReLU}(Z_2)$):
     • Neurônio 1: $\max(0, -0,16) = 0$
     • Neurônio 2: $\max(0, 0,04) = 0,04$
   • $A_2 = [0; 0,04]$

• (A) Incorreta: O valor de 0,11 para o primeiro neurônio de saída sugere um erro de cálculo na soma ponderada da camada de saída, resultando em um valor positivo antes da ativação ReLU, ou uma interpretação equivocada dos pesos.
• (B) Correta: O cálculo passo a passo, aplicando corretamente a soma ponderada e a função de ativação ReLU em ambas as camadas (oculta e de saída), resulta no vetor $[0; 0,04]$.
• (C) Incorreta: Armadilha da banca: O erro mais comum aqui é esquecer de aplicar a função de ativação ReLU na camada de saída, que é explicitamente mencionada no problema como tendo ReLU. Se o valor de entrada para a ReLU é negativo (como -0,16), ela o transforma em zero.
• (D) Incorreta: Esta alternativa seria obtida se a função de ativação ReLU não fosse aplicada na camada oculta (resultando em $A_1 = [-0,3; 0,4; 0,4]$), e então a soma ponderada da camada de saída fosse calculada como $[-0,25; 0,04]$, parando antes de aplicar a ReLU na saída.
• (E) Incorreta: Esta alternativa indica múltiplos erros de cálculo ou interpretação dos pesos e sinais, não seguindo a lógica das operações da rede neural.