역전파1 파이토치 CNN, RNN 개념과 역전파 MLP 연산¶ MLP(다층신경망)은 각 성분 $h_i$에 해당하는 가중치 행들이 $i$번마다 필요하다. $i$가 바뀌면 사용되는 가중치 행렬의 행도 바뀐다. 그래서 가중치 행렬의 구조가 굉장히 커지게 된다. (파라미터가 너무 커짐 Convolution 연산¶ 그에 반해 convolution 연산은 고정된 커널(Kernel)을 입력벡터 상에서 움직여가면서 선형모델과 합성함수가 적용되는 구조이다. 위 그림의 $k$는 커널의 사이즈를 의미한다. (k만큼 입력벡터에서 추출) MLP와 달리 $i$에 따라 가중치 행렬이 바뀌지 않음. Kernel 사이즈가 고정이니까 파라미터 사이즈를 많이 줄일 수 있다. 수학적 의미는, 신호(signal)를 커널을 이용해 국소적으로 증폭 또는 감소시켜서 정보를 필터링하는 것이다. .. 2022. 2. 23. 이전 1 다음 반응형