Im heedy

가중치의 초깃값 신경망 학습에서 특히 중요한 것이 가중치의 초깃값임. 가중치의 초깃값을 무엇으로 설정하느냐가 신경망 학습의 성패가 가르는 일이 실제로도 자주 있음. 초깃값을 0으로 하면? 오버피팅을 억제해 범용 성능을 높이는 테크닉 : 가중치 감소 기법 가중치 감소는 가중치 매개변수의 값이 작아지도록 학습하는 방법. 가중치 값을 작게 하여 오버피팅이 일어나지 않게 함. 가중치의 초깃값을 최대한 작게 만들면 가중치를 작게 만들 수 있음. 그러나 초깃값을 0으로 하면 학습이 올바르게 이뤄지지 않음. 초깃값이 0이 되면 오차 역전파법에서 모든 가중치의 값이 똑같이 갱신됨. 은닉층의 활성화값 분포 은닉층의 활성화값(활성화 함수의 출력 데이터)의 분포를 관찰하면 중요한 정보를 얻을 수 있음. # 은닉층 활성화 값..

출력층의 오차 업데이트 각 노드 내부에서는 입력 값을 이용해 가중합을 만드는 단계와 이 가중합을 활성화 함수를 적용해 출력하는 단계로 구분함. 오차 역전파는 Y 값에서 거꾸로 거슬러 올라가며 가중치 W₂와 가중치 W₁이 더는 업데이트 되지 않을 때까지 반복하여 계산 먼저 W₂의 값 중 하나인 ω₃₁을 업데이트 하려면 다음 공식으로 계산해야함. 여기서 t는 한 단계 앞, t + 1은 현재 단계의 계산을 의미함. ω₃₁t는 한 단계 앞에서 이미 계산된 값을 의미하므로 여기서는 구할 필요가 없습니다. 따라서 우리가 실제로 구해야 하는 값은 입니다. 이는 오차 Y를 구하고 이를 ω₃₁에 대하여 편미분 하라는 뜻입니다. 오차 공식 오차 Yout 안에는 두 개(yo1, yo2)의 출력 값이 있습니다. 즉, 오차 Y..