Im heedy

이전 deep learning 클래스 코드 구현과 이어지는 내용이므로, 이전 글 먼저 확인하는 것이 좋습니다. https://heejins.tistory.com/36 float: # 각 행(관찰에 해당)에 softmax 함수 적용 softmax_preds = softmax(self.prediction, axis = 1) # 손실값이 불안정해지는 것을 막기 위해 softmax 함수의 출력값 범위를 제한 self.softmax_preds = np.clip(softmax_preds, self.eps, 1 - self.eps) # 실제 손실값 계산 수행 softmax_cross_entropy_loss = ( -1.0 * self.target * np.log(self.softmax_preds) - (1.0 - s..

계산 그래프 계산 과정을 그래프로 나타낸 것 1. 계산 그래프를 구성한다. 2. 그래프에서 계산을 왼쪽에서 오른쪽으로 진행한다. - 계산을 왼쪽에서 오른쪽으로 진행하는 단계: 순전파 - 오른쪽에서 왼쪽의 전파: 역전파 국소적 계산 - 국소적: 자신과 직접 관계된 작은 범위 - 국소적 계산은 결국 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만으로 결과를 출력할 수 있음. 연쇄법칙 여러함수로 구성된 합성 함수의 미분에 대한 성질 - 연쇄법칙은 합성 함수의 미분에 대한 성질이며, 합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있음. - 덧셈 노드의 역전파( z = x + y ) 역전파 때는 상류에서 정해진 미분에 1을 곱하여 하류로 흘림. 즉, 덧셈 노드의 역전파는 ..