Im heedy

이전 deep learning 클래스 코드 구현과 이어지는 내용이므로, 이전 글 먼저 확인하는 것이 좋습니다. https://heejins.tistory.com/36 float: # 각 행(관찰에 해당)에 softmax 함수 적용 softmax_preds = softmax(self.prediction, axis = 1) # 손실값이 불안정해지는 것을 막기 위해 softmax 함수의 출력값 범위를 제한 self.softmax_preds = np.clip(softmax_preds, self.eps, 1 - self.eps) # 실제 손실값 계산 수행 softmax_cross_entropy_loss = ( -1.0 * self.target * np.log(self.softmax_preds) - (1.0 - s..

import numpy as np from numpy import ndarray from typing import * def assert_same_shape(array: ndarray, array_grad: ndarray): assert array.shape == array_grad.shape, \ f""" 두 ndarray의 모양이 같아야 하는데, 첫 번째 ndarray의 모양은 {tuple(array_grad.shape)}이고, 두 번째 ndarray의 모양은 {typle(array.shape)}이다. """ return None - 신경망 구성 요소: 연산 Operation 클래스 class Operation(object): """ 신경망 모델의 연산 역할을 하는 기반 클래스 """ def __in..

매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는 것 이것은 매개변수의 최적값을 찾는 문제이며, 이러한 문제를 푸는 것을 최적화라 함. 확률적 경사 하강법(SGD) class SGD: def __init__(self, lr = 0.01): self.lr = lr def update(self, params, grads): for key in params.keys(): params[key] -= self.lr * grads[key] optimizer는 '최적화를 행하는 자'라는 뜻 매개변수 갱신은 optimizer가 책임지고 수행하니 optimizer에 매개변수와 기울기 정보만 넘겨주면 됨. SGD의 단점 함수의 그래프와 등고선 [SGD에 의한 최적화 갱신 경로: 최솟값..