Im heedy

기울기 a를 너무 크게 잡거나 너무 작게 잡으면 오차가 커짐. 오차와 기울기 사이에는 상관관계가 있음. 오차가 가장 작은 점은 기울기 a가 m에 위치해 있을때 이므로, m으로 이동시키는 과정이 필요함. 미분 기울기를 이용한 경사하강법(gradient descent)를 통해 오차를 비교하여 가장 작은 방향으로 이동시켜야함. 최솟값 m에서의 순간 기울기는 x축과 평행한 선, 즉 기울기가 0임. - '미분값이 0인 지점'을 찾아 오차를 가장 적게 만들어야 함. a₁에서 미분을 구한다. 구해진 기울기의 반대 방향(기울기가 +면 음의 방향, -면 양의 방향)으로 얼마간 이동시킨 a₂에서 미분을 구한다. 위에서 구한 미분 값이 0이 아니면 위 과정을 반복한다. 경사 하강법은 이렇게 반복적으로 기울기 a를 변화시켜서..

Learning Rate Decay 기존의 learning rate가 높은 경우 loss 값을 빠르게 내릴 수는 있지만, 오차가 0인 지점을 벗어날 수 있고, 낮은 경우는 최적의 학습이 가능하지만 너무 오랜 시간이 걸리게 됩니다. 따라서 정적인 learning rate로 학습을 하는 것이 아닌, epoch마다 동적으로 learning rate를 변화시켜 최적의 학습을 하도록 합니다. tf.keras.optimizers.schedules.CosineDecay tf.keras.optimizers.schedules.CosineDecay( initial_learning_rate, decay_steps, alpha=0.0, name=None ) initial_learning_rate: 초기 lr decay_ste..