[Deep Learning] learning rate decay, learning rate scheduler
Learning Rate Decay 기존의 learning rate가 높은 경우 loss 값을 빠르게 내릴 수는 있지만, 오차가 0인 지점을 벗어날 수 있고, 낮은 경우는 최적의 학습이 가능하지만 너무 오랜 시간이 걸리게 됩니다. 따라서 정적인 learning rate로 학습을 하는 것이 아닌, epoch마다 동적으로 learning rate를 변화시켜 최적의 학습을 하도록 합니다. tf.keras.optimizers.schedules.CosineDecay tf.keras.optimizers.schedules.CosineDecay( initial_learning_rate, decay_steps, alpha=0.0, name=None ) initial_learning_rate: 초기 lr decay_ste..