Publish to my blog (weekly)
학습률 최적화 | 머신러닝 단기집중과정 | Google Developers 경사하강법에서 배치 는 단일 반복에서 기울기를 계산하는 데 사용하는 예의 총 개수 데이터 세트에서 예를 무작위로 선택하면 (노이즈는 있겠지만) 훨씬 적은 데이터 세트로 중요한 평균값을 추정할 수 있습니다 확률적 경사하강법 ( SGD )은 이 아이디어를 더욱 확장한 것으로서, 반복당 하나의 예(배치 크기 1)만을 사용 미니 배치 확률적 경사하강법 ( 미니 배치 SGD )는 전체 배치 반복과 SGD 간의 절충안 손실 줄이기: 경사하강법 | 머신러닝 단기집중과정 | Google Developers 경사하강법 알고리즘은 기울기에 학습률 또는 보폭 이라 불리는 스칼라를 곱하여 다음 지점을 결정합니다. 모든 회귀 문제에는 골디락스 학습률이 있습니다....