Publish to my blog (weekly)

• 학습률 최적화  |  머신러닝 단기집중과정  |  Google Developers

  • 경사하강법에서 배치는 단일 반복에서 기울기를 계산하는 데 사용하는 예의 총 개수
  • 데이터 세트에서 예를 무작위로 선택하면 (노이즈는 있겠지만) 훨씬 적은 데이터 세트로 중요한 평균값을 추정할 수 있습니다
  • 확률적 경사하강법(SGD)은 이 아이디어를 더욱 확장한 것으로서, 반복당 하나의 예(배치 크기 1)만을 사용
  • 미니 배치 확률적 경사하강법(미니 배치 SGD)는 전체 배치 반복과 SGD 간의 절충안

• 손실 줄이기: 경사하강법  |  머신러닝 단기집중과정  |  Google Developers

  • 경사하강법 알고리즘은 기울기에 학습률 또는 보폭이라 불리는 스칼라를 곱하여 다음 지점을 결정합니다.
  • 모든 회귀 문제에는 골디락스 학습률이 있습니다. 골디락스 값은 손실 함수가 얼마나 평탄한지 여부와 관련 있습니다. 손실 함수의 기울기가 작다면 더 큰 학습률을 시도해 볼 수 있습니다. 이렇게 하면 작은 기울기를 보완하고 더 큰 보폭을 만들어 낼 수 있습니다.

• 손실 줄이기: 반복 방식  |  머신러닝 단기집중과정  |  Google Developers

  • 볼록 문제에는 기울기가 정확하게 0인 지점인 최소값이 하나만 존재합니다. 이 최소값에서 손실 함수가 수렴합니다.
  • 경사하강법 알고리즘은 시작점에서 손실 곡선의 기울기를 계산합니다. 간단히 설명하자면 기울기는 편미분의 벡터로서, 어느 방향이 '더 정확한지' 혹은 '더 부정확한지' 알려줍니다.
  • 손실 함수 곡선의 다음 지점을 결정하기 위해 경사하강법 알고리즘은 다음과 같이 기울기의 크기의 일부를 시작점에 더합니다.

• 손실 줄이기  |  머신러닝 단기집중과정  |  Google Developers

  • 선형 회귀 문제에서는 초기값이 별로 중요하지 않습니다.
  • 마침내 다이어그램의 '매개변수 업데이트 계산' 과정에 도달했습니다. 이 지점에서 머신러닝 시스템은 손실 함수의 값을 검토하여 $b$와 $w_1$의 새로운 값을 생성합니다.
  • 보통 전체 손실이 변하지 않거나 매우 느리게 변할 때까지 계속 반복합니다. 이때 모델이 수렴했다고 말합니다.

• ML로 전환하기: 학습 및 손실  |  머신러닝 단기집중과정  |  Google Developers

  • 손실은 잘못된 예측에 대한 벌점
  • 손실은 한 가지 예에서 모델의 예측이 얼마나 잘못되었는지를 나타내는 수
  • 모델 학습의 목표는 모든 예에서 평균적으로 작은 손실을 갖는 가중치와 편향의 집합을 찾는 것
  • 제곱 손실(또는 L₂ 손실)이라는 손실 함수를 사용
  • 평균 제곱 오차(MSE)는 예시당 평균 제곱 손실입니다. MSE를 계산하려면 개별 예의 모든 제곱 손실을 합한 다음 예의 수로 나눕니다.

• ML로 전환하기: 학습 및 손실  |  머신러닝 단기집중과정  |  Google Developers

  • 모델을 학습시킨다는 것은 단순히 말하자면 라벨이 있는 데이터로부터 올바른 가중치와 편향값을 학습(결정)하는 것입니다.
  • 경험적 위험 최소화

Posted from Diigo. The rest of my favorite links are here.