반응형 SGD1 딥러닝 학습 관련 기술들 가중치 매개변수의 최적값을 탐색하는 최적화방법 가중치 매개변수 초깃값 하이퍼파라미터 설정방법 가중치 감소, 드롭아웃등 정규화 방법 배치정규화 위와 같은걸 할 예정이다. 매개변수의 갱신 신경망 학습의 목적: 손실 함수의 값을 가능한 한 낮추는 매개변수를 찾는것 이것은 매개변수의 최적 값을 찾는 문제이며, 이러한 문제를 푸는것을 최적화 라고 한다. 여태까지 최적화를 확률적 경사 하강법(SGD)인 매개변수의 기울기를 구해서 기울어진 방향으로 매개변수값을 갱신했다. 이것과 다른방법을 알아보자 확률적 경사 하강법 SGD W는 갱신할 가중치 매개변수이고 dL/dW는 W에 대한 손실함수의 기울기이다. η은 학습률인데 실제로는 0.01이나 0.001과 같은 값을 미리 정해서 사용한다. ←는 우변의 값으로 좌변의 값을 .. 2021. 5. 17. 이전 1 다음 반응형
