인공지능 활용 - 6주차(Stochastic Gradient Descent)

Stochastic Gradient Descent(SGD)는 경사 하강법(Gradient Descent)의 한 종류로, 머신러닝에서 가중치(weight)와 편향(bias)을 최적화하는데 자주 사용되는 최적화 알고리즘이다.

 

기본적인 경사 하강법은 모든 훈련 데이터를 사용하여 가중치와 편향을 업데이트하는데 반면, SGD는 무작위로 선택된 샘플(mini-batch) 데이터 하나를 사용하여 가중치와 편향을 업데이트한다. 이렇게 하면 일부 샘플 데이터만 사용하기 때문에 전체 데이터를 사용하는 경우보다 더 빠르게 최적화를 수행할 수 있다.

 

이 파트에 대해서는 포스팅을 할까말까 고민을 많이 해봤는데 너무 그림 설명도 많고 코드도 복잡해서 포스팅하면 시간만 잡아먹고 강의노트를 보는 것보다 이해가 느릴 것 같아 패스하겠다.