옵티마이저 종류 및 정리
옵티마이저 : 모델이 학습 데이터로부터 최적의 가중치와 편향을 찾는 역할
파란 라인 : 방향을 중심, 연산은 그레디언트
분홍 라인 : 보폭을 중심, 연산은 그레디언트에 제곱
경사 하강법 (GD): 기울기를 따라 내려가며 손실 함수를 최소화하는 방법.
확률적 경사 하강법 (SGD): 랜덤한 데이터 샘플로 기울기를 계산하여 빠르게 학습하는 방법.
미니 배치 경사 하강법 (Mini-batch GD): 미니 배치로 기울기를 계산하고 업데이트하여 효율적으로 학습하는 방법.
모멘텀 (Momentum): 관성을 이용하여 이전 업데이트 방향을 기억하고 진동을 줄이며 학습하는 방법.
Adagrid : 가본 것은 더 세밀하게 보폭을 줄이고 안가본 곳은 빠르게 탐색
RMSprop: 최신 기울기에 높은 가중치를 주고, 과거 기울기를 지수 이동 평균하여 학습률을 조절하는 방법
아담 (Adam): 모멘텀과 RMSprop을 결합하여 학습률을 조절하고 빠르고 효과적인 최적화를 수행하는 방법.
CNN 의 이미지 처리 및 분류 장점
1. 지역적 특징 학습: CNN은 이미지 내 지역적 특징을 학습하는 데 강점이 있다. 합성곱 레이어와 풀링 레이어를 사용하여 이미지의 주요 특징을 추출하고 이를 통해 이미지의 지역적인 패턴과 구조를 인식.
2. 파라미터 공유: CNN은 가중치를 공유함으로써 학습해야 할 파라미터 수를 줄인다. 이는 모델을 효율적으로 만들어주며, 데이터가 적은 상황에서도 잘 작동하도록 도와줌.
3. 이미지 크기에 불변: CNN은 풀링 레이어를 사용하여 이미지의 크기를 줄이는 과정을 거친다. 따라서 입력 이미지의 크기에 불변하게 작동하며, 다양한 크기의 이미지를 처리할 수 있다.
4. 계층적 학습: CNN은 여러 개의 레이어를 쌓아올려서 이미지의 복잡한 특징을 계층적으로 학습한다. 초기 레이어에서는 단순한 선, 모서리 등을 학습하고, 이후 레이어에서는 더 복잡한 패턴과 개체를 인식한다.
5. 전이 학습 가능: 사전에 학습된 CNN 모델을 다른 이미지 문제에 적용하여 전이 학습(Transfer Learning)을 수행할 수 있다. 이미 학습된 모델의 가중치를 초기값으로 사용하여 새로운 작업에 빠르게 적용하고, 적은 데이터로도 좋은 결과를 얻을 수 있다.