과적합 방지를 위한 방법들
드롭 아웃
인공신경망에서 학습 과정 중에 일부 뉴런을 무작위로 비활성화하여 과적합을 방지하는 기법
드롭 아웃 사용으로 과적합 방지가 되는 이유
- 앙상블 사용 효과
- 노드 제거로 모델 복장성 감소
드롭 아웃의 한계
-정보 손실
-계산 비용
-하이퍼 파라미터 설정 어려움
-시간적 일관성 손실
라벨 스무딩
분류 문제에서 정확한 라벨에 대한 신뢰도를 높이고 모델의 과적합을 방지하기 위해 실제 라벨에 작은 오차를 추가하는 기법
라벨 스무딩의 장점
- 모델의 일반화 능력 향상
- 모델의 불확실성 학습
- 과적합 완화
라벨 스무딩 단점
- 라벨 정보 손실
- 성능 평가 지표 변화
-라벨 스무딩 파라미터 선택의 어려움
- 클래스 불균형 처리의 한계
MixUp Training
데이터 샘플을 선형 결합하여 학습 데이터를 보강하는 기술로, 모델의 일반화 능력을 향상시키고 데이터 부족 문제를 완화하는 방법
믹스업의 장점
- 일반화 성능 향상
- 과적합 감소
- 데이터 다양성 증가
믹스업의 단점
- 클래스 간 구분이 어려울 수 있음
- 이미지 내 세부 정보 손실