앙상블: 여러 모델을 결합하여 예측 성능을 향상시키는 기법.
스태킹 : 앙상블 학습의 한 유형으로, 여러 개의 기본 모델들의 예측 결과를 기반으로 최종 예측을 수행하는 방법
부스팅: 약한 학습기를 순차적으로 학습시켜 강력한 앙상블 모델을 구성하는 기법.
- 에이다부스트는 약한 학습기를 사용하여 순차적으로 학습하고, 이전 모델의 오차에 가중치를 부여하여 다음 모델을 학 습시키는 방식으로 작동
보팅(Voting) : 앙상블 학습에서 여러 모델의 예측 결과를 결합하여 최종 예측을 만드는 방법, 주어진 입력에 대해 각 모델들이 독립적으로 예측을 수행하고, 보팅을 통해 이들 예측을 종합하여 최종 예측을 도출
하드보팅(Hard Voting): 각 모델의 예측 결과를 다수결로 결정하는 방식, 예를 들어, 세 개의 모델 중 두 개가 A로 예측하고 하나가 B로 예측한다면, 하드보팅은 A를 최종 예측으로 선택. 이진 분류 문제에서는 각 클래스의 라벨을 정수로 표현하여 다수결을 결정
소프트보팅(Soft Voting): 각 모델의 예측 확률을 평균하여 가중 평균을 구하는 방식. 예를 들어, 세 개의 모델이 각각 A를 예측하는 확률을 [0.7, 0.6, 0.8]로 반환한다면, 소프트보팅은 확률 값들을 평균하여 [0.7, 0.6, 0.8]의 평균인 0.7을 A의 예측 확률로 선택. 이러한 방식은 다중 클래스 분류 문제에서 자주 사용
가중치 보팅(Weighted Voting): 각 모델의 예측에 가중치를 부여하여 결합하는 방식. 가중치는 모델의 신뢰도나 성능에 따라 설정. 예를 들어, 높은 성능을 보이는 모델에 더 높은 가중치를 부여하여 해당 모델의 예측이 최종 예측에 더 큰 영향을 미치도록 할 수 있다..