728x90
반응형
딥러닝 모델을 활용한 이미지 분류 프로젝트에서 전이 학습(Transfer Learning)은 필수적인 기법입니다. 특히 ImageNet으로 사전 훈련된 ResNet 모델을 새로운 데이터셋에 적용할 때, 학습의 효율성과 최종 성능을 결정하는 핵심 요소 중 하나가 바로 에포크(Epoch) 설정입니다. 이번 글에서는 전이 학습의 2단계 전략에서 에포크를 다르게 설정했을 때 어떤 결과가 예측되는지 분석하고, 안정적으로 높은 성능을 얻기 위한 최적의 전략을 제시합니다.
전이 학습의 2단계 전략
효율적인 ResNet 기반 전이 학습은 일반적으로 두 단계로 나뉩니다.
특징 추출(Feature Extraction)
- 목표 : 사전 훈련된 ResNet Base Model은 동결하고, 새로 추가된 최종 분류기(Classifier) 레이어만 학습시켜 새로운 데이터셋에 빠르게 적응시킵니다.
- 특징 : 학습률을 비교적 높게 설정합니다.
미세 조정(Fine-Tuning)
- 목표 : Base Model의 동결을 해제하고, 전체 모델을 타켓 데이터셋에 맞게 미세하게 조정합니다.
- 특징 : 기존 가중치 훼손을 막기 위해 매우 낮은 학습률을 사용합니다.
에포크 조합에 따른 성능 예측 비교
다음은 Phase 1 (특징 추출, FE)과 Phase 2 (미세 조정, FT)의 에포크를 다양한 조합으로 설정했을 때 예상되는 결과를 분석한 표입니다.
| 케이스 | FE 에포크 | FT 에코크 | 주된 결과 예측 | 핵심 위험 요소 |
| A | 25(높음) | 5(낮음) | 분류기 과적합으로 일반화 성능 저하. 미세 조정 불충분 | Phase 1에서의 과적합 |
| B | 10(적당) | 10(적당) | 가장 안정적이고 높은 성능 달성 예상 최적의 균형 | 없음 |
| C | 5(낮음) | 25(높음) | Base Model의 과적합 및 재앙적 망각 위험 증가 | Phase2에서의 과도한 학습 |
| D | 30(높음) | 30(높음) | 심각한 과적합 및 일반화 능력 최저. 학습 효율 최악 | 양쪽 단계 모두의 과적합 |
케이스별 상세 분석 : 과적합과 효율성의 균형
Case A(FE 25 / FT 5) : 분류기 과적합의 덫
Phase 1에서 25회라는 긴 에포크를 사용하면, 파라미터 수가 적은 분류기 레이어가 훈련 데이터에 지나치게 맞춰집니다. 즉, 미세 조정이 시작되기도 전에 모델의 일반화 능력이 손상될 수 있습니다. Phase2의 짧은 학습(5회)으로는 이 문제를 해결하기 어렵습니다.
Case B(FE 10/FT 10) : 최적의 안정성 및 효율성
이 조합이 가장 권장되는 전략입니다.
- Phase 1 (10회) : 분류기가 충분히 수렴하되, 과적합에 도달하기 전에 멈춥니다.
- Phase 2 (10회) : 낮은 학습률 하에서 10회는 Base Model의 가중치를 타겟 데이터에 맞게 미세하게 교정하기에 충분하며, ImageNet에서 배운 일반적인 지식을 잃어버리는 재앙적 망각을 방지합니다.
Case C & D(FT 에포크가 높을 때) : 재앙적 망각과 과적합
Case C(FT 25)와 D (FT 30)는 미세 조정 단계를 지나치게 길게 가져갑니다.
- 재앙적 망각(Catastrophic Forgetting) : 낮은 학습률이라 할지라도, 오랜 시간 동안 반복 학습하면 모델이 기존에 학습했던 일반적인 특징(ImageNet 지식)을 잃어버리고 새로운 데이터에만 특화되면서 성능이 오히려 하락할 수 있습니다.
- 비효율성 : 성능은 이미 초반에 정점을 찍었을 가능성이 높습니다. 이후의 긴 학습 시간은 컴퓨팅 자원 낭비일 뿐, 검증 손실을 증가시켜 일반화 성능을 저하시키는 결과를 낳습니다.
에포크 설정 최적 전략
전이 학습에서 에포크를 설정할 때는 다음 원칙을 따르는 것이 좋습니다.
- Phase 1(특징 추출)은 짧고 빠르게 : 새로운 분류기가 빠르게 수렴할 수 있도록 10회 내외로 설정하여 과적합을 방지합니다.
- Phase 2 (미세 조정)는 신중하게 : 낮은 학습률의 효과를 보기 위해 Phase 1 과 비슷하거나 약간 적은 횟수(5 ~ 10회)를 설정하는 것이 일반적입니다.
- 조기 종료(Early Stopping)활용 : 가장 확실한 방법은 에포크를 충분히 주고, 검증 손실(Validation Loss)이 더 이상 감소하지 않고 증가하기 시작하는 지점에서 자동으로 학습을 멈추는 조기 종료 콜백을 사용하는 것입니다.
결과적으로, Case B와 같이 균형 잡힌 에포크 설정(예 : 10회/10회)이 컴퓨팅 자원을 효율적으로 사용하면서 가장 안정적이고 높은 성능을 달성할 수 있는 전략입니다.
반응형
'AI > 인공지능(CNN)' 카테고리의 다른 글
| [인공지능] 머신 러닝의 핵심 열쇠 : 베이즈 정리(Bayes' Theorem) (0) | 2025.11.01 |
|---|---|
| [인공지능] 전이 학습(Transfer Learning) 완벽 가이드: CNN 기반 Fine-tuning 및 Feature Extraction 분석 (0) | 2025.10.31 |
| [인공지능] 잔차 신경망(ResNet)으로 기울기 소실 문제 해결 (0) | 2025.10.30 |
| [인공지능] 딥러닝 객체 검출의 혁신, Yolo(You Only Look Once) (0) | 2025.10.29 |
| [인공지능] 딥러닝 핵심 : CNN(Convolution Neural Network) (0) | 2025.10.28 |
