Chapter 11 · Interactive Pipeline

11. 과적합과 드롭아웃 (Dropout)

훈련할 때마다 뉴런의 30%를 무작위로 전원을 꺼버려 특정 노드에 대한 의존증을 치료하는 일반화

💡
비전공자를 위한 '아하!' 한 줄 원리
에이스 한 명만 일하고 나머지가 놀면 그 사람 결근 시 망하겠죠? 일부러 직원 몇 명을 랜덤으로 쉬게 해서 모든 뉴런이 스스로 일하도록 단련시킵니다.
1단계: 전체 입력
💡 전체 뉴런 활성화
모든 노드가 데이터를 받아 신호를 방출하는 상태
➔
2단계: 드롭아웃
🎲 30% 랜덤 차단 (OFF)
주사위를 굴려 30%의 뉴런 전원을 0으로 강제 차단
➔
3단계: 일반화 신호
🛡️ 강건한 신경망 완성
소수 노드에 의존하지 않는 건강한 신호 전달
1단계 진행 중: 데이터 입력 대기
모든 노드가 데이터를 받아 신호를 방출하는 상태