Chapter 17 · Interactive Pipeline

17. GPT와 BERT (어텐션 마스킹 비교)

빈칸 앞뒤를 다 보고 맞추는 수능 빈칸채우기(BERT) vs 미래 단어를 가리고 다음 말을 잇는 작가(GPT)

💡
비전공자를 위한 '아하!' 한 줄 원리
BERT는 문장 전체를 다 훑어보며 [MASK] 단어를 맞추는 '이해/분류 천재'이고, GPT는 오른쪽 미래 단어를 가려놓고 말을 술술 지어내는 '생성 천재'입니다.
BERT (인코더)
↔️ 양방향 문맥 마스크
앞뒤 단어를 모두 참조하여 문장의 참뜻과 감성을 분류
➔
GPT (디코더)
🔒 인과적 미래 마스크
뒷 단어를 못 보게 가린 채 다음 단어를 순차 생성
➔
3단계: 활용 배포
🚀 맞춤형 AI 서비스
검색/요약에는 BERT, 챗봇/창작에는 GPT 파이프라인 활용
1단계 진행 중: 데이터 입력 대기
앞뒤 단어를 모두 참조하여 문장의 참뜻과 감성을 분류