728x90 반응형 AI/LLM1 [인공지능] BERT와 GPT로 배우는 LLM 핵심 원리: 트랜스포머의 세 얼굴(feat 어텐션(Attention)) 최근 AI 분야를 혁신하고 있는 거대 언어 모델(LLM)의 근간에는 트랜스포머(Transformer) 아키텍처가 있습니다. 이 글에서는 원본 트랜스포머 구조부터 BERT와 GPT에 이르기까지 트랜스포머의 세가지 주요 변형과 그 핵심 작동 원리를 깊이 있게 탐구해볼 예정입니다. 트랜스포머 아키텍처 : 인코더와 디코더의 역할트랜스포머는 본래 2017년 논문 Attention is All You Need에서 소개된 인코더-디코더 구조입니다. 하지만 LLM 시대에 들어서면서 이 구조는 목적에 따라 세 가지 형태로 진화했습니다. 아래 링크는 해당 논문의 링크입니다. https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1.. 2025. 11. 5. 이전 1 다음 728x90 반응형
