728x90 반응형 전체 글368 [인공지능] BERT와 GPT로 배우는 LLM 핵심 원리: 트랜스포머의 세 얼굴(feat 어텐션(Attention)) 최근 AI 분야를 혁신하고 있는 거대 언어 모델(LLM)의 근간에는 트랜스포머(Transformer) 아키텍처가 있습니다. 이 글에서는 원본 트랜스포머 구조부터 BERT와 GPT에 이르기까지 트랜스포머의 세가지 주요 변형과 그 핵심 작동 원리를 깊이 있게 탐구해볼 예정입니다. 트랜스포머 아키텍처 : 인코더와 디코더의 역할트랜스포머는 본래 2017년 논문 Attention is All You Need에서 소개된 인코더-디코더 구조입니다. 하지만 LLM 시대에 들어서면서 이 구조는 목적에 따라 세 가지 형태로 진화했습니다. 아래 링크는 해당 논문의 링크입니다. https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1.. 2025. 11. 5. [인공지능] 컨볼루션과 푸리에 해석: 딥러닝이 패턴을 찾는 원리 CNN은 이미지, 음성 등 반복되는 패턴(주기성)이 있는 데이터를 처리하기 위해 고안되었으며, 컨볼루션과 푸리에 해석은 이 패턴을 추출하는 두 가지 핵심적인 도구입니다. CNN과 컨볼루션 : 데이터의 순서를 활용하는 법CNN의 합성곱(Convolution) 연산은 데이터를 지역적으로 (Locally) 분석하며, 데이터가 가진 공간적/시간적 순서를 보존하고 활용하는 역할을 합니다. FC 레이어의 한계 극복(구조 보존)FC(Fully Connected)레이어는 입력 데이터를 1차원으로 Flatten(평탄화)하여 인접성(지역성)이라는 중요한 구조적 정보를 파괴합니다.컨볼루션의 역할 : CNN은 필터(커널)를 사용하여 입력 데이터(f) 위를 훑으며 인접한 부분만(패치)을 분석합니다. 이로써 시간적 순서나 공간적.. 2025. 11. 3. [인공지능] ResNet 전이 학습 : 에포크 설정이 성능에 미치는 영향 분석 딥러닝 모델을 활용한 이미지 분류 프로젝트에서 전이 학습(Transfer Learning)은 필수적인 기법입니다. 특히 ImageNet으로 사전 훈련된 ResNet 모델을 새로운 데이터셋에 적용할 때, 학습의 효율성과 최종 성능을 결정하는 핵심 요소 중 하나가 바로 에포크(Epoch) 설정입니다. 이번 글에서는 전이 학습의 2단계 전략에서 에포크를 다르게 설정했을 때 어떤 결과가 예측되는지 분석하고, 안정적으로 높은 성능을 얻기 위한 최적의 전략을 제시합니다. 전이 학습의 2단계 전략 효율적인 ResNet 기반 전이 학습은 일반적으로 두 단계로 나뉩니다. 특징 추출(Feature Extraction)목표 : 사전 훈련된 ResNet Base Model은 동결하고, 새로 추가된 최종 분류기(Classifi.. 2025. 11. 2. [카카오테크 부트 캠프] 회고록 7주차 7주차가 마무리 되었습니다. 이번 주차에는 사전 훈련 모델, ResNet, VGG, 전이 학습, Fine Tuning 등 모델을 처음부터 학습 시키는 것이 아닌 기존에 존재하는 모델을 활용하는 기술들을 배웠습니다. 이전에는 'Fine Tuning' 정도만 들어보고 '나에게 맞게 모델을 학습한다'는 막연한 개념으로만 알고 있었는데, 이번 주차를 통해 ResNet, VGG, 전이 학습 등 나머지 개념들을 처음 접하며 모델 활용에 대한 시야가 크게 넓어졌습니다. 특히, 모델을 처음부터 학습시키지 않고 기존의 지식을 활용한다는 접근 방식이 프로젝트에 어떻게 접목될 수 있을지 구체적인 아이디어를 얻는 계기가 되었습니다. 아직 진도를 따라가는 데 버거움을 느끼고 있지만, 점차적으로 배운 내용들이 눈에 들어오기 시.. 2025. 11. 1. [인공지능] 머신 러닝의 핵심 열쇠 : 베이즈 정리(Bayes' Theorem) 데이터를 다루고 머신러닝을 공부하는 사람이라면 반드시 알아야할 핵심 개념 베이즈 정리에 대해 이야기해보려 합니다. 머신러닝 교재의 첫 장을 장식하는 베이즈 정리는 단순히 이론을 넘어 실제 복잡한 문제를 푸는 강력한 도구가 됩니다. 왜 베이즈 정리가 중요할까?대부분의 기계 학습(Machine Learning) 방법론들은 어떤 가설을 설정하고, 데이터라는 관찰 결과를 토대로 그 가설을 지속적으로 업데이트해 나가는 과정입니다. 베이즈 정리는 이러한 사후확률(Posterior Probability)의 업데이트 과정을 수학적으로 명쾌하게 설명해줍니다. 간단하면서도 강력함 : 베이즈 정리에 기반한 베이즈 분류기(Bayes Classifier)는 다른 복잡한 기계 학습 방법론들에 비해 알고리즘이 상대적으로 간단하지만.. 2025. 11. 1. [인공지능] 전이 학습(Transfer Learning) 완벽 가이드: CNN 기반 Fine-tuning 및 Feature Extraction 분석 전이 학습(Transfer Learning)에 대해 깊이 있게 알아보겠습니다. 특히 이미지 인식 분야에서 강력한 성능을 자랑하는 CNN(Convolution Neural Network)을 기반으로 전이 학습의 다양한 전략을 코드와 함께 분석해 보겠습니다. 전이 학습이란?전이 학습은 사전에 훈련된 모델이 갖고 있는 지식(가중치)을 그대로 가져와 새로운 문제에 적용함으로써 학습 시간을 단축하고 성능을 향상 시키는 머신러닝 기법입니다. 사용 이유 : 대규모 데이터셋(ImageNet)으로 학습된 모델의 광범위한 특징 추출 능력을 활용하여, 더 적은 데이터와 시간으로도 새로운 문제에 대해 높은 성능을 달성하기 위함입니다. CNN과의 관계 : CNN은 여러 층을 거치며 저수준(예지, 텍스처)부터 고수준(형태, 객체.. 2025. 10. 31. 이전 1 2 3 4 ··· 62 다음 728x90 반응형
