728x90 반응형 GPT6 [인공지능] BERT와 GPT로 배우는 LLM 핵심 원리: 트랜스포머의 세 얼굴(feat 어텐션(Attention)) 최근 AI 분야를 혁신하고 있는 거대 언어 모델(LLM)의 근간에는 트랜스포머(Transformer) 아키텍처가 있습니다. 이 글에서는 원본 트랜스포머 구조부터 BERT와 GPT에 이르기까지 트랜스포머의 세가지 주요 변형과 그 핵심 작동 원리를 깊이 있게 탐구해볼 예정입니다. 트랜스포머 아키텍처 : 인코더와 디코더의 역할트랜스포머는 본래 2017년 논문 Attention is All You Need에서 소개된 인코더-디코더 구조입니다. 하지만 LLM 시대에 들어서면서 이 구조는 목적에 따라 세 가지 형태로 진화했습니다. 아래 링크는 해당 논문의 링크입니다. https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1.. 2025. 11. 5. [Python (AI)] 파이썬의 한계를 넘어서 : 속도와 안정성을 모두 잡으려는 차세대 언어들(Rust & Julia) 파이썬은 개발 생산성과 뛰어난 생태계 덕분에 가장 인기 있는 언어 중 하나지만, 실행 속도 면에서는 늘 아쉬움을 남깁니다. 파이썬 인터프리터 방식과 동적 타이핑 특성으로 인해 느린 이유에 대한 자세한 내용은 이전에 포스팅한 글을 참고해주세요2025.09.26 - [Dev/Python(AI)] - [Python (AI)] 파이썬은 왜 느릴까? : 인터프리터 방식과 동적 타이핑 특성 등 샅샅이 파헤치기 [Python (AI)] 파이썬은 왜 느릴까? : 인터프리터 방식과 동적 타이핑 특성 등 샅샅이 파헤치기파이썬(Python)은 배우기 쉽고, 간결한 문법, 방대한 라이브러리로 인해 전 세계적으로 가장 사랑 받는 프로그래밍 언어 중 하나입니다. 하지만 파이썬을 사용하면서 종종 느리다는 평가를 듣게www.esta.. 2025. 10. 2. [데이터 분석] Python 데이터 분석의 핵심: Pandas 완벽 가이드 개요Pandas는 파이썬(Python) 기반의 데이터 조작 및 분석을 위한 강력한 라이브러리입니다. 데이터 과학과 머신러닝 분야에서 정형 데이터를 다루는 데 있어 거의 필수적인 도구로 꼽힙니다. 마치 스프레드시트 프로그램 처럼 데이터를 행과 열로 구조화하여 효율적으로 처리하고 분석할 수 있게 돕습니다. 주제 개념 및 용어 정리용어단어 뜻IT에서 쓰이는 용어 개념PandasPanel + Data(다차원 정형 데이터를 나타내는 경제학 용어) + S (복수형)의 합성어에서 유래구조화된 데이터의 조작과 분석을 위한 데이터 프레임 및 시리즈 객체를 제공하는 파이썬 라이브러리데이터를 구조화하여 효과적으로 처리하고 분석할 수 있도록 사용됨DataFrameData(데이터) + Frame(틀,구조)Pandas의 핵심 자.. 2025. 9. 30. [카카오 테크 부트캠프] 회고록 1주차 개요퇴사 후 카카오테크 부트캠프를 듣기로 결심하였다. 퇴사를 하고 하는 것이라 이전에 국비 지원 교육을 들을 때 보다 더 큰 결심을 하고 성실히 임하겠다는 마음을 갖고 입과하게 되었다.OT9월 8일 월요일 OT가 있었다. OT 내내 강조되었던 말은 왜? 였던 것 같다. 내가 이 코드를 왜 짰는지, 내가 왜 이걸 공부했는지, 내가 왜 이 기술을 사용했는지 등 내가 하는 모든 행위에 왜?라는 질문을 하여 작은 일이라도 목적성을 갖고 해야된다고 들었다. 짧은 회사 생활이였지만 이 말에 적극 공감이 되었다. 그냥 선임이 시켜서 고객이 요구해서 하는 것이 아니라 고객에게 더 나은 서비스를 위하여 예를 들어 속도를 높이기 위해 이 기술을 어떻게 해서 어떤 성과를 내었는지 평소 이걸 끊임없이 고민하여야 나중에 더 상.. 2025. 9. 14. MBR(BIOS) & GPT(UEFI) 개요 디스크 드라이브를 사용하기 전에, 파티션 작업을 해야한다. 드라이브에 파티션 데이터를 저장하는 두 가지 다른 방법은 MBR(마스터 부팅기록) 과 GPT(GUID 파티션 테이블)이다. MBR 컴퓨팅의 첫 시작부터 마스터 부팅 기록(MBR) 이라고 불리는 파티션 방법이 존재했다. 32비트 파티션 테이블 MBR 파티션은 드라이브의 시작에서 사용됐다. 드라이브의 각 파티션의 위치, 사이즈, 종류는 이 파티션 테이블에 목록화된다. 각각의 주용 MBR 파티션은 운영 체제를 포함하거나 주요 혹은 확장된 형태로 존재한다. * 오래된 디스크 유형 GPT 최근에 생긴 파티션 방법은 GUID 파티션 테이블(GPT)라고 불리고 MBR을 대체하기 위해 만들어졌다. 64 비트 파티션 테이블은 드라이브의 시작과 끝에서 GPT.. 2024. 2. 13. UEFI VS BIOS UEFI 란? UEFI(Unified Extensible Firmware Interface) 마우스 사용 가능 intel 에서 개발한 bios의 업그레이드 버전 부팅 속도가 BIOS보다 빠르다 Legacy Bios의 한계를 극복하고 안정성과 편의성을 높인 펌웨어 인터페이스 GPT 파일 형식 사용 BIOS 란? BIOS(Basic Input-Output System) 마우스 사용 불가 운영 체제와 하드웨어 사이의 기본 입출력을 담당하기 위해 저 수준의 소프트웨어와 드라이버로 이루어진 시스템 펌웨어를 말함 마더 보드(메인 보드)의 ROM에 내장된 프로그램으로서 키보드, 마우스, CPU, 하드 디스크(HDD)등의 하드웨어 장치를 초기화하여 제어하고 운영 체제(OS) 부팅에 바톤을 넘기는 역할을 하는 유틸리티 .. 2023. 12. 5. 이전 1 다음 728x90 반응형
