밑바닥부터 시작하는 딥러닝 6: 토크나이저부터 추론 모델까지 직접 만드는 LLM

처음부터 끝까지 구현하며 배우는 LLM의 원리

챗GPT 같은 대규모 언어 모델(LLM)이 일상에 깊이 들어온 지금, 그 작동 원리를 직접 구현해 본 사람은 많지 않습니다. 『밑바닥부터 시작하는 딥러닝』 여섯 번째 편은 토크나이저, 모델, 학습이라는 LLM의 핵심 세 단계를 완성된 라이브러리에 기대지 않고 밑바닥부터 구현합니다. CodeBot, StoryBot, WebBot 세 프로젝트를 거치며 BPE 토크나이저, 트랜스포머 어텐션, 사전 학습부터 SFT·GRPO·DPO 강화 학습까지 LLM 개발의 전 과정을 코드로 직접 재현합니다. 파이썬, 파이토치 기초와 딥러닝에 대한 기본 이해가 있다면, 이 책과 함께 나만의 LLM을 밑바닥부터 키워보세요.

 『밑바닥부터 시작하는 딥러닝』 시리즈 최신작, 

블랙박스 속 LLM의 구조를 완전한 코드로 지배하다

딥러닝의 기초부터 프레임워크 개발까지 수많은 엔지니어의 뼈대가 되어 준 『밑바닥부터 시작하는 딥러닝』 시리즈가 여섯 번째 이야기로 돌아왔습니다. 전 세계를 뒤흔든 LLM의 시대, 글로벌 빅테크가 제공하는 API를 단순히 가져다 쓰는 개발자와 언어 모델의 내부 메커니즘을 완벽히 통제하는 엔지니어의 차이는 결국 ‘바닥부터 쌓아 올린 기본기’에서 나뉩니다. 이 책은 외부 프레임워크나 기존 토크나이저 라이브러리에 일절 의존하지 않고, 순수 파이썬과 파이토치만으로 BPE 토크나이저 구축부터 디코더 전용 트랜스포머 아키텍처, SFT(지도 파인튜닝) 그리고 최신 GRPO/DPO 강화 학습까지 LLM의 핵심 본질을 한 땀 한 땀 직접 코드로 구현하며 파헤칩니다.

소형 파이썬 코드 생성 챗봇(CodeBot)을 시작으로 창의적인 이야기꾼(StoryBot) 그리고 웹 크롤링 기반의 대규모 모델(WebBot)로 확장되는 단계별 로드맵을 따라가다 보면, 추상적인 수식과 논문 속에 가려져 있던 LLM의 블랙박스가 명쾌하게 해제되는 기술적 쾌감을 경험하게 됩니다. RoPE, SwiGLU, KV 캐시, FlashAttention 등 현대적 GPT 최적화 기법은 물론, DeepSeek-R1이 증명한 최신 추론 모델의 핵심인 GRPO 강화 학습까지 내 손으로 직접 완성해 보세요. ‘믿고 보는 밑시딥’이라는 명성에 걸맞게, API 명세서 뒤에 숨은 블랙박스를 넘어 앞서가는 AI 엔지니어로 도약하기 위한 가장 확실하고 강력한 징검다리가 되어 줄 것입니다.