텍스트 임베딩부터 트랜스포머까지: 현대 LLM의 핵심 연산 흐름 종합 정리
자연어 처리의 기본 원리인 텍스트 임베딩, 원핫 인코딩의 한계, RNN과 트랜스포머의 구조적 차이, 그리고 Q, K, V 셀프 어텐션 행렬 연산까지 LLM의 핵심 개념을 체계적으로 정리합니다.
메뉴
태그
Transformer
공개 글 2개
Karpathy microgpt.py 해부: GPT 학습과 추론이 한 파일에서 돌아가는 방식
Andrej Karpathy의 microgpt.py를 한 파일짜리 GPT 실행체로 해부합니다. 문자 tokenizer, scalar autograd, Q/K/V attention, Adam update, autoregressive sampling이 어떻게 연결되는지 설명합니다.