[LLM] LLM 서빙과 최적화 - 2.5. Transformer: 셀프 어텐션 계산 해부
Q·K·V 생성부터 멀티헤드 분할, 스케일링·마스킹·softmax, V 가중합과 출력 사영까지 — 셀프 어텐션의 실제 계산을 수식과 shape 변화로 하나씩 뜯어 보자.
최근 포스트
[LLM] LLM 서빙과 최적화 - 2.4. Transformer: 트랜스포머 블록과 셀프 어텐션 레이어
트랜스포머 블록의 첫 서브레이어인 멀티헤드 셀프 어텐션에 대해 알아 보자.
[LLM] LLM 서빙과 최적화 - 2.3. Transformer: 임베딩
트랜스포머의 입구인 임베딩이 텍스트를 벡터로 바꾸는 과정을 줌인해 보자.
[LLM] LLM 서빙과 최적화 - 2.2. Transformer: Transformer Explainer
Transformer Explainer를 이용해 브라우저에서 GPT-2를 이용해 트랜스포머 내부를 들여다 보자.
[LLM] LLM 서빙과 최적화 - 2.1. LLM과 트랜스포머 개요
LLM 서빙을 이해하기 위한 언어 모델의 발전, 트랜스포머 아키텍처 개요에 대해 알아 보자.
[LLM] LLM 서빙과 최적화 - 1. AI 개요: 가중치, 행렬, 그리고 학습과 GPU
가중치는 어떻게 학습되며, 그 숫자들이 모델의 판단 능력을 어떻게 결정하는지 알아보자.
[Continual Learning] 하나의 모델, 여러 개의 태스크: 산업 AI는 어떻게 새로운 지식을 계속 배우는가
Superb AI 세미나에서 들은 연속 학습 방법론을 정리하고, MLOps 플랫폼 엔지니어가 배워야 할 점에 대해 생각해 보자.
[Linux] 커널 메시지 - 2. 시스템 로그 저장소와 저널
커널 메시지를 보관하는 링버퍼의 사본은 누가 어떻게 보존하는지 알아 보자.
[Linux] 커널 메시지 - 1. printk와 커널 링버퍼
커널 메시지는 누가 어디에 쓰고, dmesg는 무엇을 읽는지에 대해 알아 보자.
[Python] python -m과 모듈 실행: 어느 파이썬의 무엇이 실행되는가
CI 스크립트에서 만난 python3 -m pytest를 계기로, 파이썬 실행 방식에 따라 sys.path와 import, 인터프리터 선택이 어떻게 달라지는지 정리하고 직접 확인해 보자.
[Distributed Training] 이기종 GPU 분산학습: 다른 기종을 한 DDP 잡에 섞으면 벌어지는 일
서로 다른 기종의 GPU를 한 DDP 잡에 섞으면 어떻게 되는지 직접 확인하고, 동기 데이터 병렬에서 이기종 GPU가 손해인 이유를 정리해 보자.
[GPU] GPU ECC: 메모리 오류를 검출하고 정정하는 원리
ECC가 무엇이고 GPU에서 어떻게 동작하는지, 왜 중요한지 짚어 보자.