[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.5. AI 가속기 지형과 메모리 벽
NVIDIA 밖 AI 가속기 지형과 메모리 벽 완화 트렌드를 살펴보고 5장을 정리해 보자.
최근 포스트
[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.4. 모델 로딩·실행 병목: 메모리 용량과 산술 강도
모델 로딩의 메모리 용량 제약과 실행 단계의 병목을 산술 강도로 분석해 보자.
[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.3. GPU 인터커넥트: 대역폭 계층과 GPU 선택
GPU 인터커넥트의 대역폭 계층을 이해하고 모델 크기별 GPU 선택 기준을 세워 보자.
[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.2. GPU 스펙 읽기: 연산과 메모리
GPU 스펙의 연산·메모리 속성을 읽고 H100 SXM과 NVL을 비교해 보자.
[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.1. 서빙 최적화의 중요성: 고객 경험·비용·확장성
LLM 서빙 최적화가 고객 경험·비용·확장성을 어떻게 좌우하는지 알아 보자.
[Performance] Roofline 모델로 보는 LLM 서빙: 세 점으로 나눠 찍는 병목
Roofline 모델을 LLM 서빙 워크로드에 적용해 보자.
[Performance] Roofline 모델: 연산 강도로 판별하는 성능 병목
Roofline 모델에 대해 알아 보자.
[GPU] SM 마이크로아키텍처: CUDA 코어·텐서 코어와 TFLOPS의 출처
스펙표의 TFLOPS가 어디서 나오는지 SM 구조로 분해해 보자.
[GPU] GPU 패키징과 노드 경계: die에서 랙까지
GPU 인터커넥트의 경계가 무엇으로 정해지는지 die부터 랙까지 따라가 보자.
[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 3.3. prefill과 decode: 생성 추론의 두 단계
prefill과 decode 개념에 대해 알아 보자.
[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 1. 개요: 트랜스포머에서 서빙 시스템으로
트랜스포머 학습을 서빙과 잇고, 왜 프레임워크 없이 서빙 시스템을 직접 만드는지 그려 보자.
[GPU] 사례로 보는 GPU ECC 장애: VRAM DBE부터 row remapping까지
GPU ECC 발생 사례를 통해 VRAM DBE 발생부터 분산 학습 실패, row remapping과 리셋 복구까지 알아 보자.