MLOps
플랫폼 기반 · GPU
트러블슈팅 3
개발 기록 4
개념 19
2026-09-03Nsight 프로파일러 4편
- 2026-09-03[Nsight] Nsight 프로파일러: 1. 개념과 동작 원리
- 2026-09-03[Nsight] Nsight 프로파일러: 2. 실행 환경별 적용
- 2026-09-03[Nsight] Nsight 프로파일러: 3. nsys 수집과 리포트 읽기
- 2026-09-03[Nsight] Nsight 프로파일러: 4. ncu 수집과 커널 판정
- 시리즈 전체 4편 순서대로 보기
- 2026-08-30[GPU] 사례로 본 GPU 클러스터의 LLM 서빙 전략: 스펙 시트 읽기부터 토폴로지 실측까지
- 2026-08-21[GPU] SM 마이크로아키텍처: CUDA 코어·텐서 코어와 TFLOPS의 출처
- 2026-08-21[GPU] GPU 패키징과 노드 경계: die에서 랙까지
- 2026-07-29[Linux] 커널 메시지 - 2. 시스템 로그 저장소와 저널
- 2026-06-01[GPU] GPU ECC: 메모리 오류를 검출하고 정정하는 원리
- 2026-05-13[Linux] 공유 라이브러리(.so): soname 계약부터 동적 링커 탐색까지
- 2026-02-02[Container] 컨테이너 장치 주입: OCI Runtime Hook과 CDI
- 2026-02-01[Linux] 디바이스 드라이버: 3계층 구조
- 2026-01-26[Container] containerd 설정 파일 톺아 보기
2025-11-22GPU Sharing: Time Slicing 3편
- 2025-11-22[GPU] GPU 공유 메커니즘: 개요
- 2024-07-23[Kubernetes] NVIDIA Device Plugin 동작 원리
- 2024-07-21[Container] NVIDIA Container Runtime
스터디 24
2026-09-11LLM 서빙과 최적화 6 / 34편
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.2. GPU 스펙 읽기: 연산과 메모리
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.3. GPU 인터커넥트: 대역폭 계층과 GPU 선택
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.5. AI 가속기 지형과 메모리 벽
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.1. Trainium·Inferentia와 Neuron 스택
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.2.1. Trainium 노드그룹 구성
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.2.2. Trainium 디바이스가 쿠버네티스에 노출되는 경로
- 시리즈 전체 34편 순서대로 보기
2026-06-07GenAI on K8s 7 / 21편
- 2026-06-07[GenAI] GenAI on K8s: 10.1 - GPU 자원 개요와 K8s 할당 메커니즘
- 2026-06-07[GenAI] GenAI on K8s: 10.2 - GPU Utilization 이해와 DCGM
- 2026-06-07[GenAI] GenAI on K8s: 10.3 - GPU 파티셔닝: MIG
- 2026-06-07[GenAI] GenAI on K8s: 10.4 - GPU 공유: MPS와 Time-slicing
- 2026-06-07[GenAI] GenAI on K8s: 10.5 - GPU 스케일링·최적화와 NVIDIA NIM
- 2026-06-07[GenAI] GenAI on K8s: 10.6 - Ch10 실습 코드 분석: time-slicing과 Llama 워크로드
- 2026-06-07[GenAI] GenAI on K8s: 10.7 - Ch10 실습: time-slicing 배포·검증·트러블슈팅
- 시리즈 전체 21편 순서대로 보기
2026-04-09EKS GPU 트러블슈팅 11편
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 0. 개요
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 1. 실습 사전 준비 - EC2 Service Quota 증설
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 2. 실습 환경 구성 - 1. Terraform 코드
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 2. 실습 환경 구성 - 2. 배포 결과
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 2. 실습 환경 구성 - 3. GPU 노드 프로비저닝 결과
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 1. Device Plugin 비활성화
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 2. vLLM 기동 실패
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 3. 분산학습과 NCCL 통신 - 1. 배경 및 재현 실험 설계
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 3. 분산학습과 NCCL 통신 - 2. SG 차단 네트워크 장애 재현
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 4. 사례 탐구 - CUDA XID, Auto Mode, EFA
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 5. 결론
- 시리즈 전체 11편 순서대로 보기
플랫폼 기반 · 자원 관리·스케줄링
개념 11
- 2026-08-30[GPU] 사례로 본 GPU 클러스터의 LLM 서빙 전략: 스펙 시트 읽기부터 토폴로지 실측까지
- 2026-06-02[Distributed Training] 이기종 GPU 분산학습: 다른 기종을 한 DDP 잡에 섞으면 벌어지는 일
- 2025-11-22[GPU] GPU 공유 메커니즘: 개요
2025-11-05쿠버네티스 스케줄링 7편
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 0. 스케줄링 일반 개념과 쿠버네티스
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 1. 개념과 kube-scheduler 구조
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 2. 프로세스와 선점
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 3. 스케줄링 제어
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 4. 스케줄러 설정과 최적화
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 5. 파드 단위 스케줄링의 한계와 Gang Scheduling
- 2025-11-05[Kubernetes] 쿠버네티스 스케줄링 - 6. Extension Point 심화와 스케줄링 실패 진단
- 시리즈 전체 7편 순서대로 보기
- 2024-07-23[Kubernetes] NVIDIA Device Plugin 동작 원리
스터디 4
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.7. HPA와 스케일링 제약
2026-06-09GenAI on K8s 3 / 21편
ML 라이프사이클 · 데이터
ML 라이프사이클 · 학습
트러블슈팅 2
개발 기록 1
스터디 7
- 2026-07-30[Continual Learning] 하나의 모델, 여러 개의 태스크: 산업 AI는 어떻게 새로운 지식을 계속 배우는가
2026-06-09GenAI on K8s 3 / 21편
2026-04-09EKS GPU 트러블슈팅 3 / 11편
회고 1
- 2026-03-29NCCL 트러블슈팅 회고: MLOps 엔지니어가 바톤을 넘겨받기까지
ML 라이프사이클 · 실험·모델 관리
개발 기록 3
2026-09-24MLflow 시스템 메트릭 로깅 3편
ML 라이프사이클 · 파이프라인
개발 기록 1
스터디 4
2026-06-09GenAI on K8s 4 / 21편
- 2026-06-09[GenAI] GenAI on K8s: 11.1 - GenAIOps 개요와 GenAI 파이프라인 5단계
- 2026-06-09[GenAI] GenAI on K8s: 11.2 - Kubeflow 생태계: Notebooks, Katib, Pipelines, KServe
- 2026-06-09[GenAI] GenAI on K8s: 11.4 - Argo Workflows와 ML 파이프라인 오케스트레이션
- 2026-06-09[GenAI] GenAI on K8s: 11.6 - 도구 비교, Bias·Drift 운영, 평가 메트릭
- 시리즈 전체 21편 순서대로 보기
회고 1
- 2026-04-27MLOps와 GitOps: 어느 영역까지 적용할 수 있는가
ML 라이프사이클 · 서빙
개념 3
스터디 30
2026-09-19LLM 서빙과 최적화 27 / 34편
- 2026-08-05[LLM] LLM 서빙과 최적화 - 2.1. LLM과 트랜스포머 개요
- 2026-08-05[LLM] LLM 서빙과 최적화 - 2.7. Transformer: 출력층과 샘플링, 아키텍처 마무리
- 2026-08-14[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 1. 개요: 트랜스포머에서 서빙 시스템으로
- 2026-08-14[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 2. 코드 구조: 다섯 컴포넌트 해부
- 2026-08-14[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 3.1. 기본 생성 요청: 첫 기동과 낮은 처리량
- 2026-08-14[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 3.2. 배치 요청: 정적 배칭의 효과와 한계
- 2026-08-14[LLM] LLM 서빙과 최적화: 단일 모델 서빙 시스템 - 3.3. prefill과 decode: 생성 추론의 두 단계
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.1. 서빙 최적화의 중요성: 고객 경험·비용·확장성
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.2. GPU 스펙 읽기: 연산과 메모리
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.3. GPU 인터커넥트: 대역폭 계층과 GPU 선택
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.4. 모델 로딩·실행 병목: 메모리 용량과 산술 강도
- 2026-08-22[LLM] LLM 서빙과 최적화: LLM 서빙의 도전 과제 - 5.5. AI 가속기 지형과 메모리 벽
- 2026-08-22[LLM] LLM 서빙과 최적화: 서빙 최적화 기법 - 6.1. 개요: iteration에서 continuous batching까지
- 2026-08-29[LLM] LLM 서빙과 최적화: 고급 최적화 기법 - 7.1. 개요: 단일 GPU 너머의 네 기법
- 2026-08-29[LLM] LLM 서빙과 최적화: 고급 최적화 기법 - 7.2.1. speculative decoding 원리: 추측, 병렬 검증, 분포 보존
- 2026-08-29[LLM] LLM 서빙과 최적화: 고급 최적화 기법 - 7.2.2. speculative decoding 실습: 네 가지 변형 벤치마크와 측정 검증
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.0. 개요와 워크샵 아키텍처
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.1. Trainium·Inferentia와 Neuron 스택
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.2.1. Trainium 노드그룹 구성
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.3.1. init container 모델 컴파일과 S3 캐시
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.3.2. LoadBalancer 서비스 노출과 추론 테스트
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.4. ingress-nginx L7 노출과 자체 서명 인증서
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.5.1. vLLM 메트릭 수집과 서브패스 노출
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.5.2. 데이터소스 프로비저닝과 vLLM 대시보드
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.6. 부하 테스트와 llmperf 벤치마크
- 2026-09-11[LLM] LLM 서빙과 최적화: vLLM on Trainium 워크샵 - 8.7. HPA와 스케일링 제약
- 2026-09-19[Envoy] Envoy 프록시 구조와 확장: llm-d가 Envoy를 쓰는 방식
- 시리즈 전체 34편 순서대로 보기
2026-06-09GenAI on K8s 2 / 21편
- 2026-04-09[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 2. vLLM 기동 실패
ML 라이프사이클 · 모니터링
트러블슈팅 1
스터디 5
2026-09-11LLM 서빙과 최적화 2 / 34편
2026-06-09GenAI on K8s 3 / 21편