[NCCL] NCCL Communicator 초기화 시점: Lazy vs Eager Init
같은 root cause가 Ray와 torchrun에서 다른 증상으로 나타난 이유에 대해 알아보자.
최근 포스트
[CS] SSH 접속 원리
매번 아무렇지 않게 접속하던 SSH의 동작 원리를 알아보자.
[EKS] EKS GPU 트러블슈팅: 5. 결론
EKS GPU 트러블슈팅 시리즈를 마무리하며, 실습에서 도출한 운영 체크리스트와 회고를 정리한다.
[EKS] EKS GPU 트러블슈팅: 4. 사례 탐구 - CUDA XID, Auto Mode, EFA
EKS 관리형 환경에서 재현할 수 없는 GPU 주제 3가지를, 문서 탐구와 실무 경험 매핑으로 정리해 보자.
[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 3. 분산학습과 NCCL 통신 - 2. SG 차단 네트워크 장애 재현
EKS node SG에서 ephemeral self-ref를 제거하면 분산학습이 어떻게 실패하는지 재현해 보자.
[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 3. 분산학습과 NCCL 통신 - 1. 배경 및 재현 실험 설계
분산학습의 원리, NCCL 통신 계층, EKS에서의 실험 설계까지 분산학습 장애 실험 설계의 배경에 대해 정리해보자.
[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 2. vLLM 기동 실패
A10G 24GB에 vLLM 14B-AWQ를 올려 vLLM 기동 실패 시나리오 4가지를 재현하고, kubectl logs –previous 중심의 디버깅 경로를 짚어 보자.
[EKS] EKS GPU 트러블슈팅: 3. 장애 재현 - 1. Device Plugin 비활성화
Device Plugin 비활성화로 GPU Pod Pending 장애를 재현하고, Pod에서 ClusterPolicy까지 단계별로 원인을 추적해 보자.
[EKS] EKS GPU 트러블슈팅: 2. 실습 환경 구성 - 3. GPU 노드 프로비저닝 결과
GPU 노드를 프로비저닝하고 GPU Operator를 설치한 뒤, Allocatable GPU와 nvidia-smi로 end-to-end 검증해 보자.
[EKS] EKS GPU 트러블슈팅: 2. 실습 환경 구성 - 2. 배포 결과
Terraform으로 GPU 트러블슈팅 실습 환경을 배포하고, 클러스터 기본 사항을 확인해 보자.
[EKS] EKS GPU 트러블슈팅: 2. 실습 환경 구성 - 1. Terraform 코드
GPU 트러블슈팅 실습을 위한 EKS 환경을 Terraform으로 구성해 보자.
[EKS] EKS GPU 트러블슈팅: 1. 실습 사전 준비 - EC2 Service Quota 증설
GPU 인스턴스를 띄우기 위한 EC2 Service Quota 확인과 증설 과정에 대해 알아 보자.