[MLOps] 머신러닝 플랫폼 엔지니어링: 모델 서빙과 승격 - 10.7.2. 모델 승격의 기록 위치: 별칭과 GitOps

· 12 분 소요

MLOps › 서빙·MLOps › 실험·모델 관리·스터디

시리즈 · 머신러닝 플랫폼 엔지니어링: 모델 서빙과 승격 (2 / 2)·← 이전 편

서종호(가시다)님의 Machine Learning Platform Engineering Study 5주차 학습 내용을 기반으로 합니다.


TL;DR

  • MLflow는 고정된 네 단계가 경직되고 권한 제어를 걸 수 없다는 이유로 모델 스테이지를 폐기 예정으로 돌리고 별칭(alias)을 도입했다. 문서는 별칭 지정을 운영 코드와 따로 바꿀 수 있고 다음 실행이 새 버전을 가져간다고 설명하는데, 이 설명은 실행할 때마다 모델을 불러오는 코드 조각에 대한 것이다. 같은 문서가 별칭으로 띄우는 mlflow models serve 예는 반영 시점을 다루지 않는다(별칭의 설계 의도)
  • 상시 서빙이 별칭을 다시 읽는 때는 컨테이너가 시작할 때다. 그래서 10.7.1편에서 별칭 이동은 다음 재시작까지 반영되지 않아 레플리카 사이에 버전이 섞였고 그 변화는 Git과 Argo CD 어디에도 남지 않았다. 두 한계는 별칭 하나가 “이 버전을 써도 된다”는 승인과 “이 버전이 지금 떠 있다”는 배포 상태를 함께 뜻하는 데서 생긴다(상시 서빙에서의 한계)
  • 모델을 이미지 빌드 때 넣는 파이프라인 컴포넌트에 별칭으로 모델을 넘기는 방법을 검토하며 별칭 이동이 언제 반영되는지를 실험보다 먼저 따져 봤다. 그런 컴포넌트에서 별칭은 빌드할 때 해석되고 해석한 버전은 이미지에 남겨야 나중에 찾을 수 있다. 자동 라벨링처럼 출력이 다시 학습 데이터가 되는 컴포넌트라면 어느 모델 버전이 라벨을 만들었는지가 데이터 계보의 일부가 된다(실무에서 본 별칭 승격)
  • 서빙 이력을 남기는 방법은 누가 언제 바꿨는지, 지금 무엇이 떠 있는지, 왜 바꿨는지, 반영이 얼마나 느려지는지로 비교할 수 있다. 별칭을 서빙의 배포 수단에서 빼고 승인으로만 남기는 방법이 앞의 세 가지를 Git 저장소와 PR에 함께 남긴다. 매니페스트 버전 고정만 실험했고 나머지 방법은 시험하지 않았다(서빙 이력의 기록 방법)


들어가며

10.7.1편에서 mlflow models serve로 띄운 서빙에 MLflow 별칭을 옮겨 보니, 서빙 모델은 컨테이너가 다시 시작할 때에야 바뀌었고 그 변화는 Git과 Argo CD 어디에도 남지 않았다. 매니페스트에 버전 번호를 고정하면 기록은 돌아왔지만 반영이 느려지고 MLflow 별칭과 서빙이 서로 다른 버전을 가리킬 수 있었다. 그렇다면 MLflow 문서가 설명하는 별칭의 쓰임과 요청을 받으려고 계속 떠 있는 서버로 하는 상시 서빙은 어디서 어긋날까. 별칭을 계속 쓰면서 서빙 이력을 남기려면 무엇을 더해야 할까.

MLOps와 GitOps 글에서는 Git에 원하는 상태(desired state)가 있느냐를 기준으로, 서빙처럼 계속 떠 있는 서비스는 Argo CD의 영역에, 학습과 배치 추론처럼 한 번 돌고 끝나는 작업은 워크플로 엔진의 영역에 두었다. 그때는 서빙의 원하는 상태에 모델 버전이 들어가는지를 따지지 않았는데, 이 글이 그 부분을 다룬다. 실험보다 먼저 회사에서 학습한 모델을 다른 파이프라인으로 넘기는 방법을 검토하며 별칭 이동이 언제 반영되는지를 따져 봤고 그 경위는 실무에서 본 별칭 승격에 쓴다.


별칭의 설계 의도

MLflow가 별칭을 도입하며 내건 목적은 모델 배포를 운영 코드와 분리하는 것이다. 문서가 그 효과를 설명하며 드는 예는 실행할 때마다 모델을 새로 불러오는 코드다. 같은 문서는 mlflow models serve로 별칭을 읽는 상시 서빙도 예로 들지만 별칭을 옮긴 뒤 떠 있는 서버가 언제 바뀌는지는 설명하지 않는다.

스테이지에서 별칭으로의 전환

MLflow 모델 레지스트리에는 원래 모델 버전마다 None, Staging, Production, Archived 가운데 하나를 붙이는 스테이지(stage)가 있었다. 서빙 코드는 models:/<이름>/Production처럼 스테이지를 가리켰고 승격은 버전의 스테이지를 바꾸는 일이었다. MLflow는 2.9부터 스테이지를 폐기 예정으로 돌렸다. 이를 알린 RFC(#10336)는 스테이지가 MLOps 흐름을 표현하기에 경직돼 있다는 피드백이 오래 쌓였다는 점을 이유로 든다. 별칭은 한 버전에 여러 개를 붙일 수 있고 UI와 API로 쉽게 다른 버전에 다시 붙일 수 있어서 모델 배포를 운영 시스템 코드와 분리한다고 설명하며 환경 구분은 dev, staging, prod처럼 환경마다 등록 모델을 따로 두고 각각 권한을 거는 방식으로 옮긴다. 레지스트리 문서도 스테이지에는 권한 제어를 걸 수 없었다는 점을 이전 이유로 든다(Migrating from Stages).

별칭이 바꾼 것은 승격의 표현 방식이다. 스테이지는 MLflow가 정한 네 이름 가운데 하나를 버전에 붙이는 일이었지만 별칭은 팀이 고른 이름으로 버전 하나를 가리키는 포인터라서 같은 등록 모델 안에 champion, challenger 같은 이름을 동시에 둘 수 있다. 두 방식의 API 차이와 champion, challenger 관례는 GenAI on K8s 11.3편에 정리돼 있다.

문서가 설명하는 소비 방식

별칭을 어떻게 쓰라는 것인지는 문서가 든 예에서 드러난다. 레지스트리 문서는 스테이지에서 옮겨 가는 방법으로 운영 코드의 모델 URI models:/regression_model/Production을 models:/prod.ml_team.regression_model@champion으로 바꾸는 예를 든다(Migrating from Stages). 모델을 불러오는 절에서는 load_model("models:/<이름>@champion") 코드 조각을 보이고 별칭 지정은 운영 코드와 따로 바꿀 수 있으며 별칭을 새 버전에 다시 붙이면 이 코드 조각을 다음에 실행할 때 새 모델 버전을 자동으로 가져간다고 설명한다(Fetching an MLflow Model). 이 설명대로라면 별칭은 승격을 코드 배포와 분리해 레지스트리 안에서 끝내는 도구이고 그것이 성립하려면 소비하는 쪽이 별칭을 버전 번호로 다시 바꿔야 한다. 10.7.1편에서는 이 순간을 별칭 해석 시점이라고 불렀는데, 문서의 코드 조각에서는 “다음 실행”이 곧 다음 해석이다.

같은 문서의 서빙 절은 mlflow models serve -m "models:/sk-learn-random-forest-reg-model@champion"을 운영 모델을 서빙하는 예로 든다(Serving an MLflow Model). 이 명령으로 띄운 서버가 별칭을 언제 다시 읽는지는 서빙 절에도 코드 조각 쪽 설명에도 없다. 문서가 반영 시점을 설명한 것은 실행할 때마다 불러오는 코드뿐이고 상시 서빙은 예로만 등장한다.

이 설명이 그대로 맞는 곳이 있다. run이 시작할 때 load_model로 별칭을 읽는 배치 추론이나 평가 파이프라인이라면 승격이 다음 run에 반영되고 해석한 버전을 run 기록에 남기면 어느 모델로 돌았는지도 run마다 남는다. 새 후보를 평가해 승격 여부를 정하는 챔피언 비교 게이트도 그 시점의 @champion을 해석해 비교 기준으로 쓰므로, 별칭이 가리키는 버전이 언제나 지금의 기준이어야 하는 쓰임과 맞는다. MLOps와 GitOps 글에서 Argo CD의 영역 밖으로 둔 배치 추론이 문서의 설명이 가장 잘 맞는 곳인 셈인데, 한 번 돌고 끝나는 작업은 원하는 상태를 Git에 둘 수 없는 대신 실행할 때마다 별칭을 새로 읽기 때문이다. 반면 상시 서버는 다음 실행이 언제 오는지 스스로 정하지 않는다.


상시 서빙에서의 한계

상시 서버에게 다음 실행은 컨테이너 시작이다. 10.7.1편의 결과는 이 문장에서 나오는 두 한계로 묶인다.

컨테이너 시작 시 해석과 버전 혼재

파드 재시작 실험에서 서빙 모델은 컨테이너가 새로 시작할 때 바뀌었다. 운영에서 문제가 되는 것은 반영 시점을 아무도 정하지 않는다는 점이다. 승격한 사람이 서빙을 다시 띄우지 않으면 새 버전은 OOMKilled나 노드 장애로 다시 뜬 파드와 스케일 아웃으로 새로 뜬 파드에만 들어가고 그동안 Service 뒤에서는 같은 요청에 두 버전이 번갈아 답한다. 버전을 나누는 비율은 장애와 스케일링이 정하니, 의도해서 나눈 A/B 테스트와 달리 아무도 그 비율을 관리하지 않는다. 롤백도 같아서 별칭을 되돌리는 것만으로는 떠 있는 파드가 돌아오지 않았다.

Kubernetes 문서도 이미지 태그에서 같은 구조를 설명한다. 태그가 가리키는 코드가 레지스트리에서 바뀌면 옛 코드와 새 코드를 돌리는 파드가 섞일 수 있고 digest를 지정하면 컨테이너를 시작할 때마다 같은 코드를 돌린다는 것이다(Images). 상시 서빙이 읽는 별칭은 모델에 붙은, 옮겨 갈 수 있는 태그다.

Git과 Argo CD 밖의 배포

기록 위치 실험에서 서빙 버전이 바뀌는 동안 Git에는 커밋이 없었고 Argo CD는 Synced와 Healthy였으며 동기화 이력에도 항목이 없었다. MLflow DB는 별칭의 현재 값만 덮어써서 이전 값과 바꾼 시각도 없었다. GitOps 글에서 본 Synced인데 학습이 시작되지 않는 상황과 같은 구조라고 생각한다. 그때는 Git과 클러스터가 같다는 신호가 의도한 학습이 돌고 있다는 뜻이 아니었고 이번에는 같은 신호가 서빙 모델이 바뀌었다는 것을 알려 주지 못했다. Argo CD가 맞추는 원하는 상태에는 @prod라는 문자열만 있고 그 문자열이 가리키는 버전은 원하는 상태 밖에 있기 때문이다.

GitOps에서 Git은 무엇이 언제 배포됐는지를 되짚는 기록이기도 하다. 별칭으로 승격하면 서빙 모델의 배포가 그 기록 밖에서 일어나서, 이 모델이 언제부터 서빙됐는지를 물으면 Git과 Argo CD에는 답할 곳이 없다. 실험에서는 MLflow 서버 접근 로그에 서빙 파드가 시작하며 받은 버전이 IP별로 찍혔지만 로그를 따로 모아 두지 않으면 서버가 다시 뜰 때 사라지고 파드 이름도 없다.

승인과 배포의 구분

두 한계는 별칭 하나가 승인과 배포를 함께 뜻하는 데서 생긴다고 본다. 별칭 prod가 v2를 가리킨다는 것은 “v2를 운영에 써도 된다”는 승인일 수도 있고 “v2가 지금 서빙되고 있다”는 배포 상태일 수도 있다. 실행마다 해석하는 소비자에게는 두 뜻이 같은데, 승인하는 순간 다음 실행이 그 버전을 쓰기 때문이다. 상시 서버에서는 승인과 배포 사이에 컨테이너 시작이라는 간격이 생기고 그 간격 동안 별칭은 승인으로는 맞지만 배포 상태로는 틀린 값이 된다.

버전 고정 실험에서 매니페스트에 버전을 고정하자 서빙 버전은 커밋으로만 바뀌었고 revert 뒤에는 서빙이 v1인데 별칭은 v2인 상태가 남았다. 별칭이 더 이상 배포 상태를 뜻하지 않게 된 것인데, 이것을 결함보다는 두 뜻을 나눈 결과로 읽는 편이 맞다고 생각한다. 별칭은 모델을 평가한 사람이 레지스트리에서 내리는 승인으로 두고 배포 상태는 Git과 Argo CD가 맡으면, MLflow 화면의 prod는 운영에 써도 된다고 승인한 버전이고 지금 떠 있는 버전은 매니페스트에서 보면 된다. 남는 문제는 승인과 배포가 어긋난 상태를 누가 언제 맞추느냐인데, 이 문제는 서빙 이력의 기록 방법에서 다룬다.


실무에서 본 별칭 승격

별칭을 옮기면 언제 반영되는지는 실험을 하기 전에 회사 일에서 먼저 만난 질문이다. 대상은 모델을 이미지에 넣어 쓰는 파이프라인 컴포넌트였는데, 거기서는 해석 시점이 상시 서빙과 또 달랐다.

빌드 시 해석과 이미지 고정

학습한 모델을 다른 파이프라인의 컴포넌트로 넘기는 지점을 모델 레지스트리의 별칭(champion)으로 정하는 안을 검토했다. 처음에는 실행할 때 champion을 부르면 그 시점의 champion 모델을 가져간다고 이해했다. 문서가 설명하는 소비 방식의 코드 조각과 같은 이해다.

그런데 그 컴포넌트는 모델 파일을 이미지를 빌드할 때 받아 이미지 안에 넣고 있었다. 해석 시점이 10.7.1편의 표에 없는 네 번째, 곧 빌드할 때였던 셈이다. 그러면 champion을 옮겨도 이미지를 다시 빌드하고 그 이미지로 실행하기 전까지는 반영되지 않는다. 그래서 이런 컴포넌트라면 별칭은 빌드할 때 해석되고 해석한 버전을 이미지에 남겨야 나중에 어느 모델로 돌았는지 찾을 수 있다고 이해를 고쳤다.

빌드 때 모델을 넣으면 같은 이미지로 돌린 실행은 언제나 같은 모델을 쓰고 별칭을 옮긴 결과는 재빌드를 거쳐야 실행에 반영된다. 실행할 때 별칭을 해석하는 컴포넌트였다면 같은 이미지로 돌린 두 실행이 서로 다른 모델을 쓸 수 있다. 빌드 시 해석에서는 별칭이 다음 빌드에 쓸 버전을 고르는 승인이고 이미지가 그 실행이 실제로 쓴 모델이라서, 승인과 배포의 구분이 구조 안에 이미 나뉘어 있다.

자동 라벨링 출력과 데이터 계보

출력이 다시 학습 데이터가 되는 컴포넌트(예: 자동 라벨링)라면 버전 기록이 빠졌을 때 잃는 것이 달라진다. 4.1.1편에서 그린 데이터 루프에서 자동 라벨은 사람 라벨링과 학습으로 이어지는 단계였다. 자동 라벨링 컴포넌트가 만든 라벨은 다시 학습 데이터가 되니, 어느 모델 버전이 그 라벨을 만들었는지는 운영 이력이 아니라 데이터 계보(data lineage), 곧 데이터가 어디서 어떤 처리를 거쳐 만들어졌는지의 기록에 속한다. 서빙에서 버전 기록이 빠지면 언제부터 이 모델이 답했는지를 찾기 어려운 정도로 끝나지만 자동 라벨링에서 빠지면 그 라벨로 학습한 모델들이 어느 모델의 판단 위에서 학습했는지 알 수 없게 된다.

빌드 때 해석한 버전을 이미지에 남기면 실행 기록의 이미지 버전에서 모델 버전까지 거슬러 올라갈 수 있다. 9.1.1편에서는 이름은 그대로인데 그 아래 내용이 바뀌는 일을 이름과 내용의 어긋남이라고 불렀다. 실행할 때 해석하는 별칭이 그런 이름이고 모델 파일을 이름만으로 주고받을 때도 그 파일이 어느 학습 run에서 나왔는지는 파일 이름에 담기지 않아서 따로 기록하지 않으면 남지 않는다.

이미지 digest 고정과의 비교

같은 배포 안의 컨테이너 이미지와 나란히 놓으면 어긋남이 더 분명해진다. 앞에서 인용한 Kubernetes 문서는 운영에서 :latest를 피하고 v1.42.0 같은 의미 있는 태그나 digest를 지정하라고 하는데, 실행 중인 버전을 추적하기 어렵고 롤백이 어렵다는 이유다(Images). 이미지는 digest로 고정하면서 모델만 별칭으로 가리키면 한 배포 안에서 코드는 고정되고 모델은 옮겨 갈 수 있는 이름을 따라간다. 코드의 변경은 커밋과 PR로 되짚을 수 있지만 모델의 변경은 그렇지 않다.

이미지에 쓰는 기준을 모델에도 쓰면, 서빙이 읽는 것은 버전 번호이고 별칭은 그 번호를 고르는 승인이 된다. 이미지로 치면 버전 번호는 digest, 별칭은 태그에 해당한다.


서빙 이력의 기록 방법

별칭을 쓰면서 서빙 이력을 남기는 방법은 여럿이라, 무엇이 남아야 하는지부터 정하면 비교하기 쉽다. 나중에 서빙 모델의 변경을 거슬러 찾을 때 필요한 것은 누가 언제 바꿨는지, 지금 무엇이 떠 있는지, 왜 바꿨는지이고 여기에 이 기록을 남기느라 반영이 얼마나 느려지는지를 더해 네 기준으로 본다. 이 기준으로 보면 별칭을 서빙의 배포 수단에서 빼고 승인으로만 남기는 두 방법, 곧 매니페스트 버전 고정과 별칭 승인과 Git 배포의 분리가 앞의 세 가지를 Git 저장소와 PR에 함께 남긴다. 서빙이 계속 별칭을 읽어야 한다면 나머지 방법으로 지금 떠 있는 버전과 승격 경위를 따로 드러내야 한다.

아래 표의 칸은 각 기준을 어디서 확인할 수 있는지이고 “남지 않음”은 그 방법만으로는 그 기준이 남지 않는다는 뜻이다. 마지막 열은 10.7.1편에서 실험했는지다.

방법 누가, 언제 지금 떠 있는 버전 왜 반영 속도 실험
매니페스트 버전 고정 Git 커밋 매니페스트, Argo CD 동기화 이력 커밋 메시지 Argo CD 동기화 뒤 롤아웃 실험함
별칭 승인과 Git 배포의 분리 PR 병합(별칭을 옮긴 사람은 남지 않음) 매니페스트, Argo CD 동기화 이력 PR 본문 버전 고정에 PR 병합 대기가 더해짐 시험하지 않음
해석 버전의 산출물 기록 빌드 기록(해석한 시각) 이미지 label, 시작 로그 남지 않음 재빌드나 재시작 시험하지 않음
서빙 버전의 노출 남지 않음 응답, 메트릭 레이블 남지 않음 별칭 해석 시점 그대로 시험하지 않음
승격 작업의 기록 승격 run 남지 않음 run의 평가 결과 별칭 해석 시점 그대로 시험하지 않음

매니페스트 버전 고정

버전 고정 실험에서 확인한 방법으로, 서빙 모델은 커밋으로만 바뀌고 커밋과 동기화 이력이 하나씩 대응했으며 버전이 섞이는 구간은 롤아웃 동안으로 줄었다. 별칭을 서빙에서 완전히 빼는 기준선이라 다른 방법을 비교하는 출발점이 된다.

비용은 셋이다. 먼저 반영 시간이다. 기본 폴링에서는 커밋부터 배포까지 3분 44초가 걸렸고(1회 관측) refresh로 당기면 1초였으니, Git 저장소의 웹훅으로 Argo CD가 바로 다시 읽게 하면 줄일 수 있다(웹훅 방식은 시험하지 않았다). 다음은 커밋하는 사람이다. 승격할 때마다 누군가 매니페스트를 고쳐 커밋해야 하는데, 모델을 평가하는 ML 엔지니어가 배포 저장소까지 다뤄야 한다면 그것도 비용이다. 마지막으로 MLflow의 별칭과 서빙이 서로 다른 버전을 가리킬 수 있어 둘을 맞추는 일이 따로 남는다.

별칭 승인과 Git 배포의 분리

커밋을 누가 하느냐와 별칭과 서빙이 어긋나는 문제를 줄이려면 별칭 이동이 매니페스트 변경 PR을 만들게 하면 된다. MLflow는 3.3부터 오픈소스 버전에 웹훅을 두고 별칭 이벤트(model_version_alias.created, model_version_alias.deleted)를 보낸다(Webhooks, 3.3.0 릴리스 노트). 별칭을 다른 버전으로 옮길 때도 created가 나가고 payload에는 모델 이름, 별칭, 버전이 담긴다(deleted에는 버전이 없다). 문서는 이 기능을 실험 단계로 두고 SQL 백엔드에서만 지원한다고 적는다. 이 이벤트를 받는 쪽이 별칭이 가리키는 버전으로 매니페스트를 고치는 PR을 만들면, ML 엔지니어는 레지스트리에서 별칭만 옮기고 배포는 PR 병합으로 일어난다. 별칭은 승인, 병합은 배포로 뜻이 나뉜다. 다만 payload에 별칭을 옮긴 사람이 없어서(types.py#L152-L173) PR에는 승인 이벤트가 온 시각과 누가 언제 병합했는지가 남는다.

컨테이너 이미지 쪽에는 이미 같은 구조가 있다. Argo CD Image Updater는 새 이미지를 찾았을 때 값을 되쓰는 방식(write-back method)으로 클러스터의 Application을 직접 고치는 argocd와 바뀐 값을 Git에 커밋하는 git을 두는데, 앞 방식은 Application을 지우고 다시 만들거나 Application을 Git으로 관리하면 바뀐 값이 사라지고 뒤 방식은 Git에 남는다(Update methods). 별칭을 태그로, 버전 번호를 digest로 보면 같은 구조다. 정해야 할 것도 남는다. 별칭을 되돌리거나 지웠을 때 어떤 PR을 만들지, PR이 병합되기 전까지 별칭과 서빙이 어긋난 상태를 어디에 보일지다.

해석 버전의 산출물 기록

별칭을 빌드나 배포 때 해석하는 쪽이라면 해석한 결과를 그 산출물에 붙여 두는 방법이 있다. 빌드할 때 해석한 버전을 이미지 label 같은 산출물 메타데이터에 남기면 실행 기록에 남은 이미지 버전에서 모델 버전까지 거슬러 올라갈 수 있다. 무엇이 언제 만들어졌는지는 남지만 왜 바꿨는지는 남지 않아서 승격 경위는 다른 방법으로 채워야 한다. 시작할 때 해석하는 상시 서빙이라면 해석한 버전을 시작 로그에 남기는 것이 같은 역할을 한다.

서빙 버전의 노출

서빙이 계속 별칭을 읽어야 한다면 적어도 지금 떠 있는 버전은 보이게 해야 한다. 10.7.1편의 모델은 응답값이 곧 버전인 상수 모델이라 파드마다 물어보면 버전이 보였지만 실제 모델은 서빙이 스스로 밝히지 않으면 알 수 없다. 서빙 코드나 그 앞의 래퍼가 해석한 버전을 응답 필드나 헤더에 넣고 요청 메트릭에 model_version 레이블을 붙이면 Service 뒤에서 버전이 섞인 상태가 대시보드에 드러난다. 실험 1처럼 파드 하나만 새 버전을 받은 상태도 레이블별 요청 비율로 보인다. 다만 누가 왜 바꿨는지는 여전히 남지 않는다.

승격 작업의 기록

마지막은 별칭을 옮기는 일 자체를 기록이 남는 작업으로 만드는 방법이다. 사람이 UI나 API로 별칭을 직접 옮기지 않고 승격 파이프라인의 run만 옮기게 하면, run에 비교한 지표와 평가셋, 옮기기 전후의 버전이 남는다. 4.1.1편에서 모델 승격 구간은 도구보다 기준의 문제라고 썼는데, 승격 run은 그 기준을 코드로 남기는 자리이기도 하다. 직접 변경을 막으려면 별칭을 옮기는 권한을 승격 파이프라인의 계정에만 주어야 한다. MLflow 3.17.1의 인증 기능은 별칭 설정을 그 등록 모델의 수정 권한(EDIT 이상)으로 검사하고 별칭마다 권한을 따로 두지 않아서(auth/__init__.py#L2192-L2219), 사람 계정이 별칭을 옮기지 못하게 하려면 그 등록 모델의 수정 권한을 승격 파이프라인 계정에만 줘야 한다. 소스로만 확인했고 이 설정은 시험하지 않았다. 서빙이 별칭을 읽는 한 언제 반영되는지는 여전히 컨테이너 시작에 달려 있다.


정리

책 10장의 서빙 예제를 따라가다 GenAI on K8s 11.3편에서 별칭을 옮기면 서빙되는 모델이 바뀐다고 정리한 문장이 상시 서버에도 맞는지 궁금해졌다. 실험과 사례를 소비 방식별로 모으면 아래와 같다. “쓰인 버전이 남는 곳”은 어느 모델 버전이 실제로 쓰였는지 나중에 찾을 수 있는 곳이다.

소비 방식 해석 시점 별칭의 뜻 쓰인 버전이 남는 곳
배치 추론, 평가, 챔피언 비교 게이트 실행할 때 승인이자 배포 실행 기록(해석한 버전을 남길 때)
상시 서빙(@prod를 읽는 서버) 컨테이너가 시작할 때 승인이자 배포. 둘 사이에 간격이 생긴다 Git, Argo CD, MLflow DB에는 남지 않음(MLflow 서버 접근 로그에 파드 IP별 버전)
상시 서빙(매니페스트 버전 고정) 배포할 때(커밋) 승인 Git 커밋, Argo CD 동기화 이력
이미지에 모델을 넣는 파이프라인 컴포넌트 빌드할 때 승인 이미지 label(해석한 버전을 남길 때), 실행 기록의 이미지 버전

표에서 쓰인 버전이 Git과 Argo CD, MLflow DB 어디에도 남지 않는 것은 별칭이 승인과 배포를 함께 맡은 상시 서빙뿐이다. 매니페스트에 버전 번호를 넣으면 그 번호가 MLOps와 GitOps 글에서 말한 원하는 상태 안으로 들어오고 별칭은 번호를 고르는 승인으로 남는다. 서빙이 별칭을 계속 읽는다면 해석한 버전이라도 어딘가에 남겨야 별칭을 옮기는 일이 기록 없는 배포로 끝나지 않는다.


참고 링크




hit count

댓글남기기