[MLflow] 머신러닝 플랫폼 엔지니어링: 모델 서빙과 승격 - 10.7.1. 모델 별칭과 서빙 버전의 변경 시점

· 17 분 소요

MLOps › 서빙·MLOps › 실험·모델 관리·스터디

시리즈 · 머신러닝 플랫폼 엔지니어링: 모델 서빙과 승격 (1 / 2)·다음 편 →

서종호(가시다)님의 Machine Learning Platform Engineering Study 5주차 학습 내용을 기반으로 합니다.


TL;DR

  • MLflow 모델 레지스트리의 별칭(alias)은 등록된 모델의 버전 하나를 가리키는 이름이라, 별칭을 옮기면 MLflow DB의 값 하나만 바뀐다. 서빙 모델은 서빙 쪽이 models:/<이름>@<별칭>을 버전으로 다시 해석해야 바뀌고 그 해석은 서빙 방식에 따라 호출할 때, 컨테이너가 시작할 때, 배포할 때 일어난다(별칭 해석 시점)
  • 책 10.7절의 mlflow models serve는 컨테이너가 시작할 때 한 번 해석한다. 별칭을 옮겨도 떠 있던 파드는 옛 버전으로 답했고 파드 삭제나 컨테이너 재시작으로 새로 시작한 컨테이너만 새 버전을 받아 Service 뒤에서 두 버전이 섞였다. 별칭을 되돌린 롤백도 다음 재시작 전까지는 반영되지 않았다(실험 1)
  • 서빙 버전이 v1에서 혼재, v2, 다시 혼재로 바뀌는 동안 Git 커밋은 없었고 Argo CD는 Synced와 Healthy를 유지했다. 동기화 이력에도 이 구간의 항목이 없었고 MLflow DB는 별칭의 현재 값 한 행만 덮어써 누가 언제 옮겼는지 남기지 않았다. 서빙 파드가 받은 버전은 MLflow 서버 접근 로그에만 파드 IP와 함께 찍혔다(실험 2)
  • 매니페스트에 버전 번호를 적고 승격을 커밋으로 하자 별칭 이동과 파드 재시작은 서빙에 영향을 주지 않았다. 커밋마다 Argo CD 동기화 이력이 한 줄씩 생겼고 버전이 섞인 구간은 롤아웃 동안으로 줄었으며 git revert로 되돌릴 수 있었다(실험 3)
  • 대신 반영이 느려지고 운영 버전을 가리키는 곳이 둘이 된다. Argo CD 기본 폴링으로는 커밋부터 배포까지 3분 44초가 걸렸고(1회 관측) 그동안 Argo CD는 이전 커밋 기준으로 Synced였다. revert 뒤에는 MLflow 별칭이 v2, 서빙이 v1을 가리켰다(실험 3)


들어가며

MLflow 모델 레지스트리의 별칭을 옮기면 서빙하는 모델은 언제 바뀔까. GenAI on K8s 11.3편에서 별칭을 정리하며 “alias를 옮긴다 = 포인터가 가리키는 버전이 바뀐다 = 서빙되는 모델이 바뀐다”고 썼는데, 그 예제는 서빙 코드가 load_model()을 부를 때마다 별칭을 다시 읽는 경우였다. 이번 주차에 읽은 책 10장의 서빙은 그렇지 않다. 10.6절의 BentoML 서비스는 시작할 때 MLflow에서 prod 별칭의 모델을 불러오고 10.7절의 mlflow models serve -m models:/...@prod도 서버를 띄울 때 모델을 받는다. 이렇게 요청을 받으려고 계속 떠 있는 서버로 하는 서빙, 곧 상시 서빙이라면 별칭을 옮긴 순간과 서빙 모델이 바뀌는 순간이 다를 수 있다.

이 질문은 4.1.1편에서 모델 승격 구간이라고 부른 지점, 곧 등록된 모델을 “이제 이걸 쓴다”로 넘기는 일과 이어진다. MLflow에서는 별칭을 옮기는 일이 승격인데, 서빙이 그 승격을 언제 반영하는지 모르면 승격한 시각과 실제로 모델이 바뀐 시각이 어긋난다. 또 MLOps와 GitOps 글에서는 서빙처럼 계속 떠 있는 서비스를 Git에 원하는 상태(desired state)를 두고 Argo CD가 맞추는 영역으로 정리했다. 별칭으로 승격하면 매니페스트에는 @prod라는 이름만 남으니, 서빙 모델이 바뀐 일이 Git과 Argo CD에 남는지도 함께 봐야 했다.

그래서 로컬 kind 클러스터에 MLflow와 mlflow models serve 서빙을 띄워 Argo CD로 배포한 뒤, 별칭을 옮기고 파드를 다시 띄우며 파드마다 어느 버전으로 답하는지 확인했다. 코드와 결과는 실험 폴더에 있다.


별칭 해석 시점

별칭을 옮겼을 때 서빙 모델이 바뀌려면 서빙 쪽이 별칭을 다시 읽어야 한다. 그 시점을 따지려면 MLflow가 별칭을 어떻게 모델 파일로 바꾸는지부터 알아야 한다.

MLflow 모델 레지스트리에서 등록된 모델(registered model)은 버전을 1, 2, 3으로 쌓고 별칭은 그중 한 버전을 가리키는 이름이다. 서빙 코드가 models:/alias-demo@prod 같은 모델 URI를 넘기면 MLflow 클라이언트가 레지스트리 서버에 prod가 몇 번 버전인지 묻고 그 버전의 모델 파일을 내려받는다. 이 글에서는 별칭을 버전 번호로 바꾸는 이 순간을 별칭 해석 시점이라고 부른다. 별칭을 옮기는 set_registered_model_alias는 레지스트리 DB의 값만 바꾸고 이미 해석을 마친 서빙 쪽에는 아무것도 전하지 않으니, 서빙 모델은 다음 해석에서야 바뀐다.

해석 시점은 서빙이 모델을 언제 불러오느냐에 따라 셋으로 나뉜다. 표의 마지막 열은 별칭을 옮긴 뒤 서빙 모델이 바뀌는 때다.

해석 시점 서빙 방식의 예 서빙 모델이 바뀌는 때
호출할 때 요청이나 배치 실행마다 mlflow.pyfunc.load_model("models:/...@prod") 다음 호출
컨테이너가 시작할 때 mlflow models serve -m models:/...@prod(책 10.7절), 서비스 초기화에서 모델을 불러오는 BentoML 서비스(책 10.6절) 다음 컨테이너 시작
배포할 때 배포 스크립트가 별칭을 해석해 얻은 버전이나 경로를 KServe storageUri 같은 매니페스트 값에 넣어 적용 다음 배포

mlflow models serve가 컨테이너가 시작할 때 해석한다는 것은 소스로 확인했다. MLflow 3.17.1의 PyFuncBackend.serve는 시작할 때 모델 URI를 한 번 내려받고 스코어링 서버를 띄우는 명령에는 내려받은 로컬 경로만 넘긴다(backend.py#L249-L253).

# mlflow/pyfunc/backend.py (MLflow 3.17.1), PyFuncBackend.serve 발췌
local_path = _download_artifact_from_uri(model_uri)  # models:/alias-demo@prod 를 여기서 해석해 내려받는다

command, command_env = scoring_server.get_cmd(
    local_path, port, host, timeout, self._nworkers   # 스코어링 서버에는 로컬 경로만 넘긴다
)

스코어링 서버는 @prod라는 이름을 모르니 떠 있는 동안 별칭을 다시 읽을 길이 없다. 다만 소스로 확인한 것은 프로세스 하나 안의 동작이다. Kubernetes에서 컨테이너가 새로 시작하는 일은 배포할 때만 생기지 않아서 그 일이 레플리카마다 어떤 버전을 남기는지는 돌려 봐야 알 수 있었다.


실험

실험 환경

서빙 모델이 언제 바뀌는지, 그 변화가 어디에 남는지, 버전을 매니페스트에 고정하면 무엇이 달라지는지 확인하려면 별칭을 옮기고 서빙 파드를 하나씩 다시 띄우면서 그때마다 MLflow 별칭, Git, Argo CD, 파드별 응답을 한꺼번에 봐야 했다. 그래서 3.4.4편에서 Argo CD와 Gitea를 올려 둔 kind 클러스터(Kubernetes v1.29.14, Argo CD v2.6.7)에 실험 전용 MLflow를 띄웠다.

구성 내용
MLflow 서버 3.17.1. mlflow 네임스페이스에 SQLite 백엔드와 아티팩트 저장소를 PVC 하나에 두고 아티팩트는 서버가 프록시한다(--artifacts-destination). 서빙 파드는 MLflow 주소만 알면 모델을 받는다
모델 alias-demo. v1은 1.0, v2는 2.0을 돌려주는 scikit-learn DummyRegressor라 응답값이 곧 버전이다
서빙 mlflow models serve --model-uri=models:/alias-demo@prod로 띄운 Deployment(레플리카 3)와 Service. MLflow 서버와 같은 이미지를 쓴다
배포 Gitea 저장소의 alias-demo 브랜치에 서빙 매니페스트를 두고 Argo CD Application이 자동 동기화한다(selfHeal: true)
관찰 클러스터 안의 관찰용 파드가 서빙 파드 IP마다 한 번, Service로 20번 묻는다

이 글에서 MLflow 서버는 레지스트리를 맡은 mlflow server 프로세스를, 서빙 파드는 mlflow models serve로 모델을 띄운 파드를 가리킨다. 둘 다 MLflow 명령이지만 별칭을 옮겼을 때 곧바로 바뀌는 것은 MLflow 서버의 DB뿐이다. 서빙 파드를 IP로 하나씩 묻는 것은 Service로만 물으면 어느 파드가 답했는지 알 수 없어서다.

준비하며 바꾼 설정이 몇 가지 있다. MLflow 3.17.1 서버의 --allowed-hosts 기본값은 localhost(모든 포트)와 사설 IP 대역만 받아서 서빙 파드가 부르는 서비스 이름(mlflow.mlflow:5000)은 거부된다. 이 옵션에 값을 주면 기본값을 대체하므로 서비스 이름과 함께 호스트의 port-forward 주소도 적었다. 서빙 매니페스트는 3.4.3편에서 CI를 붙인 Gitea 저장소에 고아 브랜치(orphan branch, 기존 이력과 이어지지 않은 브랜치)를 만들어 두었는데, 이 저장소의 CI는 main 브랜치 push에만 걸려 있어 이 브랜치에서는 돌지 않는다. 또 이 클러스터에는 Kubeflow가 설치한 applications.app.k8s.io CRD가 있어 kubectl get application이 Argo CD Application을 가리키지 않았기 때문에, 스크립트에서는 applications.argoproj.io로 적었다.

관찰 스크립트(observe.py)는 이벤트마다 네 곳의 상태를 한 줄로 남긴다. 실험 스크립트를 짜고 MLflow 소스를 따라가는 데는 AI의 도움을 받았다.

로그 표기: [+mm:ss]는 결과 파일의 기준 시각 t0부터 지난 시간이고 이벤트를 일으킨 뒤 파드가 준비되기를 기다렸다가 찍는다. prod=는 MLflow 별칭이 가리키는 버전, git=은 alias-demo 브랜치의 HEAD, argocd=는 <동기화 상태>@<마지막으로 비교한 커밋>/<health 상태>다. 파드 칸은 <파드 이름 끝 5자>(<컨테이너 시작 시각>,r<재시작 횟수>)=<응답>이고 미준비는 Ready 전, 종료중은 삭제 중인 파드다. svc×20은 Service로 20번 물은 응답의 분포다. 결과 파일은 실행 단계 이름을 쓰는데, 1단계는 호출할 때 해석하는 기준값, 2단계는 실험 1과 2를 함께 돌린 실행, 3단계는 실험 3이다.

# results/step2.txt 첫 줄, 2단계를 시작할 때 상태
[+00:02] 배포 상태 (prod=v1) | prod=v1 git=05e1617 argocd=Synced@05e1617/Healthy | 56wjb(-03:33,r0)=1.0 7lhcp(-03:33,r0)=1.0 wk6jw(-03:33,r0)=1.0 | svc×20: 1.0×20

위 줄은 2단계를 시작할 때 상태다. 세 파드가 t0 3분 33초 전에 뜬 그대로 v1(1.0)으로 답하고 Argo CD는 브랜치 HEAD 05e1617에 Synced다. 단계마다 한 번씩 돌렸고 버전이 바뀌는지는 정해진 동작이라 반복하지 않았다. 시간 값은 모두 1회 관측이다.

실험 1: 별칭 이동 뒤 서빙 버전의 변경 시점

첫 질문은 별칭을 옮긴 뒤 서빙 모델이 언제 바뀌는가다. 비교 기준으로 호출할 때 해석하는 경우부터 봤는데, 호스트에서 load_model("models:/alias-demo@prod")를 부를 때마다 응답이 별칭을 따라 1.0 → 2.0 → 1.0으로 바로 바뀌었다. MLflow 서버 로그에도 호출마다 별칭 조회(GET .../registered-models/alias)와 그 버전의 다운로드 주소 조회가 찍혔으니, 호출할 때 해석하는 서빙에서는 별칭 이동이 곧 서빙 모델 변경이다.

mlflow models serve는 소스대로라면 컨테이너가 시작할 때 한 번만 해석한다. 그래서 가설은 서빙 모델이 컨테이너가 새로 시작하는 순간에야 바뀐다는 것이었다. 가설이 맞다면 별칭을 옮겨도 떠 있는 파드는 계속 1.0으로 답하고 새 컨테이너가 시작하는 일이 생기면 그 컨테이너만 2.0을 받는다. 컨테이너가 새로 시작하는 일은 사람이 하는 배포에 그치지 않는다.

  • 파드 삭제: 노드 장애나 축출(eviction)로 파드가 다른 곳에 다시 뜨는 경우
  • 스케일 아웃: 레플리카가 늘어 새 파드가 뜨는 경우
  • 같은 파드 안의 컨테이너 재시작: OOMKilled나 liveness probe 실패로 kubelet이 컨테이너를 다시 띄우는 경우
  • kubectl rollout restart: 운영자가 모든 파드를 차례로 다시 띄우는 경우

이런 일이 파드 하나에만 생기면 레플리카끼리 버전이 갈려, Service 뒤에서는 같은 요청에 다른 답이 나온다. 반대로 가설이 틀렸다면 별칭을 옮긴 직후 떠 있는 파드의 응답이 바뀌거나(서버가 주기적으로 다시 해석한다는 뜻), 컨테이너만 다시 시작했을 때는 응답이 바뀌지 않아야 한다(해석한 결과가 컨테이너 밖에 남는다는 뜻).

위 목록 가운데 파드 삭제, 컨테이너 재시작, rollout restart를 차례로 일으켰다. 컨테이너 재시작은 kind 노드 안에서 crictl stop으로 컨테이너만 멈춰, 파드는 그대로 두고 kubelet이 같은 파드 안에서 컨테이너를 다시 띄우게 했다. OOMKilled 뒤의 재시작과 같은 경로다. 마지막에는 별칭을 v1으로 되돌려 롤백도 같은 규칙을 따르는지 봤다.

# results/step2.txt, 실험 1의 이벤트별 상태
[+00:02] 배포 상태 (prod=v1) | prod=v1 git=05e1617 argocd=Synced@05e1617/Healthy | 56wjb(-03:33,r0)=1.0 7lhcp(-03:33,r0)=1.0 wk6jw(-03:33,r0)=1.0 | svc×20: 1.0×20
[+00:11] prod → v2 | prod=v2 git=05e1617 argocd=Synced@05e1617/Healthy | 56wjb(-03:33,r0)=1.0 7lhcp(-03:33,r0)=1.0 wk6jw(-03:33,r0)=1.0 | svc×20: 1.0×20
[+00:46] 파드 삭제 (56wjb) | prod=v2 git=05e1617 argocd=Synced@05e1617/Healthy | 7lhcp(-03:33,r0)=1.0 wk6jw(-03:33,r0)=1.0 l2gzx(+00:13,r0)=2.0 | svc×20: 1.0×14 2.0×6
[+00:55] 컨테이너 재시작 (7lhcp) | prod=v2 git=05e1617 argocd=Synced@05e1617/Healthy | wk6jw(-03:33,r0)=1.0 l2gzx(+00:13,r0)=2.0 7lhcp(+00:47,r1)=2.0 | svc×20: 1.0×7 2.0×13
[+01:56] rollout restart | prod=v2 git=05e1617 argocd=Synced@05e1617/Healthy | mcz26(+00:55,r0)=2.0 zsbcw(+01:04,r0)=2.0 vptn7(+01:12,r0)=2.0 | svc×20: 2.0×20
[+02:28] rollout restart 30초 뒤 | prod=v2 git=05e1617 argocd=Synced@05e1617/Healthy | mcz26(+00:55,r0)=2.0 zsbcw(+01:04,r0)=2.0 vptn7(+01:12,r0)=2.0 | svc×20: 2.0×20
[+02:37] prod → v1 (롤백) | prod=v1 git=05e1617 argocd=Synced@05e1617/Healthy | mcz26(+00:55,r0)=2.0 zsbcw(+01:04,r0)=2.0 vptn7(+01:12,r0)=2.0 | svc×20: 2.0×20
[+03:13] 파드 삭제 (mcz26) | prod=v1 git=05e1617 argocd=Synced@05e1617/Healthy | zsbcw(+01:04,r0)=2.0 vptn7(+01:12,r0)=2.0 n45ns(+02:39,r0)=1.0 | svc×20: 1.0×5 2.0×15

별칭을 v2로 옮기고 5초 뒤에도 세 파드는 1.0으로 답했고 지우지 않은 7lhcp와 wk6jw는 40초 가까이 지난 뒤에도 그대로였다. 파드 56wjb를 지우자 새로 뜬 l2gzx만 2.0을 냈고 Service 응답 20번 가운데 6번이 2.0이었다. 파드는 그대로 두고 7lhcp의 컨테이너만 다시 띄운 경우에도 재시작 횟수가 1이 된 그 파드가 2.0으로 바뀌었으니, 해석한 결과는 컨테이너 밖에 남지 않았다. rollout restart로 세 파드가 차례로 다시 뜬 뒤에야 모든 응답이 2.0이 됐다. 가설이 틀렸다면 보였을 두 가지는 나타나지 않았다. 서빙 모델을 바꾼 것은 별칭 이동이 아니라 컨테이너 시작이었다.

롤백도 같은 규칙을 따랐다. 별칭을 v1으로 되돌려도 세 파드는 계속 2.0으로 답했고 파드 하나를 지우자 새로 뜬 n45ns만 1.0으로 돌아와 Service 뒤에서 다시 두 버전이 섞였다. 별칭을 되돌리는 것만으로는 떠 있는 서빙이 롤백되지 않고 모든 파드가 다시 시작해야 롤백이 끝난다. 그렇다면 이렇게 버전이 섞여 있던 동안 그 상태는 어디에 보였을까.

실험 2: 별칭 이동의 기록 위치

실험 1에서 서빙 버전은 v1에서 혼재, v2, 다시 혼재로 바뀌었다. 이 변화를 나중에 되짚으려면 MLflow, Git, Argo CD 가운데 어딘가에 남아 있어야 한다. 별칭 이동은 MLflow API 호출 하나이고 매니페스트의 @prod라는 글자는 그대로라서, 가설은 Git과 Argo CD는 별칭 이동도 그 결과인 버전 혼재도 알 수 없고 MLflow DB에도 별칭의 현재 값만 남는다는 것이었다.

가설이 맞다면 실험 1의 모든 이벤트 동안 Git HEAD는 그대로이고 Argo CD는 Synced이며 MLflow에는 이전 값도 바꾼 시각도 없어야 한다. 가설이 틀렸다면 버전이 섞인 동안 Argo CD가 OutOfSync로 바뀌거나 동기화 이력에 항목이 생기거나 MLflow DB에 별칭의 이전 값이나 바꾼 시각을 담는 곳이 있어야 한다. 예상이 갈리는 곳은 rollout restart였다. 별칭 이동을 상시 서빙에 반영하는 운영 동작은 결국 재시작인데, kubectl rollout restart는 파드 템플릿에 Git에 없는 재시작 시각 annotation(kubectl.kubernetes.io/restartedAt)을 더한다. Argo CD가 이 annotation을 차이로 본다면 OutOfSync가 되고 selfHeal이 annotation을 지우면서 롤아웃이 한 번 더 일어난다. Git에 없는 필드를 비교하지 않는다면 Synced 그대로다. 어느 쪽이든 반영 동작이 Git 밖에 있다는 점은 같지만 앞쪽이라면 그 동작이 Argo CD와 충돌하기까지 한다.

MLflow 쪽부터 보면, 별칭 테이블 registered_model_aliases는 (workspace, name, alias, version) 네 열에 기본키가 (workspace, name, alias)라서 별칭 하나가 행 하나다(dbmodels/models.py). 1단계에서 별칭을 옮길 때마다 이 행의 version만 1 → 2 → 1로 덮어써졌고 3.17.1 DB의 테이블 65개 가운데 별칭의 이전 값을 담는 테이블은 없었다. 이름이 비슷한 webhook_events는 웹훅이 받을 이벤트를 정해 두는 구독 정의라 이력이 아니다. 실험 3까지 마친 뒤 다시 조회해 보니, 마지막으로 별칭을 옮긴 뒤에도 등록 모델의 last_updated_time은 v2를 등록한 시각, 각 모델 버전의 last_updated_time은 그 버전을 등록한 시각에 머물러 있어 언제 옮겼는지도 DB에는 남지 않았다. 별칭을 저장하는 코드도 별칭 행만 덮어쓰고 등록 모델과 모델 버전의 시각은 건드리지 않는다(sqlalchemy_store.py#L1511-L1537).

## MLflow DB의 별칭, 등록 모델, 모델 버전 시각
# 마지막 별칭 이동은 step3.txt의 [+01:44] prod → v2 줄 5초 전(2026-11-19T15:17:05Z 무렵)
registered_model_aliases: [('alias-demo', 'prod', 2)]
registered_models: alias-demo creation=2026-11-19T14:46:07Z last_updated=2026-11-19T14:46:10Z
model_versions: alias-demo v1 creation=2026-11-19T14:46:07Z last_updated=2026-11-19T14:46:07Z
model_versions: alias-demo v2 creation=2026-11-19T14:46:10Z last_updated=2026-11-19T14:46:10Z

별칭을 옮긴 흔적은 MLflow 서버 접근 로그의 한 줄이 전부였다. 이 줄에는 요청 시각과 출발지 주소(port-forward라 127.0.0.1)만 있고 어느 버전으로 옮겼는지와 누가 옮겼는지는 없다.

# 1단계에서 prod를 v2로 옮길 때의 MLflow 서버 로그. 요청 본문(버전)은 남지 않는다
2026/11/19 14:46:16 INFO:     127.0.0.1:33276 - "POST /api/2.0/mlflow/registered-models/alias HTTP/1.1" 200 OK

같은 로그에서 서빙 쪽 흔적은 찾을 수 있었다. 서빙 컨테이너가 시작할 때마다 파드 IP에서 별칭 조회와 다운로드 주소 조회가 찍혔고 다운로드 주소 조회에는 받은 버전이 들어 있다. 2단계에서 컨테이너가 새로 시작한 여섯 번은 모두 step2.txt의 컨테이너 시작 시각 몇 초 뒤에 이 줄을 남겼고 버전도 응답과 맞았다. 다만 파드 이름 없이 IP만 있고 서버 컨테이너의 표준 출력이라, 로그를 따로 모으지 않으면 서버가 다시 뜰 때 사라진다.

# results/step2_mlflow_server_log.txt 발췌, 서빙 컨테이너 시작 때의 다운로드 주소 조회
2026/11/19 15:12:28 INFO:     10.244.0.61:52206 - "GET /api/2.0/mlflow/model-versions/get-download-uri?name=alias-demo&version=2 HTTP/1.1" 200 OK   # l2gzx 시작
2026/11/19 15:13:00 INFO:     10.244.0.58:34686 - "GET /api/2.0/mlflow/model-versions/get-download-uri?name=alias-demo&version=2 HTTP/1.1" 200 OK   # 7lhcp 컨테이너 재시작
2026/11/19 15:14:54 INFO:     10.244.0.65:60514 - "GET /api/2.0/mlflow/model-versions/get-download-uri?name=alias-demo&version=1 HTTP/1.1" 200 OK   # 롤백 뒤 n45ns 시작

Git과 Argo CD는 실험 1의 로그에서 git=, argocd= 열로 볼 수 있다. 파드를 지우고 컨테이너를 다시 띄우고 별칭을 되돌리는 내내 git=05e1617, argocd=Synced@05e1617/Healthy였다. rollout restart 직후와 30초 뒤에도 Synced였고 selfHeal로 되돌리는 롤아웃도 없었으니 Git에 없는 필드를 비교하지 않는다는 예상이 맞았다. 현재 Argo CD 문서는 기본 비교 방식을 라이브 상태, Git의 원하는 상태, last-applied-configuration annotation 세 가지로 하는 3-way diff라고 설명한다(Diff Strategies). 라이브에만 있는 필드를 차이로 보는지는 문서에 적혀 있지 않은데, 실험 3까지 마친 뒤 Deployment를 보니 rollout restart가 단 annotation은 Argo CD가 세 번 동기화한 뒤에도 그대로 남아 있었고 Argo CD가 적용하며 남긴 last-applied-configuration에는 이 annotation이 없었다. Git에 없는 필드는 비교하지도 지우지도 않은 셈이다. Argo CD 2.6.7이 쓰는 gitops-engine의 비교 코드도 last-applied-configuration, Git의 원하는 상태, 라이브 상태로 3-way merge 패치를 만들어 라이브에 적용한 결과를 라이브와 비교하는데(diff.go#L458-L500), 이 패치는 last-applied-configuration에 있고 원하는 상태에 없는 필드만 지우므로 라이브에만 있는 annotation은 차이로 나타나지 않는다.

## 서빙 Deployment의 파드 템플릿 annotation과 last-applied-configuration
spec.template.metadata.annotations: {"kubectl.kubernetes.io/restartedAt":"2026-11-20T00:13:06+09:00"}
last-applied 파드 템플릿 annotations: None
last-applied 모델 URI: ['--model-uri=models:/alias-demo/1']

Argo CD 동기화 이력(status.history)에도 이 구간의 항목은 없었다. 2단계는 15:12:10Z부터 15:15:23Z까지 돌았는데, 이력은 그 전의 첫 배포와 실험 3의 첫 커밋으로 바로 넘어간다.

## Argo CD status.history (id, revision, deployedAt)
0 05e1617 2026-11-19T15:08:38Z   # 첫 배포
1 bf5a4df 2026-11-19T15:15:30Z   # 실험 3의 버전 고정 커밋

가설이 틀렸다면 보였을 것은 어느 곳에도 나타나지 않았다. 별칭 이동은 Git, Argo CD, MLflow DB 어디에도 기록이 남지 않는 배포였다. 서빙 모델이 바뀌고 Service 뒤에서 두 버전이 섞이는 동안 Git에는 커밋이 없었고 Argo CD는 정상이라고 표시했으며 MLflow DB에는 지금 prod가 어느 버전이라는 사실만 남았다. 서빙 파드가 받은 버전은 MLflow 서버 접근 로그에 IP별로 찍혔을 뿐이다. 그렇다면 서빙 모델 버전을 Git에 두면 무엇이 달라질까.

실험 3: 매니페스트 버전 고정과 커밋 승격

마지막 질문은 반대 설계, 곧 매니페스트에 별칭 대신 버전 번호를 적고 승격을 커밋으로 하면 무엇이 달라지고 어떤 비용이 생기는가다. 별칭과 달리 버전 번호는 등록할 때 정해지고 다른 버전으로 옮길 수 없다. 그래서 가설은 서빙 모델이 바뀌는 길이 커밋, 동기화, 롤아웃 하나로 줄어든다는 것이었다. 가설이 맞다면 별칭을 옮겨도, 파드가 다시 떠도 버전은 그대로이고 버전이 섞이는 구간은 롤아웃 동안으로 줄며 Argo CD 동기화 이력의 커밋이 서빙 버전 변경과 하나씩 대응해야 한다. 가설이 틀렸다면 버전을 고정한 뒤에도 별칭을 옮기거나 파드를 지웠을 때 응답이 바뀌거나 동기화 이력에 대응하는 커밋이 없는 버전 변경이 보여야 한다. 비용으로는 반영 시간을 예상했다. v2.6의 Argo CD는 기본 180초 주기로 Git을 다시 확인하므로(3.4.4편) 커밋에서 배포까지 길어야 3분에 롤아웃 시간이 더해진다고 예상했다.

같은 Deployment에서 모델 URI만 버전 번호로 바꿔 커밋했다.

# alias-demo/serving/serving.yaml, 서빙 컨테이너 명령
         - mlflow
         - models
         - serve
-        - --model-uri=models:/alias-demo@prod
+        - --model-uri=models:/alias-demo/1

그다음 별칭을 v2로 옮기고 파드를 지운 뒤, /1을 /2로 바꾸는 승격 커밋을 올렸다. 반영 시간을 재려고 승격 커밋은 Argo CD 기본 폴링에 맡겼고 나머지 커밋은 Application에 refresh annotation(argocd.argoproj.io/refresh=normal)을 달아 바로 다시 읽게 했다. 마지막으로 승격 커밋을 git revert했다.

# results/step3.txt 발췌, 이벤트마다 마지막 상태
[+00:01] 시작 (2단계 끝 상태) | prod=v1 git=05e1617 argocd=Synced@05e1617/Healthy | zsbcw(-02:12,r0)=2.0 vptn7(-02:04,r0)=2.0 n45ns(-00:37,r0)=1.0 | svc×20: 1.0×8 2.0×12
[+00:05] 버전 고정 커밋 | prod=v1 git=bf5a4df argocd=Synced@bf5a4df/Progressing | zsbcw(-02:12,r0)=2.0 vptn7(-02:04,r0)=2.0 n45ns(-00:37,r0)=1.0 4ws9j(-,r0)=미준비 | svc×20: 1.0×5 2.0×15
[+01:07] 버전 고정 커밋 | prod=v1 git=bf5a4df argocd=Synced@bf5a4df/Healthy | 4ws9j(+00:04,r0)=1.0 c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 | svc×20: 1.0×20
[+01:44] prod → v2 | prod=v2 git=bf5a4df argocd=Synced@bf5a4df/Healthy | 4ws9j(+00:04,r0)=1.0 c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 | svc×20: 1.0×20
[+02:17] 파드 삭제 (4ws9j) | prod=v2 git=bf5a4df argocd=Synced@bf5a4df/Healthy | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=1.0 | svc×20: 1.0×20
[+02:20] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@bf5a4df/Healthy | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=1.0 | svc×20: 1.0×20
[+06:02] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=1.0 q7j5v(-,r0)=미준비 | svc×20: 1.0×20
[+06:23] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Healthy | c28gs(+00:14,r0)=종료중 wxnkm(+00:22,r0)=종료중 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=2.0 | svc×20: 2.0×20
[+07:23] git revert, refresh | prod=v2 git=0d2b2d1 argocd=Synced@0d2b2d1/Progressing | q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=2.0 vl5mq(+07:21,r0)=미준비 | svc×20: 2.0×20
[+07:41] git revert, refresh | prod=v2 git=0d2b2d1 argocd=Synced@0d2b2d1/Healthy | q7j5v(+06:01,r0)=종료중 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=종료중 vl5mq(+07:21,r0)=1.0 6fscg(+07:27,r0)=1.0 bxrbs(+07:34,r0)=1.0 | svc×20: 1.0×20
승격 커밋 롤아웃 구간

롤아웃 동안은 상태를 읽고 1초 쉬기를 되풀이하며 바뀐 줄만 남겼다. 상태를 읽는 데도 시간이 걸려 줄 사이 간격은 1초에서 9초까지다. 전체 기록은 results/step3.txt에 있다. 승격 커밋 구간만 옮기면 아래와 같다.

# results/step3.txt, 승격 커밋 롤아웃 구간(바뀐 줄만)
[+06:02] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=1.0 q7j5v(-,r0)=미준비 | svc×20: 1.0×20
[+06:04] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=1.0 q7j5v(+06:01,r0)=미준비 | svc×20: 1.0×20
[+06:11] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(-,r0)=미준비 | svc×20: 1.0×15 2.0×5
[+06:13] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=미준비 | svc×20: 1.0×14 2.0×6
[+06:14] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=미준비 | svc×20: 1.0×16 2.0×4
[+06:16] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=1.0 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=미준비 | svc×20: 1.0×12 2.0×8
[+06:17] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=종료중 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(-,r0)=미준비 | svc×20: 1.0×5 2.0×15
[+06:19] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=종료중 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=미준비 | svc×20: 1.0×4 2.0×16
[+06:20] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=종료중 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=미준비 | svc×20: 1.0×9 2.0×11
[+06:22] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Progressing | c28gs(+00:14,r0)=종료중 wxnkm(+00:22,r0)=1.0 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=미준비 | svc×20: 1.0×3 2.0×17
[+06:23] 승격 커밋 (1 → 2), 기본 폴링 | prod=v2 git=374660a argocd=Synced@374660a/Healthy | c28gs(+00:14,r0)=종료중 wxnkm(+00:22,r0)=종료중 zddw9(+01:45,r0)=종료중 q7j5v(+06:01,r0)=2.0 klbnk(+06:10,r0)=2.0 2dg24(+06:16,r0)=2.0 | svc×20: 2.0×20

버전 고정 커밋은 2단계가 남긴 혼재 상태(파드 둘은 2.0, 하나는 1.0)에서 시작했다. 커밋 하나로 모델 URI가 바뀌자 Deployment의 파드 템플릿이 달라져 롤링 업데이트가 일어났고 Argo CD가 배포하고 32초 만에 세 파드가 모두 1.0이 됐다. 이 상태에서 별칭을 v2로 옮기고 파드를 지워도 새로 뜬 zddw9는 1.0으로 답했으니, 별칭은 더 이상 서빙에 영향을 주지 않았다.

승격 커밋 374660a는 15:17:44Z에 올렸는데 Argo CD가 배포한 것은 15:21:28Z였다. Argo CD 설정의 주기는 기본값 180초였지만 이번에는 3분 44초가 걸렸다. 컨트롤러 로그를 보면 직전 Git 비교는 버전 고정 커밋을 refresh로 반영한 15:15:30이었고 다음 비교는 약 6분 뒤인 15:21:27이었다. v2.6.7 컨트롤러는 마지막 비교 뒤 180초가 지나야 Git과 다시 비교하는데(appcontroller.go#L1483-L1488) 그 조건을 살피는 주기도 180초라서, 살피는 순간 180초가 조금 덜 지났으면 다음 주기로 밀린다. 그래서 기본 설정에서도 커밋에서 감지까지 3분을 넘길 수 있다. 배포 뒤 롤링 업데이트는 21초 만에 끝났고 그 가운데 Service 응답에 두 버전이 함께 나온 것은 첫 새 파드가 Ready가 된 뒤 마지막 파드가 바뀔 때까지 약 12초였다. revert 커밋은 refresh로 1초 만에 배포됐고 19초 뒤 세 파드가 1.0으로 돌아왔다. 커밋 네 개와 Argo CD 동기화 이력 네 줄은 revision으로 하나씩 대응했다.

## alias-demo 브랜치 git log (시각은 KST)
0d2b2d1 2026-11-20 00:22:47 promoter | Revert "promote: alias-demo v1 → v2"
374660a 2026-11-20 00:17:44 promoter | promote: alias-demo v1 → v2
bf5a4df 2026-11-20 00:15:28 promoter | serving: 모델 URI를 버전 번호로 고정 (alias-demo v1)
05e1617 2026-11-19 23:49:37 promoter | serving: alias-demo 서빙 (models:/alias-demo@prod)

## Argo CD status.history (id, revision, deployedAt, 시각은 UTC)
0 05e1617 2026-11-19T15:08:38Z
1 bf5a4df 2026-11-19T15:15:30Z
2 374660a 2026-11-19T15:21:28Z
3 0d2b2d1 2026-11-19T15:22:48Z

가설이 틀렸다면 보였을 응답 변화나 커밋 없는 버전 변경은 없었다. 서빙 모델이 바뀐 시점이 커밋과 동기화 이력에 남았고 버전이 섞이는 구간은 롤아웃 동안으로 줄었다. 실험 1에서는 다음 재시작이 올 때까지 섞인 상태가 이어졌는데, 여기서는 혼재가 끝나는 때가 커밋 뒤 롤아웃 완료로 정해졌다.

대신 실행 전에는 예상하지 않았던 두 가지가 결과에 보였다. 하나는 기본 폴링을 기다린 3분 44초 동안의 Argo CD 상태다. Git 최신 커밋은 이미 374660a(v2)였는데 Argo CD는 Synced@bf5a4df(v1)를 표시했다. Synced는 Argo CD가 마지막으로 읽은 커밋과 클러스터가 같다는 뜻이라, 승격 커밋 직후 Argo CD 화면만 보고 승격이 끝났다고 판단하면 틀린다. 다른 하나는 revert 뒤의 MLflow다. 서빙은 v1으로 돌아왔는데 별칭 prod는 v2를 가리킨 채였다. 매니페스트에 버전을 고정한 뒤로는 별칭이 서빙을 움직이지 않으니, MLflow 화면의 prod를 운영 버전으로 읽으면 실제 서빙과 다른 버전을 보게 된다.


정리

책 10장의 서빙 예제가 시작할 때 별칭을 읽는다는 점에서 출발한 실험이었는데, 돌려 보니 서빙 방식마다 별칭을 옮긴 뒤 일어나는 일이 달랐다. 아래 표의 “변경이 남는 곳”은 서빙 모델이 바뀐 일을 나중에 찾을 수 있는 곳이다.

서빙 방식 서빙 모델이 바뀌는 때 변경이 남는 곳
호출할 때 해석(load_model) 다음 호출 MLflow 별칭의 현재 값, MLflow 서버 접근 로그(모아 둘 때)
컨테이너가 시작할 때 해석(mlflow models serve, @prod) 다음 컨테이너 시작. 모든 컨테이너가 다시 시작할 때까지 버전이 섞인다 MLflow 별칭의 현재 값, MLflow 서버 접근 로그(모아 둘 때, 파드 IP별)
매니페스트 버전 고정(/2) 커밋이 동기화된 뒤 롤아웃. 섞이는 구간은 롤아웃 동안이다 Git 커밋, Argo CD 동기화 이력

상시 서빙에서 별칭은 승격을 바로 반영하지도 Git과 Argo CD에 남기지도 않았다. 버전 번호를 매니페스트에 고정하면 기록은 돌아오지만 반영이 느려지고 MLflow와 서빙이 서로 다른 버전을 가리킬 수 있었다. MLflow 문서가 별칭을 어떤 소비 방식으로 설명하는지, 그리고 별칭을 쓰면서 서빙 이력을 남기려면 무엇이 필요한지는 10.7.2편에서 이 결과를 바탕으로 정리한다. 상시 서빙이 별칭을 그대로 읽게 둔다면, 별칭을 옮긴 뒤 누가 언제 서빙을 다시 띄울지와 지금 떠 있는 버전을 어디서 볼지를 서빙 쪽에서 따로 정해 둬야 한다.


참고 링크




hit count

댓글남기기