디버깅에서 가장 비싼 건 틀린 가설을 붙들고 있는 시간이다
ArgoCD·NFS·부하테스트에서 틀린 가설에 며칠씩 쓴 경험으로, 가설을 버릴 시점과 그 가설로 바꾼 것을 치우는 법을 정리했다.
Istio
JWT로 목적지를 바꾸는 일은 API Gateway가 못한다
JWT 값으로 A/B 목적지를 가를 프록시 자리를 두고 API Gateway, Kong, ALB, Istio Gateway를 요구사항별로 비교한 기록과 그 결론
Terminating에서 멈춘 Pod는 NFS를 사이드카에 맡기고 있었다
테넌트 삭제를 막던 Terminating Pod의 원인은 EFS가 아니라 NFS를 가로챈 Istio 사이드카였고, 규칙 하나를 지워 10초 만에 풀었다.
kubelet은 컨테이너를 띄울 때마다 /etc/hosts를 다시 쓴다
컨테이너 안에서 /etc/hosts에 쓴 줄이 8개 Pod 중 5개에서 사라졌고, 사이드카 기동 순서를 고정해 8/8로 맞췄다.
Service는 늘 두고 라우팅만 켜고 끈다
공통 API 호출을 기존 환경으로 돌리려 Service와 라우팅 정책을 나눴고, PoC로 경유는 확인했지만 켜지는 않았다
부하 서버를 한 대 늘렸더니 처리량이 65% 올랐다
Pod를 늘려도 5,300 RPS에서 멈춘 원인은 부하 출발지가 하나라서였고, AWS DLT로 측정을 바로잡았다
826 RPS에서 멈춘 건 앱이 아니었다
앱 Pod 하나가 826 RPS에서 멈춘 원인은 Istio 연결 설정 한 줄이었고, 연결 재사용으로 그 천장을 걷어냈다.