Tech

기술 블로그

MDX로 기록한 글과 작업 로그를 한 곳에 모아두는 공간입니다.

작은 모델이 이기는 구간: 모든 요청에 최고 모델을 쓰는 건 설계가 아니다

관측 지표를 보니 분류와 추출 같은 단순 작업에까지 가장 비싼 모델이 쓰이고 있었습니다. 작업 유형별로 모델을 나누고 라우팅을 붙인 과정을 정리했습니다.

에이전트가 왜 그렇게 답했는지 되짚을 수 없어 매번 추측으로 고쳤습니다. 스팬을 어떻게 나누고 무엇을 남겨야 실패를 재현할 수 있는지 정리했습니다.

LLM 호출 비용이 예상보다 컸는데 원인은 모델이 아니라 프롬프트 구성 순서였습니다. 고정 블록을 앞으로 모아 캐시를 살리고, 무엇이 캐시를 깨뜨리는지 정리했습니다.

Sentry의 에러 추적과 Actuator의 메트릭 모니터링만으로는 서비스 간 호출 흐름을 파악하기 어려웠습니다. OpenTelemetry와 Jaeger를 도입해 분산 추적 체계를 구축하고, 각 도구의 역할을 분리한 경험을 공유합니다.

Actuator 엔드포인트를 활용해 애플리케이션 상태를 실시간으로 파악하고, Prometheus와 Grafana를 연동해 운영 대시보드를 구성한 실전 경험을 정리했습니다.

서버 로그만 뒤적이던 시절을 벗어나, Sentry를 도입하고 프론트엔드부터 백엔드까지 이어지는 Trace ID를 통해 장애를 한눈에 파악하게 된 과정을 회고합니다.