무엇을 만들고 계신가요?
시나리오별로 직접 측정해 고른 추천 모델입니다. 가격은 실시간이고, 홍보성 문구는 뺐습니다.
- 챗봇 모델 선택기부터 provider에 직접 전달되는 Stop 기능, 측정된 컨텍스트 예산 관리, 대화 내용을 메모리로 압축하는 방식, gateway 기반 웹 검색까지 챗봇 구축 전 과정을 단계별로 구현합니다.
- 에이전트 추적 에이전트의 모델 호출에 요청 헤더 3개를 추가하면 각 실행을 워터폴 형태로 확인할 수 있습니다. 실행별로 병렬 호출이 어떻게 이루어졌는지, 자체 코드에서 시간이 얼마나 소요됐는지 살펴보고 실패한 모델 호출과 호출 비용도 함께 확인합니다.
- 에이전트 지연 시간 느린 에이전트의 원인 3가지를 각각 재현하고 수정합니다. 순차 모델 호출 시간을 3.7초에서 1.8초로 줄인 사례와 자체 코드에 있는 느린 도구를 살펴봅니다. 한 줄 답변에도 추론을 수행하는 문제를 함께 다루고 원인별 수정 결과를 확인합니다.
- 에이전트 비용 에이전트 비용이 높아지는 4가지 원인을 각각 재현하고 수정합니다. 타임스탬프가 캐시를 깨는 사례에서 캐시 적중률을 0%에서 73%로 높인 수정 결과를 확인하고, 계속 늘어나는 컨텍스트, 반복되는 재시도 루프, 잘못된 모델 선택의 문제와 해결을 살펴봅니다.
- 에이전트 디버깅 라벨을 기준으로 특정 사용자 한 명의 에이전트 실행을 찾은 뒤 트레이스에 기록된 세 가지 실패를 살펴봅니다. 재시도가 발생한 404 오류, HTTP 상태 200이지만 중간에 잘린 응답, 두 번째 턴에서 발생한 400 오류를 각각 확인합니다.
- 코딩 에이전트 비용 게이트웨이를 통해 수행한 Claude Code 1회 실행의 비용을 에이전트별로 나눠 분석했다. 전체 청구액은 $0.17이며, 에이전트 3개 각각의 첫 호출 비용을 합하면 전체의 72%다. 게이트웨이를 사용하는 데 필요한 설정은 환경 변수 2개다.
- 에이전트 로그 관련 질문 LLM 게이트웨이를 Claude의 커스텀 커넥터로 추가한 뒤 로그인하고, 요청 로그에 대한 읽기 권한을 부여합니다. 연결 후 Claude 채팅에서 질문 3개를 던지고, 이 과정에서 실행된 도구 호출 총 14회와 결과를 확인했습니다.
- 에이전트 로그 도구 API 키로 LLM 게이트웨이의 MCP 로그 도구를 자체 에이전트에 연결합니다. 소형 모델을 사용한 한 차례 비용 조사에는 $0.0015가 들었고, 고정 REST 쿼리는 $0였습니다. 모델 기반 조사와 정해진 쿼리 실행의 비용 차이를 비교합니다.
- 프롬프트 버전 관리 LLM 프롬프트를 라이브러리에 저장하고 prompt_id로 호출하며, 라벨을 옮겨 배포합니다. 실측 결과 라벨 변경이 실제 호출에 반영되기까지 8~9초가 걸렸고, 프롬프트 토큰 수는 인라인 방식과 동일한 114.5개로 측정됐습니다.
- 프롬프트 롤아웃 세션 단위로 운영 트래픽의 10%를 새 프롬프트 버전에 배분하도록 설정했습니다. 측정 결과 200개 세션 중 8.0%가 새 버전을 사용했고, 모든 세션이 한 버전을 유지했으며, 호출당 비용은 1.94배였습니다. 실제 배분율은 목표보다 2.0%포인트 낮았습니다.
- 프롬프트 테스트 프롬프트를 줄이는 과정에서 규칙 하나가 빠졌다. 새 메시지 110개를 테스트하자 짧은 새 버전은 주문 번호를 18번(16%) 누락했고, 기존 버전은 한 번도 누락하지 않았다. 반면 40행으로 진행한 단일 실행에서는 누락이 없어 전체 평가와 다른 결과를 보였다.
