Claude로 LLM 로그 분석: API 키 없는 OAuth MCP 커넥터

LLM 게이트웨이를 Claude의 커스텀 커넥터로 추가한 뒤 로그인하고, 요청 로그에 대한 읽기 권한을 부여합니다. 연결 후 Claude 채팅에서 질문 3개를 던지고, 이 과정에서 실행된 도구 호출 총 14회와 결과를 확인했습니다.

2026년 10월 11일

모델	평가	가격
Claude Fable 5.1 도구 호출 14회로 요청 로그에 관한 세 가지 질문에 답했습니다. 모든 비용, 토큰 수, 요청 수, 상태가 청구 기록과 일치했으며, 비용이 가장 많이 발생한 세션에 대한 설명도 일치했습니다.	채팅에 사용된 모델	$10/100만부터

Claude에 게이트웨이를 추가하려면?

이름과 서버 URL을 입력해 커스텀 커넥터를 추가합니다. Claude에서 사용자 지정(Customize)을 열고 커넥터(Connectors)로 이동한 뒤, 추가(Add)를 누르고 “커스텀 커넥터 추가(Add custom connector)“를 선택합니다.

이름에 Synthorai, MCP 서버 URL에 https://synthorai.io/v1/mcp가 입력된 커스텀 커넥터 추가 대화 상자

계속(Continue)을 누르면 Claude가 서버를 확인합니다. 이어서 연결 방식을 보여주는데, 서버가 제공한 정보에서 다음 두 설정을 이미 감지한 상태입니다.

인증: “지금 로그인(Sign in now)”. 각 사용자는 도구를 쓰기 전에 서버에 로그인합니다. OAuth 방식으로, 서버가 브라우저에서 연결 승인을 요청하고 Claude에 액세스 token을 발급합니다. API 키를 입력하거나 파일에 저장할 필요가 없습니다.
OAuth 클라이언트: “자동 등록(Register automatically)”. 연결할 때 Claude가 서버에 자신을 등록합니다. 별도로 클라이언트 ID를 만들 필요가 없습니다.

감지된 설정을 그대로 두고 추가(Add)를 누릅니다. Claude가 연결 승인을 위해 Synthorai로 이동시킵니다. 커넥터 페이지에 연결이 만료됐다고 나오면 재연결(Reconnect)을 누릅니다. 저희도 이 경로로 승인 페이지에 들어갔습니다.

로그인할 때 무엇을 승인하나요?

워크스페이스, 연결 목적, 접근할 데이터, 접근 만료 시점을 선택합니다. 이 페이지는 게이트웨이가 제공합니다. 게이트웨이 콘솔에 로그인하지 않았다면 먼저 로그인을 요청합니다.

Claude가 Synthorai에 연결하려 한다는 제목의 승인 페이지. 워크스페이스 선택기, 모델 실행과 워크스페이스 조회 및 관리라는 두 가지 목적, 요청 로그만 선택된 5개 체크박스, 읽기 전용 접근 권한, 1일, 7일, 30일, 90일 중 7일이 선택된 만료 설정

워크스페이스. 연결 하나가 볼 수 있는 워크스페이스는 하나입니다. 질문할 요청이 저장된 워크스페이스를 선택합니다.
연결 목적. “모델 실행(Run models)“을 선택하면 Claude가 게이트웨이를 통해 모델을 호출하고, 비용은 워크스페이스에 청구됩니다. 이 글에서는 “워크스페이스 조회 및 관리(Read and manage the workspace)“를 선택합니다. 아래에서 체크한 권한만 부여됩니다.
Claude가 사용할 데이터. 사용량 및 잔액, 요청 로그, prompt 라이브러리, API 키(읽기 전용), 멤버와 감사 로그 및 설정의 5개 그룹이 있습니다. 저희는 요청 로그만 체크했습니다.
접근 권한. 읽기 전용입니다. 저희 워크스페이스는 설정상 MCP를 통한 변경을 허용하지 않으므로, 페이지에 다른 선택지가 없습니다.
접근 만료 기간. 1일, 7일, 30일, 90일 중 선택합니다. 저희는 7일로 두었습니다.

허용(Allow)을 누르면 브라우저가 Claude로 돌아옵니다. Claude는 커넥터가 연결됐다고 표시하고 도구 목록을 보여줍니다.

Claude의 Synthorai 커넥터 페이지. 요청 1건 조회, 세션 목록 조회, trace 목록 조회, 요청 로그 검색의 읽기 전용 도구 4개가 모두 승인 필요로 설정된 상태

커넥터의 도구는 search_requests, get_request, list_sessions, list_traces의 4개이며 모두 읽기 전용입니다. 어떤 호출이 있었고 결과가 어땠는지, 즉 모델, 상태, token 수, 비용, 시간 정보, 세션, trace, 라벨을 반환합니다. prompt나 응답 본문은 반환하지 않습니다. 이 페이지에서 각 도구를 항상 허용, 실행 전 확인, 차단으로 설정할 수도 있습니다.

게이트웨이에서는 연결이 어디에 표시되나요?

API 키의 관리자 키(Admin keys) 탭에 별도 키로 표시됩니다.

관리자 키 탭의 MCP: Claude 키. MCP 연결 태그, logs.read 범위, 10월 17일 만료, 활성 상태, 수정, 비활성화, 삭제 버튼이 표시됨

키 이름은 MCP: Claude이고, 체크한 범위 하나(logs.read)만 부여되며, 선택한 날짜에 만료됩니다. 범위(scope)는 키에 연결된 권한입니다. 키 값을 직접 보거나 다룰 일은 없지만, 여기서 비활성화하거나 삭제할 수 있습니다. 그러면 Claude에 무엇이 저장돼 있든 연결은 즉시 끊깁니다.

무엇을 물었고, 답은 맞았나요?

이 시리즈의 데모가 방금 생성한 요청에 대해 질문 3개를 던졌습니다. 답변의 모든 수치는 데모 스크립트가 출력한 과금 기록과 일치했습니다. 각 질문에는 조회 범위를 제한할 시간대와 라벨을 명시했습니다. 라벨은 애플리케이션이 요청마다 X-Synthorai-Metadata 헤더로 보내는 키와 값입니다. 데모는 모든 요청에 feature, case(재현하는 문제), variant(문제가 있는 실행은 before, 이를 수정한 짝은 after) 라벨을 붙입니다. 답변에 등장하는 prompt 캐싱은 반복되는 prompt 접두부에 더 낮은 요금을 적용합니다. 처음 전송할 때는 쓰기로, 이후에는 읽기로 과금합니다.

Synthorai 커넥터를 사용하세요. 2026-10-11T11:24:00Z부터 2026-10-11T11:32:00Z까지의 요청 중 feature = support-agent 라벨이 있는 요청만 확인하세요. case = cache-miss, case = context-growth 또는 case = replay-mismatch 라벨이 있는 세션 중 비용이 가장 많이 든 세션은 무엇이며, token 수에서 그 이유를 어떻게 확인할 수 있나요?

첫 번째 질문의 채팅 화면. Synthorai 세션 목록 조회 3회와 요청 로그 검색 1회의 도구 호출 목록, replay-mismatch-a14896679e70이 요청 6건에 $0.00383069로 가장 비쌌다는 답변 시작 부분, 6개 턴의 입력 token, 캐시 token, 캐시 쓰기, 비용 표

질문	Claude의 답변	도구 호출	과금 기록
`cache-miss`, `context-growth`, `replay-mismatch` 중 어느 세션이 가장 비쌌고, 이유는 무엇인가?	`replay-mismatch-a14896679e70`, 요청 6건에 $0.003831. 입력 token 24,557개 중 캐시에서 읽은 것은 0개. 수정한 짝은 24,702개 중 18,844개를 캐시에서 읽었고 비용은 $0.001522	3 × `list_sessions`, 1 × `search_requests`	$0.003831, 입력 24,557개, 캐시 0개; $0.001522, 입력 24,702개, 캐시 18,844개
수정 전후의 `cache-miss` 세션 두 개를 비교해 달라	수정 전: 입력 token 5,579개, 캐시 0개, $0.001497. 수정 후: 5,729개, 캐시 4,157개(73%), $0.001113로 25.6% 감소	2 × `list_sessions`, 1 × `search_requests`	5,579개, 0개, $0.001497; 5,729개, 4,157개, $0.001113
`u_1001`의 요청 중 실패한 것이 있는가? `u_1002`는?	`u_1001`의 요청 11건 중 1건이 존재하지 않는 모델로 인해 404로 실패했고, 1초 뒤 재시도에 성공. `u_1002`의 요청 10건은 모두 성공	7 × `search_requests`	두 대화에서 호출 21회, 404 1건

답변에는 수치를 옮겨 적는 것 이상의 내용이 3가지 있었습니다.

사용법을 알려주지 않아도 라벨을 활용했습니다. 채팅에서 도구 호출을 열면 인수를 볼 수 있습니다. 첫 번째 list_sessions 호출에는 case = cache-miss와 feature = support-agent의 labels, 시간 범위, 한도 50이 들어 있었고, 각 case마다 한 번씩 호출했습니다. 세 번째 질문에서는 먼저 사용자를 담은 필드를 찾아 _user 라벨을 확인한 뒤, 그 라벨로 필터링했습니다.
사람이라면 해볼 비교를 찾아냈습니다. 첫 번째 답변의 세션은 LLM 에이전트 비용이 많이 드는 이유에서 메시지가 전송된 형태와 다르게 저장됐던 세션입니다. Claude는 variant = after 라벨로 수정된 짝을 찾고, 두 세션의 prompt 양이 거의 같다는 점을 짚었습니다. 이어서 캐시에 쓴 token과 캐시에서 읽은 token의 차이로 비용이 2.5배 벌어졌다고 설명했습니다. 비싼 세션을 턴별로도 나열했는데, prompt가 커지면서 첫 번째 턴에서 여섯 번째 턴까지 비용이 대략 두 배가 되는 것을 볼 수 있습니다.
수치로 알 수 있는 것과 알 수 없는 것을 구분했습니다. 두 번째 답변은 수정된 세션의 출력이 더 많았으므로(1,599 token 대비 1,750 token), 입력에서만 절약한 비율은 전체 비용 감소율인 25.6%보다 크다고 짚었습니다. 첫 번째 답변에서는 커넥터가 prompt 내용을 반환하지 않으므로 무엇이 캐시 일치를 깨뜨렸는지는 확인할 수 없다고 밝혔습니다.

두 번째 질문의 답변. 수정 전후 cache-miss 세션의 입력 token 5,579개와 5,729개, 캐시 token 0개와 4,157개, 비용 0.00149658과 0.00111276, 25.6% 감소를 보여주는 표와 각 세션의 캐시 쓰기 및 읽기 내역

첫 번째 답변은 수치뿐 아니라 설명도 검증했습니다. 해당 세션의 모델은 GPT-6 Luna입니다. 백만 token당 요금은 입력 $0.10, 캐시에서 읽은 입력 $0.01, 캐시에 쓴 입력 $0.125, 출력 $0.50입니다. 이 단가를 적용하면 비싼 세션의 캐시 쓰기 24,539 token, 그 외 입력 18 token, 출력 1,523 token은 $0.003831입니다. 수정한 짝의 쓰기 5,840 token, 읽기 18,844 token, 그 외 입력 18 token, 출력 1,204 token은 $0.001522입니다. 둘 다 실제 청구액과 일치하므로, 캐시 쓰기와 읽기의 차이라는 설명도 맞습니다.

답변에서 무엇을 확인해야 하나요?

먼저 도구 호출의 조회 범위를 확인하고, 요금이나 환경 설정에 따라 달라지는 설명을 확인하세요. 저희가 받은 답변 3개의 수치는 정확했습니다. 도구 결과에서 그대로 가져온 수치가 가장 확실합니다. 백분율과 비율은 모델이 직접 계산하므로 다시 확인해야 합니다. 다음 4가지는 여전히 판단을 흐릴 수 있습니다.

답변의 범위는 도구가 조회한 범위로 제한됩니다. 각 호출에는 시간 범위, 라벨, 한도가 있습니다. 채팅에 모든 호출과 인수가 표시되므로, “가장 비싼 세션”을 전체 세션에서 골랐는지 처음 50개에서만 골랐는지 확인할 수 있습니다.
원인 설명은 일반 지식에 기반합니다. 기록에는 일어난 일이 담겨 있습니다. 왜 일어났는지는 모델의 추론이므로, 사용하는 모델이나 요금과 맞지 않을 수 있습니다. 설명을 근거로 조치하기 전에 위에서 했듯 수치 하나를 직접 계산해 보세요.
시간은 계정의 시간대로 표시됩니다. 로그는 UTC이고 질문도 UTC로 했습니다. 답변의 시간은 Claude 계정에 설정된 태평양 시간으로 나왔으므로, 질문의 UTC 범위와 대조해야 합니다.
도구는 본문을 반환하지 않습니다. Claude는 요청이 404로 실패했다는 사실과 오류 메시지를 알려줄 수 있습니다. 사용자가 무엇을 물었는지는 알려줄 수 없으며, 그 정보가 필요한 질문에는 볼 수 없다고 답합니다.

질문에 라벨과 좁은 시간 범위를 지정하면 답변의 정확도를 높이면서 대화량도 줄일 수 있습니다. 도구가 반환한 모든 행이 대화에 들어가기 때문입니다.

비용은 얼마이며, 어떻게 안전하게 사용하나요?

로그 도구 호출은 무료이고 모델 사용은 Claude 요금제에 포함되므로, 질문해도 게이트웨이 청구액은 늘어나지 않습니다. 도구 결과도 대화에 포함되기 때문에 조사가 길어지면 요금제 사용량은 소진됩니다.

연결은 승인한 범위 안에서만 동작합니다.

데이터 그룹 하나. 요청 로그만 체크했으므로 잔액, prompt, 키, 멤버를 조회하는 도구는 없습니다.
읽기 전용. 데이터를 변경하거나 모델을 호출하는 도구는 없습니다.
만료일. 선택한 기간이 지나면 키가 만료됩니다. 그 전에 삭제할 수도 있습니다.
prompt와 응답 본문 제외. 도구는 메타데이터만 반환합니다.
Claude의 도구 권한. 각 도구를 실행 전에 확인하도록 설정할 수 있으며, 커넥터 페이지의 기본값도 이 설정입니다. 저희 채팅은 Claude의 Auto 권한 모드에서 실행했습니다. 이 모드에서는 Claude가 커넥터를 자율적으로 사용하고, 안전하지 않아 보이는 경우에만 멈춥니다. 따라서 읽기 전용 호출은 승인 요청 없이 실행됐습니다.

이런 채팅을 공유할 때는 주의하세요. 답변에 세션 ID, _user 라벨의 사용자 ID, 모델 이름이 포함될 수 있습니다.

자주 묻는 질문

Claude가 내 LLM 요청 로그를 읽을 수 있나요?

로그를 제공하는 MCP 서버에 커넥터로 연결하면 읽을 수 있습니다. Synthorai 게이트웨이를 커스텀 커넥터로 추가하고 로그인할 때 요청 로그 접근을 승인하면, Claude는 요청을 검색하고 세션과 trace 목록을 조회하며 비용, token 수, 상태, 라벨을 읽을 수 있습니다. 도구가 prompt나 응답 본문을 반환하지 않으므로 그 내용은 읽을 수 없습니다.

Claude를 MCP 서버에 연결하려면 API 키가 필요한가요?

서버가 OAuth 로그인을 지원하면 필요하지 않습니다. https://synthorai.io/v1/mcp를 커스텀 커넥터로 추가하면 승인 페이지로 이동합니다. 게이트웨이는 체크한 범위만 부여하고 만료 기간을 1일부터 90일까지로 설정한 연결용 키를 직접 생성합니다. 키는 API 키 목록에 표시되며, 거기서 삭제할 수 있습니다.

Claude의 로그 분석은 얼마나 정확한가요?

Claude Fable 5.1으로 테스트했을 때 답변 3개의 모든 수치가 과금 기록과 일치했습니다. 비용, token 수, 요청 수, 상태 코드가 모두 맞았습니다. 가장 비싼 세션에 대한 설명도 모델 요금으로 청구액을 다시 계산했을 때 정확했습니다. 그래도 답변이 어떤 도구 호출에 근거하는지는 확인해야 합니다.

Claude에 게이트웨이 로그를 물어보면 비용이 얼마나 드나요?

게이트웨이 청구액은 늘어나지 않습니다. 로그 도구는 무료이며, 이 글의 질문 3개는 도구를 14회 호출했습니다. 모델 사용은 Claude 요금제 사용량에 반영됩니다. API로 질문하는 프로그램은 대신 자체 모델 token 비용을 지불하며, 에이전트에 로그 도구 제공하기에서 그 비용을 측정합니다.

Claude를 요청 로그에 연결해도 안전한가요?

승인한 범위에 따라 달라집니다. 이 연결은 데이터 그룹 하나(요청 로그), 읽기 전용 권한, 7일 만료로 제한했고, prompt나 응답 본문에는 접근할 수 없었습니다. 워크스페이스를 변경하거나 모델을 호출할 수 없으며, API 키에서 연결용 키를 삭제하면 연결이 종료됩니다.

LLM 에이전트 추적하기: 이 글의 질문에서 필터로 사용하는 세션 ID와 라벨을 요청에 붙이는 방법.
LLM 에이전트 비용이 많이 드는 이유: 첫 번째와 두 번째 질문에서 살펴본 세션.
LLM 에이전트가 느린 이유와 LLM 에이전트 디버깅하기: 같은 유형의 조사를 콘솔에서 직접 수행하는 방법.
Claude Code의 하위 에이전트별 비용: 같은 로그에서 Claude Code 자체 세션이 어떻게 보이는지.
에이전트에 로그 도구 제공하기: API 키를 사용하는 프로그램에서 같은 도구를 호출하는 방법과 모델 token 비용.
MCP 서버 레퍼런스: 전체 도구, 키 범위, 연결을 제한하는 방법.

← 활용 사례