게이트웨이를 만드는 팀

Synthorai는 멀티모달 AI 게이트웨이입니다. API 하나로 LLM, 이미지 생성, 음성 모델을 쓸 수 있습니다. 저희가 거쳐 온 회사마다 똑같은 기반 작업을 처음부터 다시 만들고 있었습니다. 공급자 페일오버, 사용량 계량, 컴플라이언스 검토 같은 것들입니다. 그래서 이번에는 한 번만 제대로 만들어, 그 자체를 제품으로 내놓았습니다.

만들고 있는 것

OpenAI 호환 엔드포인트 하나가 주요 공급자의 모델 117개 이상(채팅, 이미지, 음성)으로 요청을 라우팅합니다. 그 뒤에는 캐싱 할인이 실제로 적용되도록 하는 프롬프트 캐시 어피니티, 크래시가 나도 틀어지지 않게 설계한 종량 과금, 모델별 규칙을 지정할 수 있는 BYOK 볼트가 있습니다.

플랫폼 수수료도, BYOK 추가 수수료도 없습니다. 저희 수익은 고객이 충전해서 게이트웨이를 쓰는 데서 나오지, 덧붙인 수수료에서 나오지 않습니다.

팀 소개

저희는 보안과 컴플라이언스 분야에서 일해 온 작은 엔지니어링 팀입니다. Synthorai를 시작하기 전에는 키 관리, 감사 추적, 데이터 거버넌스 시스템을 여러 해 동안 만들었습니다.

GPT-3 시절부터 프로덕션에서 AI 워크로드를 운영해 왔고, 스택에서 이 계층을 가장 잘 압니다. 토큰이 어떻게 계량되는지, 캐시가 공급자마다 어떻게 다르게 동작하는지, 게이트웨이에 장애가 나도 과금이 틀어지지 않으려면 어떻게 해야 하는지를 압니다.

기본값은 그 경험에서 나왔습니다. 모든 구간을 암호화하고 최소 권한 원칙을 적용하며, 프롬프트는 보관하지 않습니다. 과금 정확성은 부가 기능이 아니라 반드시 지켜야 할 요건으로 다룹니다.

일하는 방식

까다로운 부분이 어떻게 동작하는지, 어떤 식으로 실패하는지까지 글로 공개합니다. 요청이 스트리밍 도중 끊겨도 과금이 정확하게 유지되는 원리, 저희 캐시 정산을 스스로 감사하는 방법, 공급자마다 다른 프롬프트 캐싱을 서로 대응시키는 방식 등입니다. 검증할 수 있는 주장에는 근거를 함께 링크합니다. 엔지니어링 블로그 →

고객 데이터는 저희 상품이 아닙니다

기본 설정에서는 고객 데이터를 학습에 쓰지 않는 공급자의 모델만 호출할 수 있습니다. 그 밖의 모델은 명시적으로 옵트인해야 하며, 이 설정은 워크스페이스 단위로 강제됩니다. 저장하는 것은 과금에 필요한 요청 메타데이터뿐이고, 프롬프트와 응답은 저장하지 않습니다. 추론은 민감한 관할권 밖에 있는 인프라에서 실행됩니다.

회사 정보

Synthorai Technology Inc. · Mountain View, CA 94043 · 2026년 설립
support@synthorai.ai · dev.to/synthorai · x.com/synthoraihq · linkedin.com/company/synthorai-hq · github.com/synthorai-io