閘道背後的團隊

Synthorai 是內建治理的 AI 閘道，提供 SaaS、託管的企業版執行個體，也能部署在你自己的網路裡。會做這個產品，是因為我們待過的每家公司，都得把同一套底層工程重做一遍：供應商容錯移轉、用量計量、合規審查。這一次我們只做一次，而且直接把它做成產品。

我們做什麼

一個 OpenAI 相容端點，後面接各大供應商的模型，涵蓋聊天、圖像、語音、影片和即時語音。端點背後是提示詞快取親和性（讓快取折扣拿得到）、當機也不會算錯的用量計費，以及可依模型設定規則的 BYOK 保管庫。

SaaS 不收平台費，BYOK 也不加價，模型用量依供應商官網價計費。我們收費的是企業版和私有部署的平台。

我們是一支小型工程團隊，成員有資安與合規背景。做 Synthorai 之前，我們花了多年打造金鑰管理、稽核軌跡和資料治理系統。

從 GPT-3 開始，我們就在正式環境跑 AI 工作負載，這一層也是我們最熟的部分：token 怎麼計量、快取在不同供應商之間的行為有什麼差異，以及閘道出狀況時怎樣才不會連計費一起弄壞。

這些經驗決定了產品的預設做法：全面加密、最小權限、不留存提示詞，並且把計費正確當成硬性要求，而不只是一項功能。

困難的部分是怎麼運作的，我們都會寫成文章，包括出錯時的狀況：請求在串流途中斷掉時計費怎麼維持正確、我們怎麼稽核自己的快取帳務、提示詞快取在不同供應商之間怎麼對應。說法只要能驗證，我們就附上佐證：工程部落格 →

預設只能呼叫供應商不拿你的資料去訓練的模型。其他模型必須由你主動開啟，並且以工作空間為單位強制執行。請求和回應的內容預設只轉送、不儲存；我們會保存請求的中繼資料，用於計費。每個工作空間都可以鎖定在美國、歐盟或亞太區域。