Blog di ingegneria
I veri problemi di ingegneria incontrati costruendo un gateway API per LLM.
GLM 5.2: il reasoning effort è la leva sui costi
GLM 5.2 costa poco su Synthorai, ma il costo per task è una manopola del reasoning effort: regolala bene e batte i modelli di frontiera; il default illimitato è la trappola.
La retention di 30 giorni di Claude Fable 5: ZDR, HIPAA, COPPA
Fable 5 non gira in modalità zero data retention: i 30 giorni di storage sono obbligatori su ogni cloud. Cosa cambia per le app consumer e i settori regolamentati.
Prompt Caching per LLM: la guida completa 2026
Una serie in cinque parti sul prompt caching per LLM: architettura della KV cache, confronto tra provider, tutorial in Python, matrice modello-per-caso-d'uso, integrazione con LangChain.
-
Minimi per il prompt cache: la documentazione sottostima di 1,4–2,4x
I vendor pubblicano un minimo di token per il prompt cache. Misurato su diverse famiglie di LLM, l'auto-cache richiede 1,4–2,4x più di quanto dichiarato; il cache esplicito di Claude è esatto.
-
Guida ai costi di GPT-5.6: prompt caching scontato al 90%, reasoning effort
Le due leve di costo di GPT-5.6, misurate: i breakpoint espliciti fatturano l'input in cache al 10% della tariffa, e non inviare reasoning_effort costa 1,5 volte di più rispetto a none.
-
Qual è l'LLM più economico per la tua lingua? Misurati i costi del tokenizer
GPT-5.5 fattura meno token per le lingue europee, Kimi per il cinese, DeepSeek per il giapponese; Claude Fable 5, Opus 4.8 e Sonnet 5 vanno da 1,2 a 2,3x. Misurato.
-
Claude Fable 5 per gli agent: rifiuti a metà tool-call, costi rispetto a GLM 5.2
Claude Fable 5 su cinque workload agent contro glm-5.2, opus-4-8 e sonnet-5: rifiuti a metà tool-call, thinking adattivo e costi che variano da 5 a 15 volte a seconda della forma.
-
LangChain Prompt Caching: Configurazioni che Colpiscono Davvero la Cache
La sintassi più comoda di LangChain disabilita silenziosamente il prompt cache di Claude. Correzioni misurate: cache_control via content block, posizionamento delle variabili, campi usage.
-
Il nuovo tokenizer di Claude Sonnet 5: il 41% di token in più per prompt
Il nuovo tokenizer di Claude Sonnet 5 trasforma lo stesso testo in circa il 41% di token in più rispetto a Sonnet 4.6, cambiando costi, budget e idoneità alla cache sul gateway.
-
Chiamate a tool con GLM 5.2 negli agent loop: cosa nasconde 'OpenAI-compatible'
GLM 5.2 parla l'API di tool calling di OpenAI, ma il testo viaggia insieme alle chiamate ai tool e il reasoning compare nel turno. Come si posiziona rispetto a OpenAI e Anthropic.
-
Cosa può e non può dirti un semplice test di trascrizione
Sette modelli dedicati alla trascrizione su un semplice test multilingue: l'audio pulito è un problema risolto ovunque, quindi conta il costo, la copertura e lo streaming, non l'accuratezza.
-
Cosa determina davvero la tua bolletta per la generazione di immagini
Costo della generazione di immagini su un gateway LLM, misurato tra modello, risoluzione e qualità. È la qualità, non il caching, a decidere la fatturazione per token o per immagine.
-
Caching per LLM open-weight: perché il tuo è una roulette del provider
Per gli LLM open-weight il prompt caching è risolto nel motore di inferenza e rotto dal routing. Una mappa a cinque livelli, misurata su DeepSeek, Qwen e Kimi.
-
Caching di Claude Fable 5: stesso contratto, ma la spesa è 2,9x rispetto a Opus 4.6
Claude Fable 5 è ora disponibile su Synthorai. Prompt caching, TTL, tokenizzazione e costi misurati contro Opus 4.6/4.8: stesso contratto di cache, nuovo tokenizer, spesa ~2,9x.
-
Provider Drift: come il routing di default fa lievitare i costi degli LLM
Sul routing di default di un gateway multi-provider, richieste identiche si disperdono su upstream diversi con cache separate. L'hit rate crolla e il conto sale.
-
Il tuo gateway LLM mente sulla cache? Un audit in 5 minuti
I gateway possono segnalare cache hit mentre ti fatturano il prezzo pieno. Uno script controlla in cinque minuti sia l'auto-cache (DeepSeek) che quella basata su marker (Claude).
-
Claude Opus 4.8 su Synthorai: caching e TTL rispetto a 4.7/4.6
Claude Opus 4.8 è disponibile su Synthorai. Comportamento misurato di prompt caching e TTL rispetto a Opus 4.7/4.6 — cosa resta invariato, più il cambio di tokenizer da riverificare.
-
Miglior LLM per Chat, RAG e Agenti: Matrice Decisionale Modello + Costi 2026
Matrice decisionale che abbina i carichi LLM — chatbot, API RAG, agenti AI — al modello e alla strategia di caching giusti. Prezzi reali 2026, calcoli di costo per ogni scenario.
-
Prompt Caching LLM in Python: tutorial con codice funzionante
Risparmi da prompt-cache misurati su Claude, GPT-5, Gemini 2.5, DeepSeek-v4 e Qwen3 tramite il gateway OpenAI-compatibile di Synthorai. usage.cost e TTFT reali.
-
Confronto del Prompt Caching: Claude, GPT-5, Gemini, DeepSeek, Qwen (2026)
Anthropic Claude, OpenAI GPT-5, Gemini 2.5, DeepSeek-v4 e Qwen3 espongono il prompt caching in cinque forme diverse — confronto delle feature misurato al 2026.
-
Come funziona il caching dei prompt negli LLM: KV Cache e TTL spiegati
Come funziona davvero il prompt caching negli LLM: la matematica dell'attention nei Transformer dietro il riuso di K/V, il tradeoff memoria-computazione che definisce il TTL e perché riduce costo e TTFT.