Engineering-Blog
Echte Engineering-Probleme, auf die wir beim Bau eines LLM-API-Gateways gestoßen sind.
GLM 5.2 Reasoning Effort: Mit dieser Einstellung sinken die Kosten um den Faktor 20 (gemessen)
Dieselbe Coding-Antwort: $0.0031 mit korrekt gesetztem Reasoning Effort statt $0.062 mit dem unbegrenzten Default von GLM 5.2. 20-mal günstiger, 30-mal schneller. So wählst du die passende Stufe für jede Aufgabe.
Claude Fable 5 läuft nicht unter ZDR: 30 Tage Aufbewahrung sind Pflicht
ZDR-Organisationen erhalten bei claude-fable-5 einen 400-Fehler: Weder in der Claude API noch in Bedrock, Vertex oder Foundry gibt es ein Opt-out. Was das für HIPAA/COPPA bedeutet und wie sich das Routing anpassen lässt.
LLM-Prompt-Caching: Der komplette Leitfaden 2026 (50–90 % weniger Input-Kosten)
So funktioniert Prompt-Caching bei Claude, GPT, Gemini und DeepSeek: 50–90 % weniger Input-Kosten und 3–10× kürzere TTFT. Architektur, Provider-Vergleich und Python-Code.
-
Claude Opus 5 vs. Opus 4.8 im Praxistest: gleicher Preis, dreifache Kosten
Opus 5 und Opus 4.8 haben dieselben Listenpreise von $5/$25. Mit der Standardkonfiguration kostete Opus 5 bei identischen Aufgaben trotzdem 3.1x so viel. Wohin das Geld fließt und welche Einstellung die Lücke schließt.
-
Spracherkennungs-APIs: 14 Modelle von $0.002 bis $0.016 pro Minute
14 Spracherkennungs-APIs hinter einem Gateway: Minutenpreise, Streaming-Support, die effektiven Minutenkosten der tokenbasierten gpt-4o-Modelle und die in vielen Vergleichen fehlende chinesische ASR-Klasse.
-
Gemini 3.6 Flash: Der Thinking-Regler, der die Kosten um den Faktor 30 verändert (gemessen)
Gemini 3.6 Flash berechnet unsichtbare Reasoning-Tokens, und eine einzige Request-Einstellung kann die Kosten derselben Aufgabe um den Faktor 30 verändern. Gemessen an fünf Aufgabentypen – mit einem Haken.
-
Seedance-API-Preise im Praxistest: die Formel für Video-Token entschlüsselt
Seedance berechnet W×H×(24s+1)/1024 Video-Token. Wir haben die Formel exakt bestimmt: 720p wird als 1248×704 abgerechnet, und trotz des günstigeren Tarifs kostet 4k pro Sekunde 2.1x mehr. Gemessen.
-
GPT-5.6 Prompting Guide: Zwei Defaults, die 1,5- bzw. 10-mal so viel kosten
Die Defaults von GPT-5.6 sind teuer: Ohne reasoning_effort fallen 1,5-mal so hohe Kosten an wie mit 'none'; nicht markierte Präfixe kosten das Zehnfache eines Cache Reads. Ein vermessenes Playbook für die Request-Struktur.
-
Kimi-K3-API-Preise im Praxistest: So lässt sich das standardmäßige Reasoning abschalten
Laut Kimi-K3-Dokumentation lässt sich Reasoning nicht deaktivieren. reasoning_effort:'none' funktioniert dennoch und senkt die Kosten einfacher Anfragen um den Faktor 6. Gemessen: Effort-Stufen, Cache-Untergrenze und Preise für 9 Sprachen.
-
Preise der GPT Realtime API: Sprechen kostet viermal so viel wie Zuhören (gemessen)
gpt-realtime-2.1 berechnet $0.019/min fürs Zuhören und $0.077/min fürs Sprechen; Stille ist kostenlos, gecachte Wiederholungen kosten 1/80. Gemessene Minutenpreise, Cache-Mechanik und Szenariokosten.
-
LLM-Tokenverbrauch: Warum eine Antwort mit 4 Tokens als 217 Tokens abgerechnet wird
Messungen mit GPT-5.6, Claude Fable 5, Qwen3.7-max und fünf weiteren Modellfamilien zeigen: Reasoning dominiert die Output-Kosten. So liest und begrenzt man jedes Usage-Feld.
-
Mindestgrößen beim Prompt-Caching: Die Dokumentation liegt um den Faktor 1.4–2.4 zu niedrig
Anbieter veröffentlichen eine Mindestzahl an Tokens für den Prompt Cache. Messungen über mehrere LLM-Familien zeigen: Automatische Caches benötigen 1.4–2.4-mal mehr als dokumentiert; Claudes expliziter Cache hält die Angaben exakt ein.
-
GPT-5.6-Kostenleitfaden: 90 % Rabatt durch Prompt Caching, Reasoning Effort
Die beiden Kostenhebel von GPT-5.6 im Test: Explizite Breakpoints senken den Preis für gecachten Input auf 10 % des regulären Tarifs. Ohne reasoning_effort lagen die Kosten 1,5-mal so hoch wie mit none.
-
Welches LLM ist für deine Sprache am günstigsten? Tokenizer-Kosten im Vergleich
GPT-5.5 berechnet für europäische Sprachen die wenigsten Tokens, Kimi für Chinesisch und DeepSeek für Japanisch; Claude Fable 5, Opus 4.8 und Sonnet 5 liegen beim 1.2- bis 2.3-Fachen. Gemessene Werte.
-
Claude Fable 5 für Agents: Tool-Call-Refusals und Kosten im Vergleich zu GLM 5.2
Claude Fable 5 in fünf Agent-Workloads im Vergleich zu glm-5.2, opus-4-8 und sonnet-5: Refusals mitten im Tool Call, adaptives Thinking und je nach Workload 5- bis 15-fache Kosten.
-
LangChain Prompt-Caching: Setups, die den Cache tatsächlich treffen
Die bequemste LangChain-Syntax deaktiviert Claudes Prompt-Cache unbemerkt. Gemessene Lösungen: cache_control in Content-Blöcken, richtige Variablenplatzierung und relevante Usage-Felder.
-
Der neue Tokenizer von Claude Sonnet 5: 41 % mehr Tokens pro Prompt
Der neue Tokenizer von Claude Sonnet 5 erzeugt für denselben Text rund 41 % mehr Tokens als Sonnet 4.6. Das wirkt sich im Gateway auf Kosten, Budgets und die Cache-Nutzung aus.
-
GLM 5.2 Tool Calls in Agent Loops: Was „OpenAI-kompatibel“ verschweigt
GLM 5.2 unterstützt die OpenAI API für Tool Calls, liefert dabei aber Text zusammen mit den Tool Calls und zeigt Reasoning im selben Turn. Ein Vergleich mit OpenAI und Anthropic.
-
Kosten von Transkriptions-APIs: 7 Modelle mit demselben Audiomaterial
Sieben Transkriptionsmodelle, ein mehrsprachiger Audiosatz und ein Gateway: Die Kosten pro Minute reichen von $0.0020 bis $0.0164, während die Genauigkeit kaum Unterschiede zeigt.
-
Kosten von APIs zur Bilderzeugung: 5 Modelle im Vergleich ($0.006–$0.039)
Fünf Bildmodelle, dieselben Prompts, ein Gateway: bei Standardeinstellungen $0.006 bis $0.039 pro Bild. Dazu kommt ein Qualitätsregler, der die Kosten eines Modells um den Faktor 36 verändert. Gemessene Werte.
-
Prompt-Caching bei Open-Weight-LLMs: Warum der Provider über Treffer entscheidet
Bei Open-Weight-LLMs ist Prompt-Caching in der Inference Engine gelöst, scheitert aber am Routing. Eine Analyse über fünf Schichten, gemessen mit DeepSeek, Qwen und Kimi.
-
Claude Fable 5 Caching: gleicher Vertrag, 2,9-fache Kosten gegenüber Opus 4.6
Claude Fable 5 ist jetzt auf Synthorai verfügbar. Gemessene Werte zu Prompt Caching, TTL, Tokenisierung und Kosten gegenüber Opus 4.6/4.8: gleicher Cache-Vertrag, neuer Tokenizer, rund 2,9-fache Kosten.
-
Provider-Drift: Wie Default-Routing die LLM-Kosten in die Höhe treibt
Beim Default-Routing eines Multi-Provider-Gateways verteilen sich identische Requests auf Upstreams mit getrennten Caches. Die Hit-Rate bricht ein und die Rechnung steigt.
-
Lügt dein LLM-Gateway beim Cache? Ein 5-Minuten-Audit
Gateways können Cache-Treffer melden und trotzdem den vollen Preis berechnen. Ein einziges Skript prüft automatisches Caching (DeepSeek) und markerbasiertes Caching (Claude) in fünf Minuten.
-
Claude Opus 4.8 auf Synthorai: Caching und TTL im Vergleich zu 4.7/4.6
Claude Opus 4.8 ist jetzt auf Synthorai verfügbar. Gemessenes Verhalten von Prompt Caching und TTL im Vergleich zu Opus 4.7/4.6: Was gleich bleibt und warum die Tokenisierung erneut geprüft werden sollte.
-
Bestes LLM nach Anwendungsfall (2026): Kostenmatrix für Chat, RAG und Agents
Chat, RAG oder Agents? Wähle das günstigste Modell, das die Anforderungen erfüllt – mit gemessenen Kostenschätzungen für eine Agent-Aufgabe mit 15 Schritten und RAG mit 100K Abfragen pro Tag sowie einer Entscheidungsmatrix.
-
LLM-Prompt-Caching mit Python: ein praxisnahes Code-Tutorial
Gemessene Einsparungen durch Prompt-Caching bei Claude, GPT-5, Gemini 2.5, DeepSeek-v4 und Qwen3 über Synthorais OpenAI-kompatibles Gateway. Mit echten Werten für usage.cost und TTFT.
-
Welcher LLM-Prompt-Cache ist am günstigsten? 5 Anbieter im Vergleich (2026)
Claude, GPT-5.x, Gemini, DeepSeek und Qwen bieten fünf unterschiedliche Cache-Modelle: explizit oder automatisch, TTLs von 5 Minuten oder 1 Stunde und Lesezugriffe zum 0.1- bis 0.5-Fachen des Basistarifs. Direkt miteinander verglichen und gemessen.
-
So funktioniert LLM-Prompt-Caching: KV-Cache und TTL erklärt
Wie LLM-Prompt-Caching tatsächlich funktioniert: die Transformer-Attention hinter der Wiederverwendung von K/V, der für die TTL entscheidende Kompromiss zwischen Speicher und Rechenleistung sowie die Auswirkungen auf Kosten und TTFT.