Cosa stai costruendo?
Scelte basate su misure, scenario per scenario: prezzi live, niente marketing.
- Chatbot Chatbot passo passo: scelta del modello, Stop lato provider, budget del contesto misurato, compressione in memoria e ricerca web via gateway.
- Tracciamento degli agenti Aggiungi tre header alle chiamate al modello dell'agente e visualizza ogni esecuzione: chiamate parallele, tempo nel tuo codice, errori e costi.
- Latenza dell'agente Tre cause di lentezza riprodotte e risolte: chiamate seriali (da 3.7 s a 1.8 s), un tool lento nel codice e reasoning per risposte di una frase.
- Costo dell'agente Quattro cause di costi elevati, riprodotte e corrette: timestamp che blocca la cache (hit da 0% a 73%), contesto crescente, loop di retry e modello sbagliato.
- Debug dell'agente Trova l'esecuzione di un utente tramite un'etichetta e analizza tre errori nella trace: un 404 con retry, risposte troncate con stato 200 e un 400 al secondo turno.
- Spesa dell'agente di coding Una sessione Claude Code via gateway: le prime chiamate dei tre agenti valgono il 72% dei $0.17 spesi. Bastano due variabili d'ambiente per configurarlo.
- Domande sui log dell'agente Aggiungi un gateway LLM a Claude come connettore personalizzato, accedi, autorizza la lettura del log delle richieste e fai domande in chat. Tre domande, 14 chiamate ai tool, risultati verificati.
- Strumenti per i log degli agenti Dai al tuo agente i tool di log di un gateway LLM via MCP con una chiave API. Un'indagine sui costi è costata $0.0015 con un modello piccolo; una query REST predefinita $0.
- Versionamento dei prompt Conserva i prompt LLM in una libreria, richiamali con prompt_id e pubblica spostando un'etichetta. Misurazioni: 8-9 s sulle chiamate reali, gli stessi 114.5 token di prompt della richiesta inline.
- Rollout del prompt Invia il 10% del traffico a un nuovo prompt, per sessione. Su 200 sessioni, l'8.0% lo ha usato, nessuna ha cambiato versione e il costo per chiamata è stato 1.94x.
- Test dei prompt Il prompt più breve perdeva una regola: su 110 nuovi messaggi ometteva il numero d'ordine 18 volte (16%), il vecchio mai. Ma un test da 40 righe non rilevava errori.
