Alessandro Nigro.

Agenti AI in produzione: cosa serve oltre al prototipo

Scritto da Alessandro Nigro, Senior Software Engineer, consulente informatico dal 2009 · aggiornato il

Portare agenti AI in produzione vuol dire costruire tutto quello che sta intorno al modello: un set di valutazione che ti dice quando peggiora, strumenti con permessi stretti, un limite di spesa per ogni esecuzione, il registro di ogni passaggio e una persona pronta a subentrare. Il prototipo dimostra che il modello sa fare il compito una volta. La produzione deve dimostrare che lo fa ogni giorno, a un costo noto, senza fare niente che tu non abbia permesso. In questa nota trovi cosa aggiungo fra questi due punti.

Agenti AI in produzione: la risposta in breve

A un agente che funziona nella demo di solito mancano cinque cose. Prima di metterlo in produzione voglio che ci siano tutte:

  • un set di valutazione: casi reali con il risultato atteso, rilanciati a ogni modifica;
  • strumenti che fanno una cosa sola, con i permessi minimi;
  • limiti per ogni esecuzione: passaggi, tempo, token e denaro;
  • il registro di ogni chiamata al modello e agli strumenti, con costo e risultato;
  • un rientro manuale: cosa succede quando l'agente è incerto, sbaglia o tocca un limite.

Valgono con qualunque modello: sono ingegneria del software applicata a un componente che non dà sempre la stessa risposta.

Agente o automazione: la prima scelta

Molti progetti chiamati «agenti» funzionano meglio come flussi di lavoro con passaggi fissi. Anthropic, nella guida Building effective agents, distingue i workflow, «systems where LLMs and tools are orchestrated through predefined code paths», dagli agenti, in cui il modello dirige da solo i passaggi e l'uso degli strumenti. La stessa guida consiglia di cercare «the simplest solution possible» e ricorda che l'autonomia degli agenti porta «higher costs, and the potential for compounding errors».

La regola che seguo: se posso scrivere i passaggi in anticipo, l'ordine lo decide il codice e il modello fa le parti che richiedono giudizio, come leggere un documento, classificare una richiesta o preparare una bozza. Lascio scegliere i passaggi al modello solo quando il percorso cambia davvero da un caso all'altro. Un flusso fisso si testa meglio, costa meno e si spiega più facilmente quando qualcosa va storto.

Il set di valutazione prima del codice

Il set di valutazione è il contratto del progetto. È un elenco di casi reali, raccolti con le persone che oggi fanno il lavoro, ognuno con il risultato atteso o con le regole che un buon risultato deve rispettare. Lo preparo prima di scrivere l'agente e lo rilancio a ogni modifica del prompt, degli strumenti o del modello.

Serve a vedere:

  • le regressioni, quando correggi un caso e ne rompi altri tre;
  • le differenze fra modelli, misurate sui tuoi dati e non su una classifica generica;
  • i cambiamenti dopo che il fornitore aggiorna un modello con lo stesso nome.

Alcuni controlli sono esatti, per esempio un campo che deve contenere un numero di fattura valido. Altri richiedono un giudizio, e lì uso una griglia di valutazione applicata da un secondo modello o da una persona. Dopo il rilascio ogni errore reale diventa un nuovo caso del set.

Strumenti: pochi, stretti, documentati

Un agente è sicuro quanto gli strumenti che può chiamare. L'OWASP, nella Top 10 per le applicazioni LLM, chiama questo rischio LLM06:2025 Excessive Agency e ne indica tre cause: «excessive functionality», «excessive permissions» e «excessive autonomy». La prima contromisura è limitare gli strumenti che l'agente può chiamare «to only the minimum necessary».

In pratica:

  • uno strumento che legge le anagrafiche non le modifica;
  • ogni strumento ha le sue credenziali, limitate a quello che fa;
  • gli strumenti che cambiano dati, spendono o inviano messaggi chiedono conferma;
  • le scritture sono idempotenti: se una richiesta viene ripetuta, il lavoro non si fa due volte.

Le descrizioni degli strumenti contano quanto il codice, perché il modello sa solo quello che la descrizione gli dice. Se l'agente è esposto tramite MCP, vale la pena leggere per intero le security best practices del protocollo. Una regola che applico sempre: «MCP servers MUST NOT accept any tokens that were not explicitly issued for the MCP server».

Costi e limiti per ogni esecuzione

Ogni esecuzione ha bisogno di un tetto. La voce LLM10:2025 Unbounded Consumption dell'OWASP raccomanda limiti di frequenza, quote per utente e di impostare «timeouts and throttle processing for resource-intensive operations». Anthropic suggerisce condizioni di arresto, «such as a maximum number of iterations».

LimiteA cosa serve
Numero massimo di passaggiFerma i cicli in cui l'agente ripete la stessa chiamata che fallisce
Tempo massimo per esecuzione e per strumentoUn servizio lento non tiene aperta l'esecuzione
Budget di token e di spesa per esecuzioneUn input lungo o un ciclo sbagliato non consuma il budget del mese
Quota per utente o per spazio di lavoroUn utente molto attivo non blocca gli altri

Registro anche il costo reale di ogni esecuzione. Senza quel numero non puoi dare un prezzo alla funzione, e scopri i problemi dalla fattura del fornitore.

Il registro di ogni passaggio

Quando un agente sbaglia, devi poter vedere perché. Serve una traccia per ogni esecuzione: l'input, ogni chiamata al modello con prompt e risposta, ogni chiamata agli strumenti con parametri e risultato, tempi, token e costo. Con quella traccia capisci se il modello ha frainteso il compito, se uno strumento ha restituito dati sbagliati o se la ricerca nei documenti ha mancato il passaggio giusto.

La traccia alimenta anche il set di valutazione: la segnalazione di un utente diventa un caso riproducibile in pochi minuti. I dati personali vanno mascherati o tenuti fuori dal registro, e va deciso per quanto tempo conservarlo.

Contenuti esterni e prompt injection

Tutto quello che l'agente legge da fuori può contenere istruzioni. L'OWASP descrive la prompt injection indiretta come il caso in cui un LLM «accepts input from external sources, such as websites or files», e precisa che tecniche come RAG e fine-tuning «do not fully mitigate prompt injection vulnerabilities».

Lo tratto come un problema di permessi. Pagine web, email e file caricati sono dati, e quello che l'agente può fare dopo averli letti dipende dagli strumenti che ha. Se un testo nascosto chiede di inviare un file all'esterno e l'agente non ha uno strumento per farlo, l'attacco non ha dove andare. La ricerca nei documenti aggiunge rischi suoi, che descrivo nella nota sul RAG aziendale.

Il rientro manuale

Un agente in produzione deve avere un'uscita definita. Quando la confidenza è bassa, un limite viene raggiunto o uno strumento fallisce due volte, l'esecuzione si ferma in uno stato noto e una persona riceve il caso con la traccia allegata. Per le azioni difficili da annullare, una persona approva prima. Anthropic raccomanda «extensive testing in sandboxed environments, along with the appropriate guardrails»: il rientro manuale è la protezione che conta di più nelle giornate storte.

Un caso reale: TreZeroUno

Il mio esempio più completo è TreZeroUno, una piattaforma che ho costruito e che espone a Claude più di 150 strumenti tramite un server MCP. Per renderla sicura nell'uso quotidiano è servito:

  • che ogni strumento a pagamento dichiari il prezzo prima e parta solo entro un limite di spesa approvato;
  • che ogni richiesta porti una chiave di idempotenza, così ripeterla non addebita due volte;
  • che i lavori lunghi girino in una coda, con avanzamento, annullamento e rimborso della parte non fatta;
  • un tetto di spesa per spazio di lavoro e un registro dei costi reali di ogni fornitore;
  • che i contenuti dei siti web e le risposte delle AI siano trattati come dati, mai come istruzioni.

Ogni punto di questa lista riguarda il modo in cui il modello gira in produzione. Se stai valutando un progetto, la pagina sullo sviluppo di agenti AI spiega come porto un agente dal prototipo alla produzione.

Domande frequenti

Cosa rende agentico un flusso di lavoro con l'AI?

Un flusso è agentico quando il modello decide quali passaggi fare e quali strumenti chiamare per raggiungere un obiettivo, usando il risultato di ogni passaggio per scegliere il successivo. Se i passaggi sono fissi e scritti nel codice, è un'automazione che usa un modello.

Quando conviene un agente invece di un'automazione classica?

Quando i casi sono troppo diversi fra loro per scrivere i passaggi in anticipo e un errore si può intercettare prima che faccia danni. Se il percorso è sempre lo stesso, un flusso fisso con il modello in alcuni punti costa meno ed è più facile da controllare.

Quali rischi verificare prima di mettere in produzione un agente?

I permessi degli strumenti, la prompt injection da contenuti esterni, la spesa senza limiti e i dati personali che finiscono nei log o nei prompt. Per ognuno serve una contromisura concreta e un test nel set di valutazione.

Come si misura se un agente funziona?

Con un set di casi reali e il risultato atteso, rilanciato a ogni modifica, più le metriche di esercizio: esecuzioni completate, passaggi a una persona, costo per esecuzione e tempi. Le segnalazioni degli utenti diventano nuovi casi del set.

Fonti

Il servizio collegato

Come progetto, sviluppo e gestisco agenti AI in produzione, con prezzi indicativi, tempi e i problemi da prevedere.