5 errori ricorrenti nell'adozione degli LLM in azienda B2B
Dalla RAG montata a casaccio al prompt hardcodato in produzione: i cinque pattern che rallentano o affossano i progetti LLM nelle aziende B2B.
Pubblicato il 31 agosto 2026 · 7 min di lettura
Il problema non è il modello
Nel 2024 circa il 60% dei progetti pilota con LLM in contesto enterprise non è arrivato a produzione (fonte: Gartner, Hype Cycle for AI, 2024). Non perché i modelli siano scadenti. I modelli funzionano. Il problema è architetturale e organizzativo.
Ecco i cinque pattern che vediamo ripetersi, con indicazioni su come correggerli.
---
1. RAG costruita senza valutazione del retrieval
Il pattern più diffuso: si monta un sistema Retrieval-Augmented Generation, si puntano i documenti aziendali, si fanno tre domande di test, sembra funzionare. Si va in produzione.
Il problema è che nessuno ha misurato la qualità del retrieval separatamente dalla qualità della risposta finale. Se il retriever porta i chunk sbagliati, il modello produce risposte plausibili ma incorrect. Non allucinazioni evidenti — risposte quasi giuste, che nessun utente umano rileva finché non causano danni.
Cosa fare. Costruire una test suite dedicata al retrieval prima di toccare il modello: per ogni query di riferimento, verificare che i chunk attesi compaiano nei top-k risultati. Metriche minime: Recall@5, MRR. Solo dopo, valutare end-to-end con RAGAS o framework equivalenti.
# Esempio minimo di valutazione retrieval con LlamaIndex
from llama_index.core.evaluation import RetrieverEvaluator
evaluator = RetrieverEvaluator.from_defaults(
retriever=retriever,
metrics=["mrr", "hit_rate"]
)
result = await evaluator.aevaluate_dataset(eval_dataset)
print(result.metric_vals_dict)---
2. Prompt hardcodati in produzione
Il prompt è logica applicativa. Trattarlo come stringa letterale nel codice sorgente è equivalente a hardcodare una query SQL nel controller.
Vediamo sistemi in cui il prompt di sistema contiene istruzioni di business ("Non menzionare mai il concorrente X", "Usa sempre il listino prezzi del Q3 2023"), versionate insieme al codice applicativo. Ogni modifica richiede un deploy. Ogni test richiede un ciclo CI completo.
Cosa fare. Separare i prompt dal codice fin dal giorno zero. Strumenti come LangSmith, PromptLayer o anche una semplice tabella su database permettono di versionare, testare A/B e rollback i prompt senza toccare il codice. Il prompt diventa un artefatto con il suo ciclo di vita.
---
3. Nessun guardrail sull'output
Un LLM integrato in un workflow B2B — generazione offerte, risposta a ticket, estrazione dati da contratti — deve produrre output strutturati e verificabili. Affidarsi alla buona volontà del modello non è una strategia.
Abbiamo visto un caso reale: un sistema di generazione preventivi in cui il modello restituiva i prezzi in formato testo libero. Il parsing downstream falliva silenziosamente sul 12% delle risposte. Nessun alert, nessun log strutturato. Il team commerciale correggeva manualmente senza saperlo.
Cosa fare. Forzare l'output strutturato con JSON mode o function calling dove il provider lo supporta. Validare sempre con uno schema (Pydantic, JSON Schema). Se la validazione fallisce, re-prompt automatico o fallback esplicito — mai silent failure.
from pydantic import BaseModel
from openai import OpenAI
class Offerta(BaseModel):
prezzo_netto: float
valuta: str
validita_giorni: int
client = OpenAI()
completion = client.beta.chat.completions.parse(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
response_format=Offerta,
)
offerta = completion.choices[0].message.parsed---
4. Latenza ignorata in fase di design
Un modello frontier come GPT-4o o Claude 3.5 Sonnet risponde in media in 2-8 secondi per prompt di media lunghezza. È accettabile in una chat interna. Non lo è in una pipeline sincrona che blocca l'utente o in un'integrazione ERP che aspetta la risposta prima di procedere.
Il pattern che vediamo: il PoC viene costruito in modalità sincrona, funziona nel laboratorio, arriva in produzione con volumi reali e la latenza diventa un problema strutturale difficile da correggere a posteriori.
Cosa fare. Decidere subito se il caso d'uso tollera latenza (batch processing, report notturni) o no (interfacce utente, webhook real-time). Per i casi sincroni: valutare modelli più piccoli e veloci (GPT-4o mini, Gemini Flash, Mistral Small), usare streaming lato client, oppure separare la generazione in job asincrono con notifica.
---
5. Assenza di osservabilità
L'errore forse più costoso: andare in produzione senza sapere cosa succede. Nessun log strutturato delle chiamate al modello, nessuna metrica su latenza per percentile, nessun tracciamento degli errori, nessun costo per tenant.
In un sistema LLM in produzione è normale avere deviazioni nel comportamento del modello tra versioni (i provider aggiornano i modelli senza preavviso dettagliato). Se non si monitora, non si rileva.
Cosa fare. Implementare dal giorno uno un layer di osservabilità dedicato. LangSmith, Langfuse, Helicone o anche un semplice wrapper che logga input, output, latenza e token su un sistema di telemetria esistente (Datadog, Grafana). Metriche minime da monitorare: latenza p50/p95, token consumption, tasso di errori, tasso di fallback.
# Wrapper minimale con Langfuse
from langfuse.openai import openai
# Drop-in replacement: stessa API, logging automatico
response = openai.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
metadata={"tenant_id": tenant_id, "use_case": "offerta"}
)---
Take-away operativo
I progetti LLM in B2B non falliscono per colpa dei modelli. Falliscono per decisioni architetturali rimandabili che diventano debito tecnico non appena si scalano i volumi.
La checklist minima prima di andare in produzione:
- [ ] Retrieval valutato con metriche quantitative (se RAG)
- [ ] Prompt esternalizzati e versionati
- [ ] Output validato con schema, zero silent failure
- [ ] Latenza analizzata e architettura coerente (sync vs async)
- [ ] Osservabilità attiva dal primo giorno
Non è una lista esaustiva. È il pavimento, non il soffitto.
---
Evviva Group affianca aziende B2B nell'integrazione di LLM in contesti produttivi: dall'architettura iniziale al monitoraggio operativo, in modalità white-label. Se stai valutando un progetto simile, siamo disponibili a un confronto tecnico senza impegno.