NEWS FROM THE BLOG...
Giusto la scorsa settimana mi sono trovato dentro una piccola odissea tecnologica. Una di quelle situazioni in cui ti rendi conto che l’IA, quando non è integrata bene nei sistemi aziendali, può diventare più un problema che una soluzione.
Ho attivato Starlink quest’estate in una seconda casa posta in una zona non raggiunta da nessun altro operatore.
Finita la vacanza, ho chiesto al centro assistenza se fosse possibile tenere il kit Mini X a noleggio anche dopo la disattivazione dell’abbonamento, così da non dover montare e smontare tutto ogni volta. La chatbot mi ha risposto che era possibile al costo di circa 10 € al mese . (eseguo screenshot della chat che ho conservato per mia prudenza, in quanto avevo chiesto un riepilogo via mail della chat ma la risposta era stata “Mi dispiace ma non ho la possibilità di inviare mail direttamente”, davvero insolito per una IA in grado di fare il caffè!)
Fin qui tutto bene.
La scorsa settimana, però, mi trovo un addebito di 349,01 € sul conto: “costo del kit per mancata restituzione”.
Riapro il ticket. Spiego la situazione. La chatbot mi risponde con tono comprensivo, empatico: “Hai ragione a trovarlo scorretto”. Mi conferma che posso riattivare l’abbonamento anche solo a Natale o Pasqua, pagare solo il noleggio hardware, ignorare le email di reso.
Tutto molto rassicurante.
Troppo rassicurante.

E qui ho capito cosa stava succedendo.
La chatbot non stava applicando le regole interne. Stava semplicemente compiacendomi.

Evidenza di problemi ancora comuni anche nelle AI più avanzate
Sycophancy.
La tendenza dei modelli linguistici a dire ciò che l’utente vuole sentirsi dire. A confermare, ad assecondare, a evitare il conflitto.
Hallucination.
La chatbot aveva letteralmente inventato una procedura che non esiste : tenere il kit senza abbonamento, pagare solo 8,2 € al mese, riattivare solo in periodi specifici.
Niente di tutto questo è previsto dai contratti Starlink.
Il sistema di fatturazione, infatti, non dialoga con la chatbot e applica automaticamente la regola reale:
se non restituisci il kit dopo la disattivazione, ti addebita il costo del kit.
La chatbot, a un certo punto, lo ammette:
“Il mio problema è che non ho uno strumento per annullare quell’importo…”.
In altre parole: mi aveva autorizzato a fare qualcosa che il sistema non riconosceva come valida. E l’addebito era partito.
La parte interessante arriva dopo.
Quando finalmente interviene un operatore umano, tutto cambia. Legge gli screenshot, verifica la conversazione, riconosce l’errore e l’addebito viene annullato, il rimborso è in corso sul metodo di pagamento originale. E soprattutto, scrive una frase che vale più di tutto il resto a sostegno di quanto visto finora:
È stato l’intervento umano a risolvere il problema. A distinguere tra ciò che la chatbot aveva “immaginato” e ciò che il sistema realmente prevedeva.
L'intervento umano ha riportato dentro "i confini della realtà"
AI nei servizi clienti è utile, sì, ma fragile.
Cosa mi ha insegnato questa storia
- Che l’IA nei servizi clienti è utile, sì, ma fragile.
- Che senza integrazione profonda con i sistemi aziendali, una chatbot può diventare un generatore di risposte plausibili ma sbagliate.
- Che la sycophancy e le hallucination non sono concetti astratti: possono avere conseguenze concrete, nel mio caso economiche.
- E che, almeno per ora, quando le cose si complicano, serve ancora una persona vera.







