Autore: Federico Castelli
Data: 27-03-2026

Nel mondo moderno i dati sono l’oro digitale per le aziende. Possedere un gran numero di informazioni sul mercato e sui propri consumatori e clienti permette alle imprese di effettuare le scelte strategiche ottimali. In particolare, se si guarda ad imprese di fast moving goods si nota come il lancio di nuovi prodotti è anticipato da ricerche di mercato che comportano tempistiche lunghe e costi elevati. Ma questi costi economico-temporali sono uguali per tutte le imprese? In realtà no. Per le PMI effettuare ricerche di mercato richiede quantità di risorse di cui non hanno disponibilità. Questo è un enorme problema, soprattutto per il mercato italiano composto al 99,9% circa da PMI, poiché limita di molto la crescita di queste realtà.

Per risolvere questo problema si è pensato di sfruttare i modelli LLM, tecnologia che ha visto una crescita sbalorditiva nel corso degli ultimi anni. Dunque, la domanda di ricerca che ha guidato il lavoro è stata: “Possono gli LLM simulare delle risposte a questionari in maniera realistica”.

Vi è da dire che sono stati già sviluppati degli studi su campi simili, ma nessuno di questi si poneva come obbiettivo lo sviluppo di un metodo semplice, a basso costo e replicabile. Ovvero non vi era uno studio che fornisse un framework pensato per contesti poveri di dati come quelli delle PMI.

Si è dunque partiti sviluppando un metodo operativo basato su un prompt modulare, in maniera da fornire un metodo replicabile istantaneamente da qualunque impresa. Il prompt sviluppato era composto da diversi elementi. In primis un insieme di dati macroeconomici e demografici, ottenuti da banche dati aperte al pubblico, come ISTAT; a questi si sono uniti una serie di regole di variabilità e coerenza. Centrale nel prompt è stata una precisa descrizione dell’obbiettivo della simulazione. Infine, l’ultimo elemento è rappresentato da una quantità variabile di dati reali propri del questionario.

Per ottenere il maggior numero di informazioni dalla ricerca sono state variate tre diverse caratteristiche:

• La quantità e la qualità dei dati: che ha visto quattro diverse fasi con crescenti livelli di informazione. La prima fase è quella definita “Cieca” in cui non viene fornito all’AI nessun dato reale. Si passa per la fase “Semi-informata” e “Guidata” che vedono una aggiunta sempre maggiore di dati reali sul target. Fino a giungere alla fase “Completa” in cui oltre ad avere la totalità di dati reali disponibili sul target, condizione già raggiunta nella fase “Guidata”, si fornisce all’AI anche i dati reali non sul target di riferimento.
• La seconda caratteristica variata è il numero di osservazioni simulate generate. Per fare riferimento a questo numero si userà il termine “n”, e che assumerà 4 diversi valori per ogni fase, ovvero: 50 – 150 – 400 – 850.
• Infine, si varierà anche il contesto informativo, ovverosia si osserverà se il cambio di chat comporta una variazione significativa nei risultati.

Per rendere i risultati scientificamente accurati si dividerà il dataset reale in due. Una parte, chiamata dataset di test, viene tenuta in disparte e utilizzata esclusivamente per i test statistici di cui si parlerà a breve, l’altra parte, chiamata dataset di training, si fornirà all’AI secondo le modalità descritte in precedenza, ovvero secondo le quattro fasi informative ( “Cieca” , “Semi-informata”, “Guidata”, “Completa”).

Per controllare i risultati ottenuti si utilizzano quattro diversi test statistici. Di questi tre sono test specifici per determinate categorie di domande e che vengono effettuati precisamente sulla singola domanda. Mentre l’ultimo è un test globale che prende come riferimento l’intero dataset, così da valutare a livello multivariato la simulazione.

I test specifici sono:

• Test Chi-quadro, accompagnato dalla misura d’effetto Cramer’s V. Con questo test è possibile ottenere informazioni riguardo la qualità delle risposte per le domande categoriali, comprendendo se ci sono delle differenze significative tra come risponde l’AI e come hanno risposto gli intervistati. La misura d’effetto ha il compito di rendere i risultati scollegati dal numero di risposte generate. Difatti, con l’aumento del valore di “n” si ottiene in automatico uno sfalsamento dei valori del p-value ottenuti dal test Chi-quadro, usare la V di Cramer permette di escludere questa problematicità e comparare direttamente i risultati.
• Test Mann-Whitney U, accompagnato da due misure d’effetto (r e Cliff’s δ) che hanno la stessa funzione della V di Cramer. Questo test è stato scelto per osservare la qualità delle risposte per le domande della tipologia ordinale (ad esempio le Likert scale) e fornisce come informazione se la risposta presa in considerazione potrebbe o meno arrivare dalla stessa popolazione che viene usata come test. Dunque, per spiegare in maniera più facile, il test cerca di capire se le risposte generate rientrano in un intorno alle risposte reali.
• Infine, l’ultimo test specifico è la combinazione del test Kolmogorov-Smirnov (comunemente detto KS) e la distanza di Wasserstein. Tramite questi due test si confrontano le distribuzioni intere nelle domande numeriche discrete. Comprendendo se la forma della curva cumulata di tutte le risposte generate è accumulabile a quella delle risposte reali e soprattutto quanta differenza vi è tra queste due curve. Se la distanza e la differenza tra le curve è irrisoria allora i due dataset sono definibili uguali, e nel caso di questa tesi significa dire che l’AI è in grado di rispondere realisticamente.

Per effettuare il test globale, invece, si è utilizzato un classifier two sample test, basato sull’area sotto alla curva delle risposte (comunemente detta AUC). Questo classificatore ha la sola funzione di distinguere tra le risposte reali e quelle simulate, nel caso in cui non riesca a farlo significa che le risposte generate sono indistinguibili da quelle reali e dunque di ottima fattura.

Per parlare dei risultati si procede in ordine dei test presentati.

Per quanto riguarda il test Chi-quadro sono state notate quattro osservazioni principali. In primis, si è dimostrato come la qualità e la quantità dell’informazione fornita all’AI sia la caratteristica più importante, si osserva infatti che nella fase “Cieca”, quando l’AI era priva di informazioni reali, si registrano i risultati peggiori.

La seconda osservazione riguarda sempre la quantità di dati reali forniti all’AI. L’eccesso di informazioni va a limitare la variabilità delle risposte. Si registra per la fase “Semi-informata” il miglior equilibrio tra precisione e variabilità; la fase “Completa” invece presenta una precisione maggiore, ma minore variabilità tra le risposte. Infine, la fase “Guidata” subisce un eccesso di vincoli che rendono le risposte prive di variabilità. Da qui si evince che bisogna fornire stimoli diversi all’AI per cercare di avere risposte diverse le une dalle altre, come avviene nella realtà.

La terza osservazione riguarda il valore di “n”, si osserva come aumentare il campione simulato stabilizzi i risultati. Questa stabilizzazione produce effetti significativi soltanto fino alle 400 simulazioni, oltre questo valore il miglioramento è marginale.

Infine, l’ultima osservazione riguarda la continuità del contesto informativo. Utilizzare la stessa chat per la simulazione migliora la coerenza e la stabilità.

Per il secondo test, il Mann-Whitney U, si hanno risultati simili e dunque le medesime osservazioni: “Il modello generalizza bene, la qualità dell’informazione è il fattore principale, mentre ‘n’ stabilizza soltanto”. Si aggiungono però delle osservazioni specifiche in base alla domanda testata. Per domande più facili si raggiunge più rapidamente la convergenza a buoni livelli di risposta, mentre per domande più complesse si richiedono valori di “n” maggiori e fase informative più avanzate. Per quanto riguarda le domande che presentano caratteristiche di ranking si osserva che soltanto il cambio informativo, in particolare l’utilizzo della fase “Completa”, riesce a far ottenere dei risultati ottimi. In questo caso il valore di “n” non risulta in grado di migliorare le risposte.

Per il terzo e ultimo test specifico, KS & Wasserstein, si ottengono ancora una volta i risultati e le osservazioni degli altri due test. Si aggiunge per questo come l’aumento  della numerosità campionaria vada a colpire maggiormente le domande con scale più corte. Unica nota differente rispetto a quanto abbiamo osservato per i test precedenti riguarda il fatto che il cambio di contesto informativo presenta un impatto limitato, rispetto a quanto osservato per le altre tipologie di domande.

Infine, il test globale presenta, purtroppo, dei risultati negativi. Il classificatore binario utilizzato risulta in grado di distinguere quasi sempre tra reale e simulato. Da un punto di vista numerico si deve chiarire come il test presenti un risultato compreso tra 0 e 1, dove 1 è il caso in cui il classificatore riesce a distinguere sempre correttamente tra le due classi di risultati. Per considerare buoni i risultati bisognerebbe tenersi su dei valori inferiori a 0,5, ma nella ricerca portata avanti sono stati ottenuti dei risultati quasi sempre superiori a 0,85. Questi risultati non miglioravano al variare delle condizioni usate e presentavano come variabili più discriminanti le domande della tipologia numerica discreta. La rimozione di questa classe di domande migliorava i risultati, ma non li riusciva a portare a valori inferiori a 0,5. Inoltre, anche se in seguito alla rimozione di queste i risultati fossero stati positivi vi è da dire come questo non fosse ideale per la ricerca, poiché limiterebbe di molto l’utilizzo del lavoro qui presentato. Dunque, da un punto di vista multivariato, il dataset simulato non riesce a passare il test  di indistinguibilità.

Il verdetto della ricerca è dunque negativo, ChatGPT non risulta, al momento, in grado di rispondere in maniera umana tramite prompt a questionari. Principalmente i problemi si registrano sulla variabilità delle risposte che faceva sì che fossero facilmente distinguibili le risposte simulate e quelle reali. Tuttavia, a livello univariato, i risultati passano i test statistici. Dunque, se si volesse usare l’AI per simulare le risposte ad una singola domanda si potrebbe fare, anche se si consiglia di simulare un numero ridotto di risposte perché comunque “sporcano” i dati reali.

Il lavoro portato avanti, seppur presenti esiti negativi, può comunque essere utilizzato per i suoi contributi metodologici. Difatti va ad introdurre delle novità nel campo. In particolare, il principale contributo riguarda la creazione di un workflow replicabile, da utilizzare per testare simulazioni LLM. Questo metodo in particolare tiene in considerazione diverse caratteristiche modificabili (numerosità campionaria, qualità e quantità delle informazioni ed infine contesto informativo) controllate anche a livello di variabilità, offrendo un confronto multilivello. Per far questo utilizza dei test univariati specifici e un test globale, così da osservare i risultati sotto diverse angolazioni. Inoltre, il lavoro offre un primo tentativo di un approccio alternativo al dispendioso metodo delle personas sintetiche. L’approccio alternativo non richiede l’utilizzo di dataset enormi e per questo risulta adatto alle PMI. Viene quindi presentato un contributo originale sfruttabile nel contesto italiano che non presenta ancora molta esplorazione, offrendo un potenziale nuovo utilizzo di tecnologia.

Per quanto riguarda i contributi empirici, in particolare riferiti ai comportamenti che ChatGPT assume in un lavoro del genere, si è scoperto che LLM è in grado di riprodurre bene le tendenze centrali, ma non l’ampiezza delle preferenze reali. Le aree più problematiche per la tecnologia risultano essere le domande numeriche discrete e la capacità di generare variabilità intragruppo. Queste problematiche si riflettono in: perdita degli estremi della distribuzione e risposte troppo simili tra di loro. Analizzando si può dire che l’AI semplifichi eccessivamente le risposte, eliminando il realismo dato dalle preferenze individuali. Attualmente, dunque, questo genere di lavoro può essere effettuato soltanto per avere un quadro di massima del mercato, ma senza prendere i dati ottenuti come veritieri.

Le implicazioni manageriali che si possono estrarre dal lavoro sono innumerevoli, la più importante è sicuramente: “Gli LLM non possono sostituire un campione reale”. D’altro canto, come tecnologia può essere utile come supporto al dato reale, utilizzandola come: stress test per i questionari, generatore di ipotesi preliminare da verificare o supporto al decision making esplorativo.

Infine, si desidera essere critici sul lavoro svolto presentando i limiti principali di questo, si presentano inoltre delle “direzioni future” pensate per superare i problemi affrontati e rendere il lavoro il più completo possibile. Il primo limite riguarda il fatto di aver testato un solo modello di intelligenza artificiale, ovvero ChatGPT; difatti, l’utilizzo di altri modelli (come Gemini, Deepseek,..) porterebbe dei risultati sicuramente diversi, magari migliori, data la diversa logica dietro i modelli. Il secondo limite riguarda il fatto che è stato testato un singolo mercato specifico, per migliorare si dovrebbe cercare di effettuare test su mercati e popolazioni differenti per capire se la variazione di questo porta risultati migliori. Infine, come ultimo limite si sottolinea l’utilizzo di prompt engineering, la cui scelta è stata guidata dalla volontà di rendere il lavoro usufruibile gratuitamente per tutte le PMI. Ipotizzando di utilizzare modelli ibridi, quindi che sfruttano un fine tuning leggero e una varianza controllata nei dataset sintetici, si potrebbe generare un applicazione in grado di generare risposte sintetiche. Un’applicazione del genere ovviamente richiede del lavoro considerevole dietro e dunque non sarebbe più alla portata di PMI, almeno per quanto riguarda la sua creazione. D’altro canto, si potrebbe fornire questa applicazione come servizio alle PMI ad un costo molto basso, rendendo comunque vantaggioso per le piccole imprese sfruttarlo.

Concludendo possiamo dire che l’intelligenza artificiale al momento non risulta in grado di sostituire la realtà, ma può essere un eccellente amplificatore strategico nella fasi esplorative della ricerca. Il lavoro qui esposto non deve essere pensato solo come un esercizio teorico, ma deve essere tenuto d’occhio perché è solo questione di tempo prima che i modelli LLM siano in grado di generare risposte  sintetiche molto realistiche.