Che cosa sono i test t? Guida all'analisi dei risultati dei sondaggi

Tutti possono vedere la differenza tra due numeri, ma stabilire se tale differenza sia statisticamente significativa può essere più complicato.

Immaginiamo che tu abbia condotto un sondaggio sulla soddisfazione dei clienti al lavoro. Il tuo responsabile ti chiede di analizzare se gli uomini attribuiscono all'azienda un punteggio Net Promoter Score® (NPS) inferiore rispetto alle donne. 

Nei dati raccolti, noti che la valutazione media data dagli uomini è 9, mentre quella delle donne è 12. Ma come si può stabilire se la differenza tra 9 e 12 è statisticamente significativa? È qui che entrano in gioco i test t.

In questo articolo, definiremo i test t e i loro ambiti di applicazione, presenteremo degli esempi pratici ed esamineremo come interpretare i risultati. 

Il test t è un metodo statistico che utilizza la distribuzione t per valutare se la differenza tra le medie di due gruppi è statisticamente significativa. Aiuta a capire se lo scarto osservato riflette una reale differenza tra i gruppi o se è probabilmente attribuibile al caso.

La verifica della significatività statistica è comunemente impiegata nei test dei concept e nei test dei prodotti. Nei test dei concept, i test A/B possono essere usati per stabilire se un'idea pubblicitaria è più efficace di un'altra. Lo stesso vale per i test dei prodotti, che servono a capire se un nuovo prodotto avrà successo una volta lanciato sul mercato. 

I test t utilizzano formule specifiche per confrontare le medie e stabilire se una differenza può essere considerata statisticamente significativa. Il test t per due campioni è il più utilizzato nelle analisi dei dati di indagine:

Ecco le formule del test t a campione singolo e del test t per campioni appaiati:

Sia nel test t a un campione che in quello per campioni appaiati, il valore t calcolato viene confrontato con un valore critico della distribuzione t per valutarne la significatività.

Usa un test t quando desideri verificare se, nei risultati del tuo sondaggio, due medie si differenziano in modo significativo, e non solo dal punto di vista numerico. I test t aiutano a confrontare le medie dei gruppi, a valutare le differenze tra i campioni e a decidere se un divario è statisticamente significativo sulla base del valore p e del livello di confidenza.

Ecco alcuni tipici scenari di sondaggio:

Utilizza il test t quando devi valutare una differenza tra medie, confrontare un risultato con un parametro di riferimento o verificare un'ipotesi con campioni di piccole dimensioni. Si tratta infatti di una scelta affidabile per l'analisi dei risultati dei sondaggi, i test A/B e qualsiasi situazione in cui sia necessario dimostrare l'effettiva esistenza di una differenza nei dati.

Prima di eseguire un test t, assicurati che i tuoi dati rispettino alcuni presupposti di base per garantire risultati affidabili.

Una rapida verifica di questi presupposti fondamentali ti aiuta a garantire che qualsiasi differenza riscontrata rifletta un segnale reale e non un "rumore nei dati".

Esistono tre tipi di test t comunemente utilizzati dai ricercatori. Ognuno di essi ha uno scopo specifico, che spieghiamo di seguito.

Il test t a un campione verifica se la media (ovvero il valore medio) dei dati di un gruppo (ad esempio, il punteggio CES complessivo) è diversa da un valore di riferimento stabilito.

Esempio: Il punteggio di impegno del cliente (CES) medio attuale della tua azienda è pari a 4,2. Un CES di 4,2 comporta per il cliente un livello di difficoltà significativamente superiore rispetto allo standard del settore, pari a 5,0?

I test t per due campioni valutano se la differenza tra le medie di due gruppi indipendenti sia statisticamente significativa. Se le varianze dei gruppi sembrano disuguali o le dimensioni dei campioni sono sbilanciate, è consigliabile passare al test t di Welch (disponibile nella maggior parte degli strumenti), poiché non presuppone l'uguaglianza delle varianze.

Esempio: La tua ipotesi è che gli uomini attribuiscano alla tua azienda un punteggio NPS più basso rispetto alle donne. La valutazione NPS media dei rispondenti uomini è 9, mentre quella delle donne è 12. La differenza tra 9 e 12 è statisticamente significativa?

Questo test viene utilizzato quando si sottopone due volte lo stesso gruppo di persone allo stesso sondaggio. Il test t per campioni appaiati permette di capire se la media è cambiata tra la prima e la seconda rilevazione.

Esempio: Hai intervistato lo stesso gruppo di clienti due volte: una volta ad aprile e una a maggio, dopo che avevano visto una pubblicità della tua azienda. L'NPS della tua azienda è cambiato dopo la visione dello spot?

Per eseguire un test t occorre seguire quattro passaggi.

Questa sezione illustra i quattro passaggi utilizzando l'esempio dei punteggi NPS presentato all'inizio: 

La tua ipotesi è che gli uomini assegnino alla tua azienda un punteggio NPS più basso rispetto alle donne. L'NPS medio dato dagli uomini è 9, mentre quello delle donne è 12. La differenza tra 9 e 12 è statisticamente significativa? Questo è un esempio di test t per due campioni.

Analizziamo insieme i passaggi e l'esempio di test t.

Ogni tipo di test t ha una formula specifica per il calcolo della statistica t. In questo esempio useremo la formula per due campioni, dove: 

Probabilmente eseguirai i test utilizzando un foglio di calcolo o un software statistico (come Excel o SPSS). Tuttavia, se vuoi calcolare i valori manualmente, qui sotto trovi anche le formule per gli altri due tipi di test t.

I gradi di libertà rappresentano il numero di modi in cui la media può variare. In questo caso, corrispondono al numero di valutazioni NPS che si potrebbero ottenere all'interno di un gruppo di intervistati. Come per la statistica t, anche la formula dei gradi di libertà varia in base al tipo di test t eseguito. 

Questa è la formula che deve essere utilizzata per calcolare i gradi di libertà nei test t per due campioni.

Il valore critico è la soglia oltre la quale la differenza tra due numeri viene considerata statisticamente significativa. 

Secondo questa tabella, per un test a due code con livello alfa di 0,05 e 41 gradi di libertà, il valore critico è 2,02. Tieni presente che la maggior parte degli analisti utilizza il test a due code, perché è più conservativo. 

Per approfondire le differenze tra test a una coda e a due code, guarda questo video di Khan Academy.

Se la tua statistica t è superiore al valore critico, la differenza può dirsi statisticamente significativa. Se invece è inferiore, i due numeri sono, dal punto di vista statistico, indistinguibili.

Nel nostro esempio, il valore assoluto della statistica t è 0,86 e non supera il valore critico di 2,02. Di conseguenza, non vi sono prove statisticamente significative per affermare che gli uomini attribuiscano punteggi NPS più bassi delle donne.

Interpretare i risultati di un test t significa esaminare il valore t, il valore p e l'intervallo di confidenza per capire se la differenza tra i tuoi gruppi riflette un effetto reale o una variazione casuale. Questi indicatori, considerati nel loro insieme, consentono di valutare l'entità del divario, la solidità delle prove e il livello di affidabilità dei risultati. La sezione di domande e risposte che segue illustra in dettaglio il significato di ciascuno di essi e spiega come analizzare i risultati del test t.

Il valore t mostra quanto è grande la differenza tra le medie dei gruppi rispetto alla variabilità presente nei tuoi dati. Un valore t assoluto elevato indica che il segnale emerge dal rumore; un valore basso, invece, suggerisce che la differenza potrebbe essere dovuta al caso.

Il valore p indica la probabilità di osservare i risultati ottenuti qualora l'ipotesi nulla (assenza di una differenza reale) fosse effettivamente vera. Molti gruppi utilizzano una soglia di 0,05: un valore p ≤ 0,05 indica una differenza statisticamente significativa, mentre un valore p > 0,05 indica l'assenza di una differenza significativa nel campione.

L'intervallo di confidenza (IC) indica l'intervallo entro cui è probabile che si trovi la reale differenza tra le medie, offrendo un quadro più completo rispetto a un semplice risultato significativo/non significativo. Se il CI include lo zero, l'effetto non può essere considerato conclusivo; se invece rimane interamente al di sopra o al di sotto dello zero, il risultato è statisticamente significativo al livello di confidenza scelto.

Una differenza è davvero rilevante quando è sia statisticamente significativa sia importante da un punto di vista pratico. Analizza la dimensione dell'effetto e l'intervallo di confidenza per valutare l'entità della differenza e capire se ha un'importanza concreta ai fini della decisione da prendere.

Campioni più grandi riducono la variabilità, restringono gli intervalli di confidenza e facilitano l'individuazione di differenze reali. Campioni ridotti, invece, aumentano l'incertezza e rendono più difficile interpretare eventuali effetti ai limiti della significatività.

Una sintesi chiara dei risultati del test t illustra il motivo per cui è stato effettuato il confronto, cosa ha rivelato il test e il grado di affidabilità della differenza tra i gruppi. Il tuo compito è quello di tradurre i dati statistici in un linguaggio semplice, ricollegarli alla domanda iniziale ed evidenziare cosa suggeriscono i risultati per le decisioni successive.

Quando riassumi i risultati di un test t, includi questi elementi fondamentali:

Evitare alcuni semplici errori può aiutarti a ottenere risultati del test t più puliti e affidabili dai dati dei sondaggi.

I test t servono per determinare se la differenza tra le medie di due gruppi campione è statisticamente significativa. Puoi utilizzare i test t nell'analisi dei dati dei tuoi sondaggi per dimostrare l'affidabilità dei risultati. 

SurveyMonkey ti permette di semplificare il processo di creazione e invio di sondaggi a gruppi campione per le esigenze di ricerca della tua organizzazione. Puoi creare indagini di ricerca di mercato e questionari da zero, oppure scegliere tra oltre 400 modelli di sondaggio già pronti.

Inizia oggi stesso a distribuire questionari per raccogliere dati da analizzare, e aiutare la tua organizzazione a prendere decisioni più efficaci per la sua crescita. Crea un account gratuito ora.

NPS, Net Promoter e Net Promoter Score sono marchi registrati di Satmetrix Systems, Inc., Bain & Company e Fred Reichheld.