Numerosi sono gli esempi in medicina di associazioni fra esposizione ed esito ritenute vere e dovute invece a errori nella conduzione o interpretazione degli studi. È difficile controllare la presenza di errori quando si tratta di studi osservazionali, è invece più facile in caso di trial clinici controllati randomizzati (RCT) [1]. Una metanalisi di studi osservazionali (5 caso-controllo condotti in ospedale, 6 caso-controllo condotti a livello di popolazione, 3 studi trasversali e 16 studi prospettici), pubblicata nel 1991, concludeva che la terapia ormonale sostitutiva (TOS) dimezza il rischio di coronaropatia, che l'associazione è robusta e che il rischio di una spiegazione alternativa legata a fattori di confondimento è improbabile: il rischio relativo (RR) stimato sulla base dei 16 studi prospettici è risultato pari a 0.50, intervallo di confidenza al 95% (IC 95%): 0.43, 0.56 [2]. In realtà l'impossibilità di controllare per fattori di confondimento e di bias negli studi osservazionali venne sottolineato in studi pubblicati successivamente alla metanalisi [3]. Le donne che assumono la TOS, si sosteneva, non sono uguali alle donne che non l'assumono: sono mediamente meglio educate, più sane, hanno una maggiore diponibilità economica e maggiore facilità ad accedere alle cure. E' possibile che siano queste differenze, piuttosto che l'assunzione di TOS, a determinare in queste donne un minor rischio di coronaropatia [3]. Studi controllati randomizzati condotti successivamente hanno infatti contraddetto le conclusioni degli studi osservazionali. Una metanalisi di 4 RCT ha concluso che l'associazione fra TOS e coronaropatia è non significativa, odds ratio OR: 1.11 (IC 95%: 0.96, 1.30) [4]. Il ruolo protettivo della TOS nei confronti delle coronaropatie rilevato in studi osservazionali era quindi dovuto all'effetto distorsivo degli errori insiti in quegli studi.

Questo esempio dimostra come una associazione casuale possa erroneamente essere interpretata come causale; ciò è dovuto alla presenza di bias e confounders, che rappresentano i maggiori rischi della validità interna di uno studio e che dovrebbero sempre essere considerati come spiegazione alternativa nell'interpretazione dei risultati. La dimensione del campione non ha alcuna influenza sul rischio di bias e confounders in uno studio. In altre parole, un intervallo di confidenza stretto e un valore di p piccolo indicano un basso rischio di errore campionario, ma non ci forniscono nessuna informazione rispetto al rischio di bias e confounders.