Alors, elle fait beaucoup de morts ou pas, cette grippe porcine? Au Mexique, on a assisté à une jolie vague de résurrections: le 28 avril on apprenait que sur les 150 décès suspects, 20 seulement étaient finalement imputables au virus H1N1. Et le 29 avril ce chiffre tombait à sept. Comment expliquer ce reflux (pardon pour le jeu de mot) des statistiques: incompétence des autorités sanitaires? Effet de la panique? Tentative de manipulation?Au risque de décevoir les amateurs de conspiration, je crains qu'il n'y ait rien d'autre, derrière cette valse des chiffres, que les caprices habituels des statistiques lorsqu'on les applique à la santé publique.
Sensibilité n'est pas pertinence
Avant d'attaquer le cochon, prenons l'exemple d'une maladie comme le cancer du sein. Supposons que 1% des femmes de plus de 40 ans en soit la atteinte (c'est ce qu'on appelle la prévalence) et que le test de détection du cancer du sein soit sensible à 99% (c'est-à-dire qu'une personne malade est détectée dans 99% des cas et une personne non-atteinte donne un test négatif dans 99% des cas).
Si une personne est testée positivement, quelle est sa probabilité d'être réellement malade? Plus ou moins que beaucoup à votre avis?
En fait, une personne testée positivement n'a qu'une chance sur deux d'être malade. Pas convaincus? Un petit tableau vaut mieux qu'un long discours:
| Malades | Sains | |
| 1000 personnes | 10 | 990 |
| Test positif | 10 | 10 |
| Test négatif | 0 | 980 |
Sur 1000 personnes testées, 20 seront testées positivement dont seulement 10 vrais malades (et 10 "faux-positifs"). Au total une test positif n'aura un résultat pertinent que dans 50% des cas, alors que ce test est sensible à 99%!
Pour les malades de la grippe porcine, il se passe un peu la même chose. Certes on ne teste que les personnes présentant des symptômes suspects (toux, fièvre etc) mais les suspects sont nombreux dans une ville où grippe et pneumonies font rage. En plus, dans le doute, on préfère tester trop de monde que pas assez alors que les vrais cas sont rares au début. Une prévalence de 1% sur la population testée n'est donc pas déraisonnable.
Un zest d'insensibilité fait toute l'impertinence
OK, me direz-vous, mais dans le cas présent la pertinence des tests positifs n'était pas 50% mais 35% (7 personnes sur 20). Pas terrible comme précision!
Regardons le graphique qui montre la pertinence des résultats en fonction de la sensibilité du test (à prévalence donnée de 1%, 3% ou 10%).
On voit que la pertinence des résultats chute drastiquement dès que la sensibilité du test n'est pas parfaite. Avec un test sensible à 90%, la pertinence du résultat n'est que de 8%! Il faut donc des tests diablement sensibles pour que leurs résultats soient utiles.
Pour notre cas pratique, 35% de pertinence des tests correspond théoriquement à une fiabilité de 98% (pour 1% de malades): pas si mal pour un test rapidement mis sur pied au début de l'épidémie!
Quand les sensibilités s'emmêlent...
Mais alors si les résultats des tests sont si peu fiables, faut-il croire les nouvelles statistiques? Pourquoi seraient-elles subitement plus fiables?
Supposons que l'on trouve non pas un, mais deux tests indépendants l'un de l'autre pour savoir si une personne est malade. Tous deux sensibles à 98%, donc pas très pertinents si on les prend chacun isolément.
Si on les combine on obtient en revanche une super fiabilité:
Les personnes positives sur un seul test ont 35% de chance d'être malade. Si on teste ces personnes avec le deuxième test, refaites le calcul et vous verrez qu'un deuxième test positif est pertinent dans 96% des cas! C'est déjà beaucoup mieux!
On comprend qu'avec toutes ces bizarreries statistiques,
1) au début d'une épidémie on tende à exagérer le nombre de malades (car les tests sont "peu" sensibles et la prévalence faible),
2) on mette du temps à avoir des certitudes (car il faut multiplier les tests pour obtenir une bonne précision)
3) les chiffres finalement obtenus sont spectaculairement plus faibles que ceux du début.
Bref, voilà pourquoi on crie toujours "au loup" dès que le moindre cochon débarque.
Billets connexes:
Calculs de stats, stats de calculs sur le paradoxe de Simpson toujours dans le domaine médical
Un peu de gymnastique mentale, sur le paradoxe de Monty Hall et les probabilités conditionnelles
A lire aussi l'article du "Cerveau et Psycho" de ce mois-ci, sur les pièges des statistiques médicales dont je me suis inspiré.
