dimanche 13 avril 2008

Calculs de stats, stats de calculs

D'après vous, si un fait est statistiquement vérifié sur chaque moitié d'une population, l'est-il obligatoirement sur la population tout entière? Vous êtes sûrs? Pour en avoir le coeur net, entrons dans un bureau de la CNAM et écoutons le dialogue (imaginaire je précise) entre un financier et un professeur d'urologie:

- Mon cher professeur, je viens de recevoir l'analyse statistique du traitement des calculs rénaux dans votre service. Regardez: contrairement à ce que vous m'aviez affirmé, les utra-sons sont en moyenne de 3 points plus efficaces que le traitement chirurgical... Vu la différence de coût, j'envisage sérieusement de diminuer les remboursements de ces actes chirurgicaux.
- Vous plaisantez j'espère? Sur les gros calculs les ultra-sons ratent pratiquement une fois sur deux alors qu'en opérant on arrive à 65% de réussite!
- Ecoutez, peut-être... je ne connais pas le détail. Mais ça représente combien de cas, ces gros calculs?
- La moitié des cas...
- Bon mais ça veut juste dire que sur les petits calculs rénaux les opérations chirurgicales sont totalement inefficaces: on va faire beaucoup d'économie en les déremboursant.
- Mais pas du tout! Pour les petits calculs rénaux c'est pareil: on est à 83% de réussite en chirugie, contre 80% pour les ultra-sons. Simplement on préfère traiter ces cas plus bénins par ultra-sons parce qu'à ces niveaux de réussite ça ne vaut pas la peine d'opérer!
- Vous ne pouvez pas me soutenir que le traitement chirurgical est plus efficace à la fois sur les petits calculs et sur les gros! Ça voudrait dire que c'est plus efficace globalement. Et regardez vous-même: j'ai la preuve formelle qu'au contraire l'ultra-son est plus efficace en moyenne!
- Je ne comprends rien à vos statistiques. Tout ce que je peux vous dire c'est qu'opérer est plus efficace médicalement parlant, même si en pratique on n'opère que les cas les plus graves. Et dérembourser ce type d'acte serait criminel.
- Tout ce que je vois, moi, c'est que les ultra-sons sont moins coûteux et plus efficaces en moyenne. Cela me paraît une mesure de bon sens que de commencer par diminuer le remboursement des opérations.

Et le professeur sort du bureau en fulminant contre cet incapable de bureaucrate avec ses maudites statistiques.


Cette situation vous paraît invraisemblable? Elle est en réalité tout à fait plausible. Statistiquement parlant bien sûr, j'ignore évidemment tout des calculs rénaux - c'est heureux- et de l'efficacité comparée de leurs thérapies. Voici un exemple d'une telle statistique étrange, où notre financier et notre médecin auraient tous les deux raison dans leur raisonnement:






L'intervention chirurgicale est toujours plus efficace sur les petits comme sur les gros calculs, mais très paradoxalement son efficacité moyenne est inférieure à celle des ultra-sons! Deux facteurs expliquent cette étrange inversion des résultats:
- les taux de succès très différents des traitements entre petits et gros calculs (60% contre 80% en moyenne)
- les tailles des populations concernées (peu d'opérations sur les petits calculs, peu d'ultra-sons sur les gros).

Cette inversion statistique entre le résultat global et celui de chacune de ses parties est le paradoxe de Simpson, qui a illustré en 1951 un phénomène décrit cinquante ans avant par le statisticien George Yule.

Mais revenons à notre situation imaginaire. Il est fascinant d'observer que c'est précisément parce que l'opération est peu pratiquée sur de petits calculs (car trop lourde pour en valoir la peine) que son efficacité moyenne est diminuée. Mais si! Regardez: supposons un instant que les urologues se contre-fichent du coût de l'intervention chirurgicale et opèrent à tour de bras tous les calculs petits ou gros, au mépris du bon sens médical et économique. On obtiendrait la statistique suivante:







Dans cette situation, l'intervention chirurgicale serait plus efficace dans tous les cas de figure et notre financier n'aurait rien trouvé à y redire! Autrement dit c'est parce les urologues ont déjà intégré la notion d'efficacité que le système semble inefficace et dispendieux! Du coup, on conçoit aisément que les médecins puissent être incités à faire sciemment de mauvais choix médicaux et financiers pour être irréprochables statistiquement.

Un dénouement plus optimiste est également envisageable: si notre financier diminue drastiquement le nombre d'interventions chirurgicales en les déremboursant, l'efficacité du traitement des calculs rénaux chutera rapidement. Un autre financier tolérera alors (peut-être!) un meilleur remboursement des opérations chirurgicales pour redresser la barre sur ce dossier et l'histoire pourra éventuellement recommencer...


Et voilà comment, de l'union d'un paradoxe statistique très présentable et d'une bureaucratie aux pures intentions, peut naître une absurdité sociologique vertigineuse...