Notre cerveau joue aux dés (2/2)

Je vous ai parlé dans mon dernier billet de la façon dont, face à une image ou un son ambigu, notre cerveau utilisait le hasard et les probabilités pour « tirer » aléatoirement une interprétations possible du signal. Un peu à la manière d’un système de particules intriquées où le hasard est le seul à définir l’état dans lequel on observe le système parmi tous les états probables. L’analogie  entre neurosciences et physique quantique est tentante, mais elle a ses limites. Une fois qu’un système quantique a été observé, il est irréversiblement modifié et réduit à une de ses valeurs propres. Les mesures ultérieures sur ce système donneront ensuite toujours la même valeur. Il en va tout autrement pour notre cerveau, puisqu’après qu’il ait donné une réponse, on peut sans problème lui demander un deuxième choix. C’est d’ailleurs cette possibilité qui a permis d’explorer encore plus loin son fonctionnement intime…

Notre attention est aussi l’objet du hasard…

Que se passe-t-il quand on s’entraîne à détecter un signal très furtif et que l’on se trompe mettons 20% des fois. La réponse semble à peu près évidente: on avait simplement mal vu le signal dans 20% des cas. Mais puisqu’on a appris à se méfier des évidences, on peut aussi imaginer un scénario alternatif. Puisque le hasard guide nos réponses conscientes, on peut supposer qu’on n’a ni mieux ni moins bien vu ce qui se passait lors des essais ratés. Simplement pour tous les essais, on n’aurait jugé le bon résultat probable qu’à 80% en moyenne. Selon ce scénario audacieux, l’incertitude des réponses ne se concentrerait pas sur les essais ratés, mais elle se nicherait au cœur de chacun des essais, y compris quand ils sont réussis. Comment savoir si la variabilité de nos réponses est inter-essais ou intra-essais?

Pour le savoir une équipe du MIT a demandé à des volontaires de s’entraîner à repérer certaines lettres entourées d’un cercle, parmi une série qui défilait rapidement. Les sujets devaient donner la lettre qu’ils pensaient être la bonne, puis devaient donner un second choix, puis un troisième etc. Le raisonnement des chercheurs a été le suivant:
– Si on se trompe parce qu’on a mal vu certains essais, les deuxièmes choix des essais ratés devraient être très biaisés.
– Si on se trompe à cause de l’incertitude propre à chaque essai, les premiers et les deuxièmes choix devraient suivre la même loi de distribution centrée autour de la réponse exacte, aussi bien pour les essais réussis que pour les essais ratés.

L’analyse de la distribution des deuxième choix pour les essais ratés penche très clairement en faveur de la deuxième hypothèse. Aussi bizarre que ça puisse paraître, premiers, deuxièmes et troisièmes choix semblent effectivement être le résultat d’un tirage aléatoire sur une distribution de probabilités parfaitement centrée autour de la bonne réponse!

D’après Vul & al (2009) Attention as Inference: Selection Is Probabilistic; Responses Are All-or-None Samples.

Tout comme nos perceptions sensorielles, nos réponses attentionnelles semblent donc elles aussi déterminées aléatoirement parmi l’ensemble des réponses probables. Mais contrairement à un système quantique (dont la mesure ne fournit qu’un seul état parmi tous les états possibles), il suffit de poser la question pour connaître les différentes réponses envisagées par notre cerveau.

La sagesse des foules… dans sa tête!

Pourquoi s’arrêter en si bon chemin? La même équipe du MIT s’est demandé si on ne pourrait envisager que notre cerveau fonctionne de la même façon probabiliste lorsqu’il s’agit de fournir un jugement ou une opinion. Il faudrait alors considérer que ce que notre cerveau considèrerait comme notre » meilleure réponse » (best guess) serait non pas la réponse la plus vraisemblable, mais une des réponses possibles, choisie avec une probabilité égale à son degré de vraisemblance.  Je ne sais pas si vous voyez à quelle point cette idée est contre-intuitive: par définition, le « best guess » est la réponse que l’on imagine être la plus vraisemblable. Or ce modèle prédit paradoxalement qu’on maximise ses chances de tomber juste en moyenne si l’on prend la moyenne de ses choix de premier, de deuxième et de troisième ordre!

Les chercheurs ont interrogé 430 volontaires sur une question difficile (« Quel pourcentage d’aéroports dans le monde se trouve aux Etats-Unis? »). Après qu’ils aient donné leur réponse (dont le degré d’erreur est mesuré par les colonnes bleues), on leur demande une deuxième réponse (Guess 2, colonnes marron) soit immédiatement (colonnes de gauche) soit trois semaines plus tard (colonne de droite), les sujets n’étant évidemment pas informés qu’on allait les réinterroger sur le sujet.

On constate sans surprise que cette deuxième réponse est moins précise que la première (les colonnes marron sont plus hautes). Jusque là tout est normal puisque la première réponse est celle que le sujet croit la plus exacte. Mais ce qui est plus étrange c’est que la moyenne des deux réponses (colonnes vertes) est beaucoup plus proche de la réalité que la première réponse! Exactement comme le modèle probabiliste l’avait prédit.

Ca ne vous rappelle rien? C’est bien sûr un phénomène analogue à celui de la sagesse des foules dont je vous ai déjà parlé dans ce billet. Comme Galton l’avait découvert au XIXeme lors d’une foire aux bestiaux, l’estimation d’une valeur par de très nombreuses opinions indépendantes est statistiquement plus exacte que celle du meilleur expert. Sauf qu’ici, la foule serait notre propre cerveau qui, après avoir évalué la vraisemblance de chaque réponse possible, tirerait autant de fois que l’on veut une de ces réponses parmi cette distribution de probabilités.

Comme on le voit sur le graphique, l’effet est encore plus marqué lorsque la deuxième réponse est demandée trois semaines plus tard, sans doute parce que les personnes sont moins influencées par leur première réponse après un long délai entre les deux introspections. C’est la même règle que celle qui prévaut lorsqu’on interroge de nombreuses personnes: pour éviter le biais collectif, la prédiction n’est statistiquement bonne que si les personnes interrogées ignorent l’opinion des autres (autrement elles risquent de se fier aveuglément à l’opinion générale).

Combien de personnes logent dans mon crâne?

On peut pousser l’analogie encore plus loin et se demander à combien de personnes correspondrait cette introspection répétée. On sait comment la précision de la réponse  évolue statistiquement en fonction du nombre de personnes interrogées. A partir de cette loi, on peut donc calculer, à combien de personnes équivaut cette sagesse des foules propre à notre cerveau: une deuxième réponse immédiate correspond à l’interrogation de 1,1 personnes et une réponse trois semaines plus tard fournit la même précision que 1,3 personnes interrogées.

Comme pour la sagesse des foules classiques, on voit tout l’intérêt d’une introspection répétée « à froid », au moment de porter des jugements ou de prendre des décisions. La première intuition est certes souvent la bonne, mais les réflexions ultérieures peuvent la nuancer utilement. L’analogie avec la sagesse des foules fait aussi écho aux observations de Thomas Seeley (voir ce billet) au sujet des similitudes entre le fonctionnement d’un cerveau et celui d’un essaim d’abeilles en train de choisir son futur nid. Là encore la compilation des expressions de chaque abeille éclaireur fait émerger presque à tous les coups la meilleure solution. Rien ne vaut le collectif pour prendre une bonne décision!

Sources:
Vul & al. (2009) Attention as Inference: Selection Is Probabilistic; Responses Are All-or-None Samples (pdf)
Vul & Pashler (2008) Measuring the crowd within (pdf)

Billets connexes
Le billet précédent, pour ceux qui ont raté le début
Etrange perspicacité collective sur le phénomène de sagesse des foules
Les abeilles ça déménage (2/2) où on fait l’analogie inverse: l’essaim, comme modèle de cerveau virtuel

Notre cerveau joue aux dés!

 vez-vous vu Un Jour sans Fin, le film dans lequel Bill Murray se retrouve prisonnier d’une journée qu’il revit sans arrêt? Le film est drôlissime car Bill Murray, à force, connaît exactement la manière dont chaque personnage va réagir à ses propos ou à ses actes. Ce qui pose une question intéressante: notre comportement est-il totalement déterminé face à une situation donnée ou bien existe-t-il une dose d’imprévu dans nos réactions? Intuitivement on penche pour la deuxième hypothèse, on n’est pas des machines quand même! – mais comment le prouver? Et surtout quelle serait la nature de ce petit facteur d’imprévisibilité présent en nous, qui fait toute la différence entre un robot et un être humain? Grâce à d’astucieuses expériences en psychologie cognitive que j’ai découvertes dans le dernier cours de Stanislas Dehaene au Collège de France, on commence à avoir une petite idée sur la question…

Perception bistable

Les illusions d’optiques sont très utiles pour comprendre comment notre cerveau interprète la réalité. Prenez la fameuse image de la danseuse qui tourne sur elle-même. On a l’impression qu’elle tourne tantôt dans un sens, tantôt dans l’autre.

Il est très difficile de maîtriser consciemment le sens dans lequel on la voit tourner et le moment où on bascule d’une interprétation à l’autre. Mais le plus étrange c’est qu’à aucun moment nous n’avons conscience de la moindre ambiguïté: on est sûr de la voir tourner comme ceci ou comme cela. L’ambiguïté n’apparaît qu’après coup, quand on se rend compte que notre point de vue a changé alors que le film est toujours le même. On retrouve cette oscillation de notre perception entre deux interprétations possibles (que l’on appelle perception bistable) dans pas mal d’illusions classiques :

Quelques illusions célèbres

Dans toutes ces images, on voit tantôt une chose, tantôt une autre mais jamais un mélange des deux en même temps, comme si notre mode d’interprétation de la réalité fonctionnait en mode « tout ou rien ».

L’illusion existe aussi avec des signaux sonores! Les enfants savent bien qu’à force d’entendre répéter en boucle ton chat – ton chat – ton chat… on finit par entendre chaton-chaton-chaton… (pour prendre un exemple poli  . Des chercheurs du CNRS ont fabriqué un petit montage audio dans lequel on entend tantôt un seul son qui monte et qui descend, tantôt deux signaux distincts qui s’alternent. Les transitions d’une interprétation à l’autre suivent exactement les mêmes lois que pour les illusions visuelles

Des dés dans la tête?

Comment le cerveau « choisit-il » telle ou telle interprétation et surtout pourquoi ne reste-t-il pas fixé une bonne fois pour toutes sur son premier choix? Une hypothèse intéressante serait  que notre cerveau passe automatiquement en revue chaque interprétation possible et lui attribue un degré de vraisemblance. L’interprétation retenue à instant donné serait non pas la plus probable mais une interprétation tirée au sort parmi toutes les possibles, avec d’autant plus de chance d’être choisie qu’elle est vraisemblable. Ainsi s’expliqueraient les bascules d’une interprétation à l’autre: plus on fixe longtemps un signal ambigu, plus on a de chances de tirer au sort différentes interprétations. Un tel modèle prédit que ces changements sont imprévisibles et que le délai entre deux bascules soit suivre une loi de distribution bien particulière, propre aux tirages stochastiques. On a pu constater que cette prédiction est très raccord avec les mesures expérimentales (on demandait à des volontaires de regarder une telle image et d’appuyer sur un bouton tout le temps qu’ils percevaient telle interprétation plutôt qu’une autre):

 

Source:  Moreno-Bote & al. Bayesian sampling in visual perception (2011)

Le test du modèle…

Très récemment, des chercheurs ont confirmé de façon encore plus flagrante cette hypothèse d’un tel « tirage aléatoire » entre les différentes interprétations, chacune ayant une probabilité correspondant à sa vraisemblance relative. Ils ont utilisé l'expérience suivante: deux grilles orientées différemment (par exemple /// et \\\ ) se déplacent dans des directions différentes. C’est tantôt une grille tantôt l’autre qui semble être au premier plan. Les chercheurs ont observé que, toutes choses égales par ailleurs, plus une grille a des barreaux serrés par rapport à l’autre, plus on la voit en dessous de l’autre. Et pareil si une grille va plus vite que l’autre et on peut mesurer le biais de perception induit par chaque facteur pris isolément. Si notre cerveau fonctionne effectivement en combinant des tirages probabilistes, alors on peut prédire à partir de ces mesures empiriques ce que les sujets percevront quand on combine les deux facteurs. Les calculs collent spectaculairement avec les résultats de l’expérience.

source: d'après Moreno-Bote & al. Bayesian sampling in visual perception (2011)

Face à un signal sensoriel ambigu (mais quel signal ne l’est pas?), notre interprétationsemble donc être le résultat d’un tirage au sort parmi toutes les interprétations possibles. La durée durant laquelle on privilégie une interprétation plutôt qu’une autre est directement proportionnelle à sa vraisemblance.

L’analogie quantique

On verra dans le prochain billet à quel point notre cerveau use et abuse de cette procédure stochastique. Aussi étrange que cela puisse paraître, la plupart de nos réponses conscientes (perceptions, jugements, opinions…) se décident sur la base d’un tirage  aléatoire parmi les différentes réponses possibles en fonction de leur vraisemblance subjective. En somme, l’aléatoire fait partie intégrante de nos comportements quotidiens. Bonne nouvelle pour Bill Murray! Cela signifie que même si elle se répète indéfiniment, sa journée en boucle lui réserve forcément des surprises!

Je n’aime pas beaucoup les analogies faciles entre l’indétermination quantique et celles du monde -macroscopique- qui nous entoure, mais pour le coup les similitudes sont flagrantes. A l’image d’un ensemble de particules élémentaires intriquées, on a ici affaire à un système (le cerveau) capable de combiner plusieurs réponses possibles en même temps, mais dont une seule sera observable. Il existe manifestement un processus mental -l’équivalent de la fonction d’onde quantique- attribuant une probabilité à chaque réponse mentale possible. Et comme en physique quantique, le résultat observable est par essence, aléatoire.

 

Mais l’analogie a bien sûr ses limites. Vous ne voyez pas lesquelles? Alors rendez-vous au prochain épisode!

Sources:
Le cours de Stanislas Dehaene sur le cerveau Bayésien, qui a directement inspiré ce billet (en particulier celui du 31 janvier 2012)
Moreno-Bote & al. (2011) Bayesian sampling in visual perception (pdf)

Billets connexes
Non-sens interdit, pour aller plus loin sur d’autres types d’illusions visuelles
L’oreille magique, sur des illusions sonores tout aussi spectaculaires

Les certitudes de l'incertitude

Avez-vous remarqué la connotation négative de tous les termes qui ont trait au hasard? "L'aléa" est synonyme de mauvaise surprise, comme le "risque" d'ailleurs. "Hazardous" signifie dangereux en anglais et en français tout ce qui est "hasardeux" n'a pas franchement la cote non plus. Il faut croire qu'on n'est pas très à l'aise avec l'incertitude en général. Mais comme il faut bien faire avec, on tente de domestiquer les phénomènes aléatoires en les réduisant à leur moyenne, agrémentée de leur "écart-type" si on veut faire pro (qui indique la dispersion typique des mesures autour de la moyenne). Et l'on se représente mentalement la série des valeurs aléatoires gentiment dispersée autour de la moyenne et de plus en plus rares à mesure qu'on s'en éloigne. Cette distribution dite "normale" (les mots ne sont pas neutres) est la fameuse courbe en cloche de Gauss, extraordinairement pratique, mais qui nous induit souvent en erreur comme on va le voir...

Tapons-nous la cloche
La fréquence des tailles au sein d'une population adulte donne une bonne idée de l'allure d'une telle distribution:

Dans ce type de distribution règne la tyrannie de la moyenne:
- l'immense majorité de l'échantillon se concentre autour de la moyenne, à la pointe de la cloche: 68% des valeurs sont à moins d'un écart-type de la moyenne (entre 1m75 et 1m90 dans notre exemple);
- la proportion des valeurs extrêmes diminue exponentiellement quand on s'éloigne de la moyenne: il y a une chance sur un milliard de tomber sur un géant de plus de 2m30.
Les extrêmes sont donc à la fois modérés, rares et de peu d'influence. La loi des grands nombres prédit que la moyenne mesurée à partir de n'importe quel (grand) échantillon donne une très bonne approximation de la moyenne théorique, car aucun individu de l'échantillon n'aura un poids suffisant pour biaiser significativement la mesure. Dans ce Médiocristan comme l'appelle Nassim Nicholas Taleb [1] figure la statistique de l'âge d'une population, du nombre de côtés "pile" quand on lance une pièce de monnaie, du nombre de personnes par foyer, etc.

Pareto: voyage dans le royaume de l'Ekstremistan
En étudiant la répartition des richesses de la population italienne à la fin du XIXeme siècle, Vilfredo Pareto découvrit une tout autre distribution aléatoire, où 20% de la population gagne 80% des revenus d'un pays. Depuis cette époque, les 20% les plus riches gagnent plutôt 40% des revenus en France et aux Etats-Unis parce que les inégalités se sont un peu réduites (ou est-ce parce que les revenus déclarés au fisc reflètent mal la valeur réelle des hauts revenus? ;-) mais on continue d'appeler ça la loi des 80-20:

source: d'après le site de Daniel Martin

Ce type de distribution "sauvage" comme l'appelle Benoît Mandelbrot, a cours dans beaucoup de domaines, comme ceux qu'on trouve par exemple sur le site de Gérard Villemin:
- Moins de 1% des loueurs de voitures comptent pour plus de 25% des heures de location;
- 30% des sites Web concentrent 90% des visites;
- 17% de la population mondiale (celles des pays riches) consomment 80% des médicaments etc.
- En biologie les insectes représentent un million des 1 800 000 espèces décrites à ce jour, suivis de loin par les plantes supérieures (270 000) qui elles-mêmes devancent les mollusques (85 000). Mais tout ça n'est rien par rapport aux bactéries qui battent à plate couture toutes les autres formes de vie sur l'arbre du vivant (sur la figure empruntée à Wikipédia, les bactéries sont en bleu) et représenteraient plus de la moitié de la biomasse sur Terre!

La loi des grands nombres: abrogée!
Ici, c'est l'inverse du Médiocristan. Les valeurs extrêmes sont certes rares, mais elles sont tellement spectaculaires que leur présence n'est plus du tout négligeables sur la moyenne. Prenez par exemple la taille des 36 500 communes en France métropolitaine: 1722 habitants en moyenne. Si vous écartez les valeurs extrêmes des 113 villes de plus de 50 000 habitants, votre moyenne tombe à 1324 habitants! 0,35% des données pèsent donc pour 25% de la moyenne. Plus question donc d'appliquer la loi des grands nombres car vous avez de grandes chances que votre échantillon ne soit pas bien représentatif des valeurs extrêmes. Idem pour l'écart-type.

Je me suis amusé à regarder l'historique du Nasdaq depuis 1971 (les données sont téléchargeables ici). Les différences sautent aux yeux quand on compare la distribution des fluctuations quotidiennes du Nasdaq avec celles d'une Gaussienne ayant la même moyenne (0,27) et le même écart-type (27):

1) Les très grandes fluctuations, sur lesquelles j'ai fait un zoom, sont beaucoup plus fréquentes. Il y a eu 64 jours "noirs" où l'indice a chuté de plus de 108 points (4 écarts-types), soit une chance sur 150. Si la distribution était "normale", il aurait fallu attendre plus de 10 ans pour qu'une telle chute se produise (une chance sur 31 000)! L'allure de la queue de la courbe de distribution est donc beaucoup plus "épaisse" que pour une courbe gaussienne, d'où son surnom de "fat tail"...
Pour donner une idée de l'impact de ces journées de folie: depuis quarante ans le Nasdaq a oscillé entre 5060 points (valeur maximale en mars 2000) et 54 (valeur minimale en octobre 1974). Or les 11 jours les plus chahutés de l'histoire du Nasdaq représentent à eux tout seuls une variation cumulée de plus de 3000 points, soit 60% de la variation nette globale!

2) A l'autre bout de l'échelle, il y a beaucoup plus de jours en Bourse où il ne se passe rien du tout ou presque: 2000 jours sans aucune variation là où une Gaussienne n'en compterait que 150. A tel point que j'ai dû raboter le haut de l'échelle des ordonnées pour qu'on puisse voir le reste de la courbe. Paradoxalement, on s'ennuie beaucoup plus fréquemment en Ekstremistan! Les évolutions se passent un peu au rythme d'une veste qu'on ouvre en écartant ses pans, sans prendre le soin de la déboutonner: de longues périodes d'immobilité succèdent à de violents a-coups, chaque fois qu'il y a un bouton à passer.

Avec tout ça, on comprend qu'il soit aussi difficile de faire la moindre prédiction sur la Bourse en extrapolant à partir des valeurs passées. La distribution normale sur laquelle s'appuient encore bon nombre de modèles financiers est manifestement peu adaptée à des évolutions aussi chaotiques.

Hasard fractal...
Ces distributions extrêmes ont une autre caractéristique: leurs règles étranges sont valables quelque soit l'échelle à laquelle on les regarde. Pour reprendre l'exemple des communes, 23% de la population est concentrée dans 0,34% des communes (les 113 plus grandes villes), mais cette hyperconcentration se vérifie aussi dans la taille des 60 plus grandes villes dont 40% de la population se concentre sur les 6 premières. Et Paris pèse à lui tout seul près de la moitié de ces 6 mégapoles.

Idem pour le Nasdaq, dont l'évolution est étrangement similaire, qu'on l'observe sur 15 ans ou sur 12 mois:

Qui dit invariance d'échelle dit...fractales! Alors que dans une distribution gaussienne, les variations deviennent imperceptibles dès qu'on prend de la hauteur, il n'en est rien pour ces distributions qui conservent la même apparence très irrégulière quelque soit l'échelle à laquelle on les regarde (2).

La raison profonde au fait que la règle des 80-20 reste vraie à toutes les échelles, tient à ce qu'il y a dans toutes ces distributions un effet de renforcement pour les valeurs extrêmes, du type "le gagnant rafle tout": la richesse appelle la richesse (pour la répartition des revenus), la notoriété renforce la notoriété (pour le trafic sur le Web), les grandes villes attirent la population et la Bourse est connue pour ses comportements moutonniers en période de panique ou d'euphorie.

Quand l'ordre dicte la taille...
On a déjà rencontré cette invariance d'échelle dans ce billet sur la loi de Benton: elle suppose que la distribution suive une loi de puissance de type p(x≥h)=h^-α, α étant un paramètre fixe. Lorsque cette distribution concerne des phénomènes que l'on peut classer par ordre de grandeur (la longueur des fleuves par exemple), il existe toujours une relation directe entre le rang et la dimension du phénomène. Le phénomène numéro r aura une dimension proportionnelle à (K/r)^1/α, K et α étant des constantes caractéristiques de cette distribution.

[Pour les matheux-curieux: si la probabilité qu'un phénomène x ait une amplitude ≥ h vaut p(x≥h)= h^-α alors sur un échantillon de grande taille K, le nombre de phénomènes de taille ≥ h vaut Kh^-α
Un phénomène d'amplitude h aura donc le rang r=Kh^-α
Le phénomène de rang r aura donc pour taille h=(K/r)^1/α ]

Un tas de phénomènes naturels ou sociaux vérifient ce lien géométrique entre classement et amplitude:
- la magnitude des séismes, c'est la loi de Gutemberg-Richter:

- la fréquence des mots dans un texte: c'est la loi de Zipf:

- les dimensions des fleuves, des lacs ou des montagnes et de manière générale tout ce qui a trait à la topologie des paysages. C'est d'ailleurs pas très surprenant dans la mesure où la côte Bretonne est LA figure fractale par excellence: son aspect déchiqueté est similaire quelque soit l'échelle à laquelle on l'observe.

Graphique à partir des statistiques disponibles pour les lacs d'Europe.
La très belle corrélation linéaire entre logarithmes équivant à une loi de puissance puisque:
Log(surface)=-1,2Log(rang)+4,67 revient à S=47000r^-1,2.
En supposant les lacs circulaires, leur largeur vaut donc L=122r^-0,6

Le petit conte des Lacs
Mais n'allez pas croire qu'un tel déterminisme aide en quoique ce soit à prévoir la taille des phénomènes extrêmes. La statistique sur les lacs a inspiré un joli conte sur ce sujet à Mandelbrot, le pape des fractales (3). L'histoire se passe dans une contrée brumeuse à la conquête de laquelle se lancent des explorateurs. Ce pays est jonché d'étendues d'eau, certaines immenses (on dit même qu'il y a un océan de 300 km de large, d'autres réduites à de simples lacs d'un kilomètre de largeur. Nos explorateurs n'ont pas de carte, mais sont des bêtes de statistiques (ou alors ils ont lu le Webinet). Ils savent donc que les lacs font en moyenne 2,5km et que le lac numéro r est large de 122 r^-0.6

Une fois qu'on s'engage en bateau sur un lac, le brouillard empêche de distinguer l'autre rive si celle-ci est à plus d'un kilomètre. L'équipage en est alors réduit à spéculer sur la probabilité d'arriver prochainement. Si, au bout de cinq kilomètres on n'a toujours pas vu la rive opposée, les calculs indiquent qu'il reste en moyenne cinq autres kilomètres à couvrir. S'il ne voit toujours rien au bout de dix kilomètres, il lui faut s'apprêter à en parcourir dix de plus.

"Le fait même d'avoir couvert quelques kilomètres sans rien rencontrer fait taire tout espoir d'être tombé sur un petit lac et augmente celui d'être tombé sur un lac moyen ou grand, et augmente même le risque terrifiant de s'être engagé sans le savoir sur un Océan."

[Pour les algébristes seulement: on peut démontrer cette propriété bizarre d'un accroissement géométrique de l'espérance à mesure qu'on s'éloigne du bord:

Si p(L≥x)=x^-α (c'est l'hypothèse de départ, souvenez-vous) la probabilité conditionnelle p(L≥x) sachant que L≥h s'écrit :
p(L≥x / L≥h) = p(L≥x)/p(L≥h) = (x/h)^-α
Si l'on fixe h (5km par exemple), la densité de probabilité vaut
p(x / x≥h)= αh^α x^-α-1 (c'est la dérivée de la fonction de répartition qu'on vient d'écrire)
et l'espérance E(x / x≥h) est l'intégrale entre h et +∞ de l'expression: αh^α x^-α-1xdx
Le calcul donne
E(x / x≥h) = hα/(α-1) c'est-à-dire: E(x-h / x≥h)=h/(α-1)
Cette équation barbare se lit de la façon suivante: la distance restant à parcourir quand on a déjà parcouru une distance h est proportionnelle à cette distance h [avec un facteur 1/(α-1) ]

Dans le monde des fractales, tout se joue donc au départ. Si un projet planifié sur un an au total, met initialement deux mois au lieu d'un seul pour passer son premier jalon, ce n'est pas un mois de retard qu'il risque d'avoir à l'arrivée, mais un an! Du côté des bonnes nouvelles, si le jour de sa sortie en salle un film fait cinq fois plus d'entrées qu'un autre, il a de bonnes chances d'avoir cinq fois plus de succès globalement. C'est sans doute la raison pour laquelle Apple concentre autant d'efforts promotionnels au lancement de son iPad, même s'il est certain du succès de celui-ci.

Principe d'incertitude en version macroscopique
Sauf que... le conte de Mandelbrot nous indique aussi qu'on est toujours certain d'être surpris, paradoxe qui ne manque pas de saveur:

"Et puis tout d'un coup, les arbres émergent de la Brume, et on arrive au but. "Haro sur le mauvais faiseur de prévision!" Se moque-t-il de nous, ou commet-il une faute de calcul? Le premier voyageur (bien sûr) l'avait cru, mais il dut se rendre à l'évidence mathématique. C'est curieux, mais c'est ainsi: pendant que l'explorateur abat du travail, la valeur probable de la tâche restante s'allonge à mesure. L'on s'exclame, l'on s'étonne, et les vétérans expliquent patiemment qu'il ne s'ensuit en aucune façon que l'autre rive du lac soit un mirage. Elle existe bel et bien, et les esprits fantasques des Brumes, non seulement finissent toujours par s'attendrir, mais en général s'attendrissent fort rapidement(...) L'autre rivage apparaît juste au moment où rationnellement il paraissait plus éloigné que jamais. Dès lors toutes sortes de clichés s'appliquent de la façon la plus textuelle. Il ne faut pas lâcher pendant le dernier quart d'heure..."

Bref, si les extrapolations gaussiennes sont hors de propos, les prédictions de la statistique fractale ne parviennent pas à faire beaucoup mieux. Elles ne parviennent qu'à nous montrer à quel point tous nos efforts de prédictions sont vains dans beaucoup de domaine. Ce principe d'une "inévitable surprise" -analogue à l'indétermination quantique?- est finalement la seule certitude positive qu'il nous reste. Remarquez, je trouve ça déjà pas mal d'être certain par avance que la nature nous réserve beaucoup d'autres sujets d'étonnement.

Sources:

[1] Nassim Nicholas Taleb, Le Cygne Noir (2007): un excellent bouquin que je vous recommande, même si Taleb a manifestement des comptes à régler avec les économistes!
(2) ...jusqu'à un certain point, mais le problème est qu'on ne sait jamais lequel.
(3) Benoît Mandelbrot, Fractales, hasard et finance (1997). J'ai changé les données du conte original car elles ne collent pas avec mes propres statistiques (tirées de Wikipedia sur les lacs d'Europe) et en plus il me semble qu'elles sont incohérentes (la loi T=100/racine(r) de Mandelbrot ne colle pas avec la taille moyenne de 5km qu'il indique dans son livre).

Billets connexes
Logarithmes: again! Sur la loi de Benton et autres curiosités sur les répartitions logarithmique
La Reine, le Fou et l'Arbre illustre la fractalité des évolutions biologiques et technologiques.

Arnaque à 32 000 timbres

(Petit interlude en attendant le prochain billet qui s'avère plus ardu à écrire que prévu)

Début janvier, vous recevez une lettre anonyme qui pronostique que la Bourse va grimper ce mois-ci. L’information s’avère juste, mais vous n’y faites pas attention. Début février, vous recevez une seconde lettre qui vous annonce cette fois que les cours vont baisser. Vous n'y prêtez toujours pas attention, mais l'information est de nouveau juste. Début mars, une troisième lettre fait de nouveau un pronostic correct et ainsi de suite chaque mois. Vous finissez par être intrigué par la clairvoyance de ce mystérieux correspondant.

En juillet vous recevez une lettre qui cette fois vous propose d’investir dans des fonds spéciaux off-shore. Mis en confiance par sa géniale intuition durant les six mois précédents, vous lui confiez une bonne part de vos économies... et vous n'en revoyez plus jamais la couleur. Vous allez alors pleurer sur l'épaule de votre voisin, qui se souvient alors d’avoir reçu lui aussi reçu deux de ces lettres mystérieuses en début d'année. Sauf que pour lui la première prédiction était juste mais pas la seconde et les envois ont ensuite cessé. Que s'est-il donc passé?

Voici comment l’imposteur a procédé. En décembre il a d'abord tiré au hasard 32 000 noms dans l’annuaire. A la moitié de cette population il a envoyé une lettre prédisant la hausse de la bourse et à l'autre moitié une autre lettre prédisant l'inverse. A la fin du mois, il n'a gardé que la liste des 16 000 personnes ayant reçu la prédiction correcte et il a recommencé le même précédé: aux 8000 premiers il a envoyé une prédiction haussière et aux 8000 autres la prédiction inverse.
Ainsi de suite chaque mois jusqu'en juillet où il lui est resté une sélection de 500 personnes ayant reçu six prédictions correctes d'affilée, donc mûres à point pour se laisser tenter par sa proposition alléchante de placement.

Avec quelques milliers de dollars investis en timbres (ou en emails, c'est moins cher) l'arnaque a rapporté des millions à l'imposteur...

Sources:
Cette idée est tirée du livre de Nassim Nicholas Taleb, Le hasard sauvage (2005)

Est-il irrationnel de jouer au loto?

Dans la vidéo du dernier billet, Dan Gilbert évoque l'absurdité apparente qu'il y a à jouer au loto, cette "taxe sur l'illettrisme statistique" comme on l'appelle. Son argument est apparemment implacable: on surévalue ses chances de gagner parce qu'on a déjà eu l'occasion de voir dans les médias les têtes hilares des gagnants et qu'on y a prêté davantage attention qu'aux millions de perdants anonymes qu'on croise tous les jours. On se fait donc mentalement une sur-représentation de sa propre probabilité de gagner: c'est pour ça que la Française des Jeux fait autant de publicité aux gagnants des super gros lots...

D'autres biais renforcent cette perception biaisée: nous avons globalement tendance surestimer les chances qu'il nous arrive quelque chose de positif plutôt qu'aux autres. Cet "optimisme comparatif" pourrait être une manière d'améliorer son estime de soi, de se conforter dans l'idée qu'on est au-dessus du lot, parce qu'on est plus malin, qu'on sait mieux saisir les opportunités, et éviter les embûches etc. Comme l'explique très bien Sébastien Bohler, le biais est d'autant plus fort qu'il concerne des événements très rares:


Quand les chances de gagner sont minces -en dessous de 1%- on n'a plus trop de référence concrète et ça devient dur de se faire une idée correcte de ce que représente cette probabilité. Pourtant, si l'on fait cet effort on est vite calmé: avec une chance sur 10 millions de gagner le gros lot, si l'on donnait la parole aux perdants -10 secondes par personne- on devrait passer 3 années jour et nuit devant sa télé avant de voir le premier gagnant. De quoi se dégoûter à tout jamais de jouer au Loto!

Alors est-il complètement irrationnel de jouer au loto? Malgré tous les biais ci-dessus qui sont difficilement contestables, je n'en suis pas certain et je trouve l'intervention finale d'un des spectateurs de la vidéo parfaitement juste. Comme on l'a vu dans ce même billet à propos de la douleur, une expérience est vécue très différemment selon qu'elle provoque des anticipations positives ou négatives. Dan Gilbert oublie que l'attente et l'espoir de gagner-aussi minces soient-ils- comptent pour beaucoup dans le plaisir de jouer, surtout si sa condition sociale ou familiale n'est pas très folichonne.

A cet argument, Dan Gilbert évoque l'inévitable déception après le tirage qui devrait ruiner tout l'espoir accumulé auparavant. Il me semble que ce serait méconnaître notre capacité à changer nos croyances pour soigner nos états d'âme. Comme le Renard de la fable, qui trouvait les raisins trop verts parce qu'il ne pouvait pas les atteindre, on console très vite ses espoirs déçus en songeant brusquement aux chances infimes qu'on avait de gagner. Ce volte-face mental nous épargne tout regret inutile...

A tout bien considérer il me semble qu'un billet de loto représente donc bien plus que la froide espérance statistique de gain: si le Loto est une taxe, alors c'est surtout une taxe sur l'espoir contenu dans chaque billet et dont l'utilité vaut largement le coût (pendant quelques jours). L'espoir vaut ici bien plus que l'espérance.

Sources:
Isabelle Milhabet: Comparaison sociale et perception des risques: l'optimisme comparatif (2002)
L'extrait sonore est tiré de l'émission "La Tête au Carré" de France Inter du 11 mars 2010, et le commentaire est de Sébastien Bohler -le rédac chef de Cerveau&Pyscho.

Billets connexes:
Pour voir les épisodes précédents sur les fantaisies de Homo Economicus, ça se passe ici et là.

Etrange perspicacité collective (2)

Part2: crowdsourcing ou la clairvoyance collective en action

Passons aux travaux pratiques du billet précédent. En économie, le crowdsourcing désigne la mise à contribution de la clairvoyance collective, que ce soit pour reconnaître des caractères manuscrits, tel le système ReCaptcha qui sert en même à éviter le spam comme l'explique très bien le Dr Goulu, pour faire un traducteur collectif ou pour labelliser des images sur Flickr. Les 80 000 "clickworkers" inscrits volontairement sur le site de la NASA ont ainsi classifié tous les cratères visibles sur Mars et le leur effort collectif donne des résultats dont la qualité est très proche de celle des meilleurs géologues (malheureusement le lien de la NASA est manifestement HS).

L'application la plus fascinante du crowdsourcing est sans aucun doute le système PageRankde Google qui estime la popularité d'une page Web en fonction du nombre de liens qui pointent vers cette page, comme si chaque lien était un vote. Mais -c'est là toute l'astuce- tous les liens ne se valent pas! Un lien de A vers B a d'autant plus de poids que que sa page d'origine (A) est ele-même populaire. A partir de ce système de votes pondérés Google calcule le score de toutes les pages du Web. Plus une page est populaire, meilleur est son classement dans les résultats du moteur de recherche. Ce système très simple a fait l'efficacité légendaire du moteur de Google. Evidemment ce système n'est pas parfait: puisque la popularité d'une page est boostée lorsqu'elle est pointée depuis un site très populaire, les petits malins postent souvent de tels liens en commentaires des blogs prestigieux. Même si personne ne clique sur ces liens auto-promotionnels, la popularité PageRank de leur site est automatiquement améliorée.

Lire l'avenir grâce aux paris?
Peut-on gagner au tiercé grâce au théorème de la prédiction par la diversité? Bon, à vrai dire la théorie ne casse pas des briques au turf. Certes, un cheval qui est misé "à trois contre un" n'a pas loin d'une chance sur 4 de gagner. Mais la spéculation biaise pas mal la précision de ces prédictions car on mise moins qu'on le devrait sur les favoris (parce que c'est moins drôle?) et trop sur les outsiders (à cause du jack-pot qu'on touche s'il gagne?).
En revanche, les résultats sont assez spectaculaires sur les services de pari en ligne aux Etats-Unis notamment. Sur le site TradeSports.com, par exemple, on peut parier sur n'importe quoi en lien avec le sport: le vainqueur d'un match de baseball, ou le score d'une partie de football américain. Comme pour le tiercé, le prix d'une option est directement proportionnel au niveau de confiance collectif pour que cette option se réalise. Pour savoir si le marché prédit correctement, il suffit de compter pour chaque niveau de prix, la probabilité qu'un option soit gagnante. Il ne reste plus qu'à comparer le nuage de points ainsi obtenu avec ce qui serait une prédiction parfaite (la ligne en pointillé). Le résultat parle de lui-même:

(source: ici)

De tels systèmes de paris en ligne ont fleuri sur tous les sujets, que ce soit avec de l'argent réel ou de la monnaie de singe. Le Hollywood Stock Exchange permet ainsi de parier sur le succès au box-office des films qui vont sortir en salle, ou sur les vainqueurs aux prochains Oscars.

(Source: ici)

Dans le domaine de la politique, le marché électronique de l'Université de l'Iowa (IEM) est devenu une référence pour prédire l'issue des élections présidentielles américaines. Il faut dire que là encore, son pouvoir prédictif est impressionnant:

(source: ici)

Plus besoin de sondages?
Une étude récente a comparé la précision de 964 sondages électoraux depuis 1988 avec les prédictions de l'IEM aux mêmes dates. L'IEM est plus fiable dans les 3/4 des cas, et la différence est encore plus net dans les trois mois précédents le scrutin. Plusieurs explications sont avancées pour expliquer cette performance:
- Contrairement aux sondés qui répondent sans s'engager, les parieurs prennent un risque réel en misant de l'argent sur un candidat. Ils sont donc incités à estimer le mieux possible l'issue du scrutin, en mettant à profit toute l'information à leur disposition.
- Alors que les sondés se valent tous, les parieurs pondèrent naturellement leur pari en misant plus ou moins, en fonction de leur (in)certitude; ceux qui sont sûrs de leur prédiction misent plus et donc pèsent davantage sur le marché que les incertains qui ont misé trois clopinettes;
- Enfin, les parieurs prédisent un événement réel (le résultat d'une élection), tandis que les sondés répondent souvent à une question irréaliste du type "si vous deviez aujourd'hui voter, quel candidat aurait votre préférence?". Cette différence pourrait expliquer pourquoi les prédictions du marché "sur-réagissent" beaucoup moins que les sondages aux événements de la campagne, tel que les cérémonies d'investiture des candidats.

Reste que les marchés peuvent aussi être victimes de la "hype" du moment. Lors de la dernière élection, ils se sont par exemple complètement plantés pour les primaires du New Hampshire, pronostiquant à tort une victoire assurée à 95% pour Obama. En restreignant la diversité d'opinion, l'Obamania a eu raison de la légendaire clairvoyance de l'IEM.

Dans les entreprises: boule de cristal ou lunettes du prince?
Bref, toujours est-il qu'ils ne sont pas bien malins, à l'Elysée: au lieu de dépenser des fortunes dans des sondages pas précis, ils feraient mieux d'organiser gratuitement des paris en ligne! C'est ce que font des entreprises astucieuses, comme HP, Microsoft, Mittal ou Google, en invitant leurs salariés à parier sur l'actualité future de leur société. Pour Google par exemple, on parie par exemple sur l'ouverture prochaine d'un bureau en Russie, ou sur le nombre d'utilisateurs de Gmail à la fin du trimestre. On y gagne des Roobles (jeu de mots!) convertibles en primes. Je n'ai pas réussi à savoir à quel point les prédictions sont correctes, mais des chercheurs ont déjà constaté des biais dans le système:
- les jeunes recrues sont beaucoup trop optimistes sur les performances de leur entreprise dont ils connaissent encore mal les limites;
- les parieurs s'influencent lorsqu'ils sont voisins de bureau (un comble pour une société où on ne jure que par l'email et l'IM!). Or l'indépendance des paris est garante d'un résultat collectif pertinent...

En tous cas, lorsque la question porte sur le respect de l'échéance d'un projet, ce système constitue un thermomètre idéal pour le management. Et dans le fond, n'est-ce pas l'essentiel? L'intérêt de ce type de marché est peut-être moins de prédire l'avenir que de permettre au management de saisir enfin le fond de la pensée des employés, dépouillée de tout "politiquement correct". Une information devenue vitale tant les conseils d'administrations sont parfois adeptes de la pensée unique et frappés dès lors de cécité stratégique. Comme disait Tocqueville

"Lorsqu'une opinion (...) s'est établie dans l'esprit du plus grand nombre elle subsiste ensuite d'elle-même et se perpétue sans efforts, parce que personne ne l'attaque(...) Il arrive quelquefois que le temps, les événements ou l'effort individuel et solitaire des intelligences, finissent par ébranler ou par détruire peu à peu une croyance sans qu'il en paraisse au dehors. (...) Ses sectateurs la quittent un à un sans bruit; mais chaque jour quelques-uns l'abandonnent jusqu'à ce qu'enfin elle ne soit plus partagée que par le petit nombre. En cet état elle règne encore.(...) La majorité ne croit plus; mais elle a encore l'aire de croire et ce vain fantôme d'une opinion publique suffit pour glacer les novateurs, et les tenir dans le silence et le respect."

Robert Burgelman, professeur de stratégie d'entreprise à Stanford, décrit ainsi l'aveuglement d'Intel dans les années 1980:

"La sortie de Intel du marché des mémoires, leur cœur de métier, a été le résultat, non pas d'une décision stratégique de la direction générale après analyse du marché, mais d'une série de décisions et d'actions à des niveaux "inférieurs" de l'entreprise. La direction générale n'a fait que prendre acte, en 1986, que l'entreprise n'était plus une entreprise de mémoires, mais de microprocesseurs, et ce alors que les mémoires représentaient moins de 50% de leur chiffre d'affaire depuis 1982 déjà" (d'après le compte-rendu qu'en fait Philippe Silberzahn raconte dans son blog).

Pour éviter d'en arriver là, le verdict des paris en ligne constituent un bon indicateur du niveau de confiance des salariés dans la stratégie et les produits de leur entreprise. De nouvelles lunettes pour le prince en quelque sorte.

Eloge de la diversité en management
Ces réflexions sur les liens étroits entre diversité et perspicacité collective jettent finalement un drôle d'éclairage sur la "chasse aux talents" déployée pour doter les comités exécutifs des meilleurs experts. Les critères d'excellence étant peu nombreux, les "meilleurs" ont tendance à se ressembler tous, surtout quand ils ont suivi le même type de formation (grandes écoles par exemple) et plus ou moins le même cursus professionnel. Or l'excellence individuelle est synonyme de médiocrité collective quand elle appauvrit la diversité du groupe, car un groupe trop homogène a plus de mal à se remettre en cause en cas de coup dur. Pour améliorer les performances d'un comité de direction déjà composé d'excellents professionnels, Scott Page -le chercheur de l'Université de Michigan dont on a parlé dans le dernier billet- suggère qu'il est probablement plus efficace de recruter quelqu'un d'un peu éclectique, avec des compétences très différentes qui apportera sa touche de diversité à la pensée commune. Voilà qui devrait combler les partisans de la discrimination positive en faveur des minorités de toutes sortes...

Sources:
Pennock et al., The Power Of Play, efficiency and forecast accuracy in Web Market Games, 2001.
Berg, Nelson, Rietz, Prediction market accuracy in the long run, 2008
L'article de Business Week d'août 2006 sur les entreprises utilisant les paris en ligne internes
Les applications du crowdsourcing ici
Toqueville "De la démocratie en Amérique" (la citation est tirée du chapitre XXI)

Billets connexes:
Etrange perspicacité collective (1)

Etrange perspicacité collective (1)

Part1: dans les entrailles du phénomène
On ne choisit pas sa famille. En inventant le concept d'eugénisme, Francis Galton reste aux yeux de l'histoire le symbole du mauvais génie, le côté obscur de la science dont son cousin Charles Darwin serait la face lumineuse. Ce passionné des statistiques et des mesures en tout genre a pourtant fait des découvertes très intéressantes. Il observa par exemple l'incroyable capacité d'une foule à faire collectivement des prédictions d'une exactitude confondante, bien meilleure que celle de chacun des individus qui la composent...

Trop fort le groupe!
En visitant une foire agricole à Plymouth en 1906, Galton assista à un concours dont l'objet était de deviner le plus précisément possible le poids d'un boeuf. A l'issue du jeu, Galton se fit remettre les 787 estimations recueillies et s'amusa à en faire les statistiques. A son grand étonnement, la valeur médiane de ces estimations (le poids pour lequel 50% des participants trouvent qu'il est surestimé et 50% qu'il est sous-estimé) s'avéra étonnamment proche de la valeur réelle du bœuf -543 kilos pour un poids réel de 545, soit moins de 1% d'erreur.

Vous pensez bien que depuis 1906 on a fait et re-refait cette expérience à de nombreuses reprises. On n'avait pas forcément un bœuf sous la main, alors on a tenté avec d'autres trucs:
- la température d'une pièce (22.2°C, estimée collectivement par une classe à 22.4°C);
- le classement d'objets par ordre de poids croissant (94% d'exactitude collective);
- le nombre de bonbons dans un bocal (850 dragibus pour une estimation collective médiane de 871);
- les Oscars 2007, pour lesquels 57 étudiants de l'Université de Columbia ont collectivement deviné 11 vainqueurs sur 12.

Les limites de la clairvoyance
A chaque fois, les chercheurs ont été bluffés: non seulement l'estimation collective était incroyablement précise, mais surtout elle s'avérait toujours meilleure que les meilleures prédictions individuelles, à de très rares exceptions près. Dans l'expérience du bocal, une seule personne sur les 56 estima plus précisément le nombre de bonbons. Dans la prédiction des Oscars, aucun étudiant ne prédit plus de 9 vainqueurs sur les 12.

Bien entendu ça ne marche pas pour tout. Si vous avez un calcul de maths à faire vous avez plus vite fait de demander à un matheux de trouver tout seul la solution qu'à un groupe de donner son avis. Les problèmes les plus adaptés à la perspicacité collective sont ceux pour lesquels il n'existe pas une seule bonne méthode de résolution mais au contraire plusieurs approches, plus ou moins bonnes, que chacun explore avec plus ou moins de succès.

Ca ne suffit évidemment pas: si l'on demandait à une classe de primaire d'estimer combien le bocal contient d'atomes on obtiendrait n'importe quoi. Les participants doivent avoir une idée -plus ou moins bonne- sur la question posée. Dans le concours agricole de Galton, l'exceptionnelle précision obtenue (moins de 1% d'erreur) vient sans doute de la familiarité des participants avec ce genre de problème. D'ailleurs faire payer la participation permet de garantir un minimum d'expertise.
Par ailleurs, le pronostic d'un groupe est facilement manipulable. Dans l'une des expériences avec le bocal de bonbons, on a demandé aux participants de refaire une seconde estimation après leur avoir fait remarqué que le récipient en plastique avait des parois plus fines qu'un bocal en verre (donc une plus grande contenance). Le second vote a été cinq fois moins précis que le premier, sans doute parce que les participants ont tous biaisé de la même manière leur première estimation. Non pas que l'information sur la capacité du bocal ait été fausse, mais le fait d'attirer l'attention sur ce point les a induit en erreur lors de leur second vote. Le groupe, manipulé, a collectivement perdu un peu de clairvoyance.

Indépendance et diversité
Dans son bouquin 'The Wisdom of Crowds' (la sagesse des foules), James Surowiecki observe que tous les cas qui "marchent" réunissent trois conditions:
- Il faut bien sûr un système simple d'agrégation qui résume en un nombre toutes les opinions individuelles (typiquement un vote, un pari, un prix etc.);
- L'indépendance des opinions les unes par rapport aux autres est un ingrédient essentiel. Faute de quoi il risque de se former des bulles spéculatives, comme en Bourse où chacun décide aussi en fonction de l'idée qu'il se fait de l'opinion collective. La meilleure "clairvoyance collective" s'obtient quand chacun estime dans son coin, sans prêter attention à ce que pensent les autres.
- Enfin, et c'est le plus étonnant, une grande diversité d'opinions améliore considérablement la performance du groupe. Surowiecki donne pas mal d'exemples où la trop grande homogénéité des individus affecte la "perspicacité collective". Quand tout le monde raisonne de la même manière, le résultat est nécessairement biaisé. C'est typiquement le cas des marchés boursiers (en plus de l'effet spéculatif) où tous les porteurs fondent leur opinion sur les mêmes sources d'informations financières.

Bizarrement le groupe le plus performant n'est pas le petit cercle des meilleurs experts, mais un mélange assez large d'experts et d'amateurs ayant des points de vue très différents y compris les plus excentriques. En lisant le bouquin de Surowiecki et les articles autour de ce thème, on sent le phénomène sans vraiment le démontrer. J'ai raconté dans un billet précédent l'exemple de "Qui veut gagner des millions" où le joker "demander l'avis au public" est bien plus efficace que celui qui consiste à "appeler un expert". Sauf que l'explication proposée repose sur un cas de figure bien précis et l'on pourrait imaginer beaucoup d'autres circonstances où le public se tromperait plus que les experts.

Une explication souvent avancée fait appel à la distribution "en cloche" des prévisions individuelles autour d'une moyenne. La loi des grands nombres veut que cette moyenne est d'autant plus proche de la valeur exacte que le groupe est grand. Le problème c'est que l'analyse des statistiques contredit complètement cette interprétation. La preuve en est que l'estimation collective est bien plus précise que l'estimation d'un individu moyen, même et surtout dans les grands groupes. Scott Page, chercheur en sciences sociales de l'Université de Columbia, a une explication plus subtile...

Le théorème de la prédiction par la diversité
Prenons un exemple. Page a compilé les pronostics de 7 journalistes sportifs sur le classement final des douze meilleurs joueurs de football américain au NFL (National Football League) pour la saison 2005. Par exemple Wright a prédit que le joueur Smith terminerait 1er, Brown 2eme, etc. Il s'est trompé pour Williams qu'il voyait en 8eme place alors qu'il a fini 5eme, etc. Comme d'habitude on prend comme "pronostic collectif" la moyenne des pronostics individuels (dernière colonne) et on compare ces pronostics au classement final -la première colonne (cliquez pour aggrandir le tableau).

Pour mesurer l'acuité des pronostics d'un pronostiqueur, on additionne les carrés de ses erreurs de pronostic (en stat on appelle ça la variance). Cette méthode permet de compter de la même façon les surestimations et les sous-estimations. L'erreur "moyenne" de Wright vaut ainsi 0+0+0+0+(8-5)² + (16-6)² + (13-7)² etc. = 158. Nos sept pronostiqueurs font en moyenne une erreur individuelle de 132. Et comme d'habitude le pronostic collectif est bien plus précis, avec une erreur de seulement 50. On n'est pas non plus surpris de constater qu'un seul parieur fait mieux que le pronostic collectif. C'est Judge -qui porte bien son nom- avec une erreur de 39 seulement.

L'astuce de Page pour comprendre ce qui se passe, a été d'imaginer une seconde variable, celle de la "disparité de la prédiction", l'écart de son pronostic par rapport au pronostic moyen de ses collègues. La disparité d'un pronostiqueur se calcule en additionnant les carrés des écarts entre ses pronostics et le pronostic moyen.
La disparité de prédiction de Wright vaut: 0+ (2-2.7)²+(3-3.3)²+(4-6.4)² etc. = 87
La moyenne de ces disparités individuelles mesure donc l'hétérogénéité des prédictions au sein du groupe. Elle vaut 82 dans notre exemple:

On constate que l'erreur du pronostic collectif (50) vaut la moyenne des erreurs individuelles (132) moins cette moyenne des disparités (82).
A coups de formules un peu barbares, Page montre que ce résultat n'est pas statistiquement vrai mais toujours vrai. Son "théorème de la prédiction par la diversité" (Diversity Prediction Theorem) a des conséquences très intéressantes:
1) la prédiction d'un groupe est toujours meilleure que celle d'un individu moyen (car la moyenne des disparités de prédiction est positive)
2) Si le groupe est à la fois disparate et composé de gens qui s'y connaissent un peu, l'erreur collective devient toute petite. Et on comprend pourquoi il est si difficile de prédire mieux que le groupe.
3) Pour améliorer la clairvoyance d'un groupe, il revient au même d'améliorer la qualité moyenne des pronostics individuels (avec de l'entrainement, des formations etc.) ou d'augmenter sa disparité, en introduisant des profils exotiques, des raisonnements très différents etc. Bref, un oeil neuf sur un problème difficile au moins autant qu'une expertise très poussée. Il y a bien entendu une limite à cette augmentation de la "disparité collective", puisqu'à un certain moment, trop de disparité impacte la moyenne des erreurs individuelles.

Globalement je trouve plutôt cocasse que ce soit l'inventeur de l'eugénisme qui nous ait permis de démontrer toutes les vertus de la diversité en termes de clairvoyance collective. La prochaine fois, je vous emmènerai faire un tour du côté des applications de cette curieuse loi...

Références:
L'article original de Galton (1907) est disponible ici
James Surowiecki, The Wisdom of Crowds (2004)
M. Maubussin, Explaining the wisdom of crowds
Scott Page, The Difference (2008) avec un extrait de son bouquin ici

Billets connexes:
Bancs et nuées sur d'autres phénomènes collectifs
Foule paradoxale

La Reine, le Fou et l'Arbre (2)

Part 2: Innovation et évolution: une histoire de lapins-sauteurs?

Previously on "La Reine, le Fou et l'Arbre": il y a 500 millions d'années, à l'époque du Cambrien, une invraisemblable explosion de formes vivantes crée d'un seul coup (à l'échelle géologique, n'exagérons rien) toutes les branches du vivant et plein d'autres encore qui n'ont pas survécu. Pourquoi une telle fulgurance de créativité, jamais répétée ensuite? Stuart Kauffman, un biologiste américain spécialiste de l'auto-organisation, avance l'explication que je trouve la plus limpide. Imaginez un paysage très accidenté, représentant les différentes morphologies que peut prendre un organisme très simple par mutations. Chaque endroit de ce paysage correspond à une mutation particulière de cet organisme et son altitude à sa "fitness" (sa viabilité). Un organisme qui mute saute d'un endroit à l'autre. Si l'altitude d'arrivée est plus grande que celle du départ, la mutation est avantageuse et si l'endroit n'est pas déjà pris, l'organisme pourra s'y maintenir jusqu'à la prochaine mutation avantageuse.
Comme un lapin qui sauterait partout (source de la photo ici) en espérant se percher le plus haut possible, notre organisme mutant a deux stratégies possibles:
- soit il la joue "prudent" en bougeant un tout petit peu autour de lui (ce qui correspond à une micro-mutation). Il a alors de bonnes chances de grimper, mais pas très vite.
- soit il la joue "Banzaï" et fait un saut de la mort au hasard dans le paysage. C'est risqué, mais il a une petite chance de tomber pas loin d'un pic et de gagner le jackpot en termes d'évolution.

Au moment du Cambrien, c'est le bonheur pour les rares organismes multicellulaires qui apparaissent par mutation: ils n'ont pas de prédateurs et se prélassent dans un océan de nourriture sans défense. Les anatomies complexes ont donc une "fitness" énorme pour peu qu'elles soient viables, ce qui correspond à des pics très escarpés dans le paysage de Kauffman. La stratégie "Banzaï" est du coup très payante car en faisant de grands bonds, nos lapins ont une certaine chance pas complètement nulle de tomber sur une anatomie hyper avantageuse. Avec cette tactique tous les plans d'organisation viables sont très vite explorés par nos lapins: c'est la phase d'explosion créatrice du Fou où dominent les macromutations.

Au fil du temps, la situation se complique: Kaufman a montré sur un petit modèle que chaque fois qu'un lapin-organisme réussit par hasard une macro-mutation avantageuse, ses chances d'en réussir une seconde sont diminuées par deux. Autrement dit, le temps entre deux macro-mutations double à chaque fois. Et assez rapidement, plus aucune macro-mutation viable n'est statistiquement possible. Vient alors le temps des évolutions graduelles -les petites mutations qui conservent le plan d'organisation d'origine- qui font grimper le lapin doucement sur son pic en adaptant finement sa morphologie au nouvel environnement. A mesure que le temps passe, les évolutions se font de plus en plus mineures et la Reine Rouge reprend ses droits.

Un arbre fractal?
Sur la base de ce raisonnement, certains paléontologues comme Jean Chaline généralisent la statistique de ce modèle: selon eux le rythme d'apparition d'un niveau supplémentaire de ramification dans l'arbre du vivant augmenterait de manière proportionnelle dans le temps. Et comme vous êtes maintenant familiers avec les logarithmes, vous savez qu'une telle périodicité logarithmique traduit une invariance d'échelle dans la géométrie de l'arbre, autrement dit sa structure fractale!

Source: Chaline, Nottale et Grou (ici)

C'est rigolo non? D'autant qu'on a souvent remarqué l'aspect fractal de certains arbres en vrai dans la nature.

Images du site mathcurve.com (à droite c'est un vrai arbre!)

Bien entendu cette théorie est très contestée car comment s'assurer, par exemple, que les étapes évolutives retenues sont les "bonnes"? Vous me direz ce que vous en pensez.

Application aux progrès technologiques?
En tous cas, on a souvent relevé le parallèle entre les bizarreries de l'explosion Cambrienne et celle du progrès technologique. Lorsque la bicyclette a été inventée, on a vu apparaître sur le marché toutes les formes possibles et imaginables de vélo, avant que le marché ne porte finalement son choix sur un modèle qui n'a plus beaucoup varié depuis 1880!

Idem pour l'invention de l'automobile: on a oublié que la lutte a été rude au départ entre les partisans de la propulsion à vapeur (les machines de Bollée ci-dessous) et les moteurs à gaz naturel ou à essence, avant que ces derniers ne s'imposent définitivement.

la Mancelle d'Amédée Bollée (1878)

Pareil pour l'invention du Web: souvenez-vous de l'explosion des start-up de tous poils qui n'ont pas résisté à l'explosion de la bulle internet en 2000. Dix ans après, ce sont souvent les mêmes business modèles qu'au départ, même si les acteurs ont changé. Exit les Netscape, Altavista, et autres Degriftour: pour survivre il faut innover mais ça ne suffit pas! L'innovation échevelée cède progressivement la place à une recherche plus méthodique d'une meilleure efficacité. Comme dans l'évolution, après le Fou, la Reine Rouge reprend du service.

L'analogie a été poussée à tel point que l'on a été jusqu'à rechercher la structure log-périodique de ces révolutions technologiques. Avec des variantes, car comme l'a remarqué Roland Moreno: « Dans les secteurs classiques (bâtiment, automobile…) le progrès évolue de façon logarithmique : il tend vers l'infini mais de plus en plus lentement. Dans les sciences de l'information au contraire, il donne l'impression d'être exponentiel ». Et quand on cherche des structures étranges, on les trouve. Même l'histoire du jazz n'y couperait pas, regardez:

Source: article d'Ivan Brissaud (ici)

La différence entre biologie et technologie
Plaisanterie à part, il y a quand même une vraie différence entre biologie et révolution technologique. La biologie, c'est hiérarchique! Dans le domaine du vivant les mutations les plus radicales - celles qui déterminent les classifications taxonomiques supérieures (règne, ordre, famille etc)- sont aussi celles qui affectent les stades précoces du développement embryonnaire. Une mutation touchant la formation de la colonne vertébrale est bien plus pathogène qu'une mutation plus tardive correspondant à la formation des doigts par exemple. Mais on a vu que ces mutations radicales n'avaient de chance d'être viables qu'aux premières périodes de l'évolution. Il parait donc logique de trouver des mutations développementales de plus en plus tardives à mesure que l'on avance dans l'histoire du vivant. Plus le temps passe, plus les formes initiales du développement embryonnaire sont "figées". Au point qu'à la fin (actuellement?) seules les mutations intervenant en toute fin de développement embryonnaire sont (éventuellement) viables, autorisant de temps en temps la formation d'une nouvelle espèce. On justifierait ainsi l'ordre implacable dans lequel seraient apparus d'abord les règnes, puis les ordres, puis les familles, etc. jusqu'aux espèces, de manière non réversible.

Il n'y a, me semble-t-il, rien de tel dans l'histoire du progrès technologique, car je ne lui connais aucune contrainte équivalente à celles du développement embryonnaire. N'importe quelle révolution technologique est susceptible d'engendrer l'équivalent de nouveaux "plans d'organisation": les motos à trois roues par exemple (source ici) . Il n'est même pas besoin d'une nouvelle technologie pour bouleverser un secteur:traditionnel: les compagnies "low cost" dans la distribution ou les transports, les Kapla dans le secteur des jouets en bois par exemple. Bref, l'innovation technologique me semble diablement plus anarchique que l'évolution naturelle...

PS du 10 janvier: A l'occasion d'un nouveau record dans le calcul des décimales de pi, El Jj vient de publier une très bonne chronologie des découvertes de ces décimales. Pour le plaisir, je me suis amusé à regarder si par hasard elle suivait une certaine régularité logarithmique (comme l'histoire du jazz). Voici ce que ça donne (cliquez pour aggrandir l'image):

Ca marche... presque. On voit une bonne régularité jusque vers 1950, mais avec l'invention de l'informatique on change de braquet. Le dernier point (celui de 2010) est totalement à côté de la plaque, mais on sait que les logarithmes n'aiment pas trop les petits nombres. Patience, donc jusqu'à la prochaine découverte pour savoir si ça se confirme ou si l'on a changé de vitesse une seconde fois...

Source et articles intéressants pour aller plus loin:
Un modèle plus sophistiqué de Kauffman (2003)
L'arbre de la vie a-t-il une structure fractale de Chaline, Nottale et Grou (1989)
A noter que Laurent Nottale tente à présent de faire de sa théorie de l'invariance d'échelle une théorie universelle, unifiant la mécanique quantique, la relativité, la cosmologie, la biologie etc. C'est... original!

Billets connexes:
Le Fou, la Reine et l'arbre (part 1), le billet précédent sur les surprise de l'explosion Cambrienne.
Logarithmes: again?! pour comprendre le lien entre invariance d'échelle et log-périodicité.