BookYol

Superforecasting

Philip E. Tetlock & Dan Gardner

« Superforecasting » rapporte ce que Philip Tetlock a tiré d’un concours de prévision du renseignement américain : les 2 % de volontaires ordinaires les plus justes y ont battu des analystes de métier dotés d’informations classifiées. Ces superprévisionnistes n’avaient rien de génies, mais des habitudes : partir de la vue extérieure, décomposer les questions difficiles, chiffrer les probabilités, réviser souvent et peu à la fois, tenir le score face au réel, traiter leurs convictions en hypothèses à tester. Ces habitudes, soutient le livre, s’apprennent.

Les commentateurs qui se trompent avec aplomb gardent leur tribune. Un groupe d’amateurs qui disaient « 63 % » plutôt que « probablement », puis vérifiaient, a battu les professionnels. Voici leur méthode.

Le livre en substance

Les travaux antérieurs de Tetlock avaient établi que les prévisions politiques des experts faisaient, en moyenne, à peine mieux que le hasard, et que plus l’expert était célèbre, plus sa prévision était mauvaise. Le Good Judgment Project, financé à partir de 2011 par la branche de recherche du renseignement américain, a cherché à savoir si quelqu’un pouvait faire mieux. Les 2 % les plus performants y parvenaient, de façon constante, et le livre en fait l’anatomie. Ces superprévisionnistes (superforecasters) raisonnent en probabilités et disent sans gêne « 63 % » plutôt que « probable ». Ils partent du taux de base (Base Rate), la fréquence observée dans les cas comparables, et n’ajustent qu’ensuite selon le cas présent. Ils décomposent les questions à la manière dont Enrico Fermi estimait le nombre d’accordeurs de pianos. Ils révisent souvent et par petites touches, en évitant à la fois l’entêtement et la surréaction. Ils sont évalués au score de Brier, qui mesure l’écart entre les probabilités annoncées et ce qui s’est produit, et ils tiennent à l’être. Surtout, ils vivent, selon l’expression de Tetlock, en version bêta permanente (Perpetual Beta) : se tromper est pour eux une information.

Écrit avec le journaliste Dan Gardner et paru en 2015, le livre est à la fois un compte rendu de recherche et un manuel ; il se clôt sur une annexe, les « Dix commandements » de l’apprenti superprévisionniste.

À qui il s’adresse

  • Responsables qui doivent prévoir, planifier ou établir un budget et veulent se tromper moins souvent
  • Managers qui récompensent l’assurance en réunion en se doutant que c’est une erreur
  • Personnes ayant lu Kahneman qui veulent savoir ce que font concrètement les rares esprits bien calibrés

À qui il ne s’adresse pas

  • — Qui cherche des certitudes : tout le propos du livre est que la réponse honnête est un nombre inférieur à 100 %
  • — Qui veut une lecture rapide : la recherche y est exposée en entier

Leçons principales

01

Partir de la vue extérieure

Avant d’entrer dans l’histoire du cas présent, il faut se demander à quelle catégorie il appartient et à quelle fréquence cette catégorie tourne dans un sens ou dans l’autre. La règle : s’ancrer sur le taux de base, puis ajuster, moins que l’instinct ne le voudrait.

À Montréal, un couple qui prépare la rénovation de sa cuisine cherche combien de chantiers de ce type tiennent leur budget avant de se fier à la soumission de l’entrepreneur, et prévoit une marge en conséquence.

02

Donner un chiffre plutôt que « probablement »

« Probable » signifie 70 % pour l’un, 95 % pour l’autre. Un chiffre ne peut pas se dérober : il se vérifie, et il permet de se tromper d’un écart mesurable plutôt que d’être pris en défaut dans l’abstrait.

Une directrice régionale, à Lyon, note, date à l’appui, 55 % de chances que la nouvelle agence atteigne l’équilibre dès la première année. Neuf mois plus tard, ce chiffre peut être confronté au réel.

03

Réviser souvent, par petites touches

Les superprévisionnistes changeaient d’avis bien plus souvent que les autres, et chaque révision restait modeste : de 65 à 68, pas de 65 à 90. Une information nouvelle se pèse au regard de tout ce que l’on sait déjà ; elle ne le remplace pas.

Coralie, analyste à Genève, estime à 40 % les chances d’un cessez-le-feu. Un titre de presse encourageant la fait passer à 44 %, pas à 80 % ; trois rapports indépendants dans la même semaine la font monter davantage.

04

Tenir le score

Sans prévision écrite, datée et confrontée à ce qui s’est réellement passé, la mémoire transforme chaque pronostic en « je l’avais bien dit ». C’est le score qui rend le progrès possible.

Une médecin de Lausanne qui note, avant l’arrivée des résultats d’analyse, la probabilité qu’elle attribue à chaque diagnostic découvre au bout d’un an que son excès de confiance culmine sur les cas qui lui semblent les plus familiers.

À essayer aujourd’hui

Choisir une prévision de la semaine, l’écrire sous forme de chiffre daté, noter le taux de base des cas comparables, puis programmer un rappel dans l’agenda pour la confronter à ce qui s’est produit.

Test rapide

Qu’est-ce qui distinguait le plus les superprévisionnistes ?

Qu’est-ce que la vue extérieure ?

Citations choisies

“Pour les superprévisionnistes, les convictions sont des hypothèses à mettre à l’épreuve, non des trésors à protéger.”
Philip E. Tetlock & Dan Gardner · Extrait du portrait de l’état d’esprit du superprévisionniste ; l’une des phrases les plus citées du livre.
“Décomposez la question en éléments. Distinguez aussi nettement que possible ce que l’on sait de ce que l’on ignore, et ne laissez aucune hypothèse échapper à l’examen.”
Philip E. Tetlock & Dan Gardner · Extrait de la synthèse que fait le livre de la manière dont les superprévisionnistes abordent une question difficile, à propos de la décomposition à la Fermi.
La lettre BookYolDeux lettres par semaine

Après la dernière page

Le meilleur de Superforecasting, c’est ce que vous en ferez

Chaque mardi, une idée tirée d’un livre qui mérite sa place dans votre bibliothèque, expliquée en cinq minutes. Chaque vendredi, une petite expérience pour vérifier qu’elle tient la route dans votre propre semaine.

Mardi

La grande idée

Une idée qui bouscule une idée reçue, expliquée avec soin et accompagnée de sa source.

Vendredi

La petite expérience

Un petit geste à essayer avant lundi, pour que l’idée devienne une pratique.

Dans chaque lettre

  1. 01L’idée
  2. 02Pourquoi elle fonctionne
  3. 03D’où elle vient
  4. 04Un geste à essayer

Ni spam ni revente de votre adresse. Seulement les lettres.