BookYol

Noise : pourquoi nous faisons des erreurs de jugement et comment les éviter

Daniel Kahneman, Olivier Sibony and Cass R. Sunstein

Noise

Dans « Noise », Daniel Kahneman, Olivier Sibony et Cass R. Sunstein montrent que le jugement humain se trompe de deux façons : le biais (bias), qui pousse les jugements dans une même direction, et le bruit (noise), la dispersion indésirable entre des jugements qui devraient être identiques. Le bruit est répandu et rarement mesuré. Les auteurs proposent de l’auditer et de pratiquer une « hygiène de la décision » : des jugements indépendants, des jugements décomposés en parties, et la vue de l’extérieur d’abord.

Dans une même compagnie, deux souscripteurs tarifent le même contrat. À l’hôpital, deux médecins lisent le même scanner. Chaque réponse paraît raisonnable prise isolément, et personne ne les compare jamais. Celui qui le ferait découvrirait souvent un écart bien plus grand que prévu : l’issue dépend en partie du bureau sur lequel le dossier a atterri. « Noise » traite de cette loterie invisible et des moyens de la réduire.

Le livre en substance

« Système 1 / Système 2 », le précédent livre de Kahneman, portait surtout sur le biais : des erreurs qui infléchissent le jugement dans une direction prévisible. Dans « Noise », paru en 2021, Kahneman et ses coauteurs s’attaquent à l’autre moitié de l’erreur. Leur image est celle d’une cible : les tirs d’une première équipe sont groupés mais décentrés (le biais), ceux d’une seconde se dispersent autour du centre (le bruit). Les organisations traquent le biais depuis des années et n’ont presque jamais cherché le bruit. Pourtant, le mesurer ne demande pas de connaître la bonne réponse : il suffit de plusieurs jugements portés sur un même cas.

Les auteurs décomposent le bruit d’un système en trois parts. Le bruit de niveau (level noise) tient à l’écart entre les sévérités moyennes des personnes. Le bruit de profil (pattern noise) tient à la réaction propre de chacun face à tel ou tel cas. Le bruit circonstanciel (occasion noise) apparaît quand la même personne juge différemment le même cas à un autre moment. Comme chaque jugement est en général rendu une seule fois, par une seule personne, aucune de ces trois parts n’est visible.

Le remède proposé est volontairement sans éclat. L’audit de bruit (noise audit) mesure le problème. L’hygiène de la décision (decision hygiene) le réduit : agréger des jugements indépendants, découper un jugement complexe en évaluations séparées, retenir l’intuition jusqu’à ce que les faits soient réunis, et raisonner d’abord en statisticien sur les cas comparables. Comme le lavage des mains, elle prévient des erreurs que l’on ne voit jamais.

À qui il s’adresse

  • Responsables chargés de jugements récurrents : recrutement, tarification, octroi de crédit, entretiens annuels, notation
  • Lecteurs de « Système 1 / Système 2 » qui veulent connaître l’autre moitié de l’histoire de l’erreur
  • Personnes qui conçoivent un processus dont l’équité repose sur des décisions cohérentes

À qui il ne s’adresse pas

  • — Lecteurs en quête d’une introduction légère : le livre est long, et ses chapitres statistiques demandent de la patience
  • — Ceux qui attendent une solution rapide : les remèdes sont des routines dont le bénéfice se mesure sur de nombreuses décisions

Leçons principales

01

Distinguer le biais et le bruit, deux erreurs différentes

Un jugement peut manquer sa cible de deux façons. Le biais pousse de nombreux jugements dans le même sens, comme un fusil qui tire toujours à gauche. Le bruit disperse des jugements qui devraient concorder, comme des tirs éparpillés autour du centre. Les deux appellent des remèdes différents, et le bruit est celui que les organisations voient rarement, puisque chaque cas n’est en général jugé qu’une fois. Or mesurer le bruit n’exige aucune bonne réponse : plusieurs jugements du même cas suffisent. S’ils divergent fortement, certains au moins sont faux, quelle que soit la vérité.

À Lyon, deux chargés d’affaires d’une même agence bancaire ont examiné, le même après-midi, la demande de crédit d’une petite entreprise. L’un a recommandé un accord avec un plafond modeste ; l’autre a refusé. Aucun des deux ne savait que l’autre avait vu le dossier. C’est seulement lorsqu’une directrice a comparé leurs notes, par hasard, que la banque a compris que la réponse faite au client avait dépendu du conseiller disponible.

02

Conduire un audit de bruit

Le principal outil de diagnostic des auteurs est simple. Il consiste à choisir un jugement que l’organisation rend sans cesse et à préparer quelques cas réalistes. On soumet les mêmes cas à plusieurs des personnes qui en décident d’ordinaire, chacune juge seule, puis on compare. La question n’est pas de savoir qui a raison, mais quel écart sépare les réponses. Le livre décrit des audits menés dans une compagnie d’assurance : les dirigeants s’attendaient à un écart modeste entre les devis de deux souscripteurs et ont découvert un écart réel plusieurs fois supérieur. Une mesure utile est l’écart type entre deux jugements d’un même cas, rapporté à leur moyenne.

Un cabinet de recrutement lillois a remis à cinq consultants les trois mêmes CV anonymisés pour un poste et leur a demandé de proposer un salaire d’embauche. Personne ne s’est concerté. Pour un même candidat, la proposition la plus haute dépassait la plus basse de plus d’un quart. Les associés croyaient leur équipe cohérente ; l’audit a pris une heure et a changé la façon dont ils fixent le prix de chaque placement.

03

Juger seul, puis mettre en commun

Faire la moyenne de jugements indépendants annule une partie de leurs erreurs : la moyenne d’un groupe est moins bruitée qu’un jugement individuel ordinaire. La condition est l’indépendance, et la discussion la détruit le plus souvent. La première voix assurée ou la plus haut placée attire vers elle ceux qui parlent ensuite, et le groupe peut finir plus tranché et plus sûr de lui que chacun de ses membres pris isolément. Le remède est une séquence. Chacun écrit son jugement et une raison avant toute discussion ; les jugements sont révélés ensemble, de préférence sans les noms ; la discussion porte ensuite sur les écarts.

Chez un éditeur de logiciels montpelliérain, le comité produit ouvrait ses revues budgétaires par l’avis du directeur, et la salle s’y rangeait le plus souvent. Le comité a changé une seule chose : chacun inscrit un montant sur une fiche avant de parler, et toutes les fiches sont retournées en même temps. L’ampleur des écarts a surpris tout le monde, et la discussion a porté sur les éléments qui fondaient les fiches les plus hautes et les plus basses, non sur l’ordre de prise de parole.

04

Décomposer le jugement en parties

Une impression d’ensemble est plus bruitée que plusieurs évaluations séparées. Le cas le plus net du livre est l’entretien d’embauche : les conversations libres prédisent mal la performance et les recruteurs divergent fortement, alors que les entretiens structurés font mieux. La méthode générale, que les auteurs appellent protocole des évaluations intermédiaires (mediating assessments protocol), tient en trois gestes. Fixer à l’avance les quelques évaluations dont dépend la décision. Noter chacune séparément, sur des faits et des comparaisons. Différer le jugement global jusqu’à ce que toutes les notes soient connues : l’intuition a sa place, mais à la fin, pas au début.

Dans un centre hospitalier de Rennes, le jury de recrutement des cadres de santé discutait librement de chaque candidature avant de voter. Il a arrêté quatre qualités à l’avance, en a confié deux à chaque membre, et a noté les réponses au regard de descriptions écrites d’une bonne réponse. La délibération finale ne commençait qu’une fois toutes les notes posées sur la table, et une candidate discrète, bien notée sur chaque critère, a été retenue.

À essayer aujourd’hui

Choisir un jugement que l’équipe rend souvent. Cette semaine, soumettre le même dossier à deux collègues, séparément, et noter l’écart entre leurs réponses.

Test rapide

Au sens du livre, qu’est-ce que le bruit ?

Pourquoi les auteurs demandent-ils à chacun d’écrire son jugement avant que le groupe n’en discute ?

Citations choisies

“Partout où l’on juge, il y a du bruit, et bien davantage qu’on ne le croit.”
Daniel Kahneman, Olivier Sibony and Cass R. Sunstein · La thèse centrale du livre en une ligne. Elle s’adresse aux organisations qui se fient à la cohérence de leurs professionnels sans jamais la mesurer.
“Pour comprendre l’erreur de jugement, il faut comprendre à la fois le biais et le bruit.”
Daniel Kahneman, Olivier Sibony and Cass R. Sunstein · Tirée de l’ouverture du livre, où les auteurs situent leur travail par rapport à « Système 1 / Système 2 » : le biais fait l’objet de recherches depuis des décennies, et c’est le bruit, l’autre composante de l’erreur, qu’ils entendent rendre visible.
La lettre BookYolDeux lettres par semaine

Après la dernière page

Le meilleur de Noise : pourquoi nous faisons des erreurs de jugement et comment les éviter, c’est ce que vous en ferez

Chaque mardi, une idée tirée d’un livre qui mérite sa place dans votre bibliothèque, expliquée en cinq minutes. Chaque vendredi, une petite expérience pour vérifier qu’elle tient la route dans votre propre semaine.

Mardi

La grande idée

Une idée qui bouscule une idée reçue, expliquée avec soin et accompagnée de sa source.

Vendredi

La petite expérience

Un petit geste à essayer avant lundi, pour que l’idée devienne une pratique.

Dans chaque lettre

  1. 01L’idée
  2. 02Pourquoi elle fonctionne
  3. 03D’où elle vient
  4. 04Un geste à essayer

Ni spam ni revente de votre adresse. Seulement les lettres.