BookYol

Concept

Score de Brier (Brier Score)

Le score de Brier mesure la qualité de prévisions exprimées en probabilités : il fait la moyenne des carrés des écarts entre la probabilité annoncée et ce qui s’est réellement produit, si bien que 0 est un score parfait et qu’un score plus bas est toujours meilleur.

Un événement isolé ne peut ni confirmer ni réfuter une « probabilité de 70 % ». Une série de prévisions, en revanche, se note. Pour chaque prévision, on code le résultat 1 si l’événement s’est produit, 0 sinon. On soustrait ce chiffre de la probabilité annoncée, puis on élève le résultat au carré. La moyenne de ces carrés sur un grand nombre de prévisions donne le score de Brier. Le carré sanctionne lourdement les erreurs commises avec assurance : une prévision à 90 % qui échoue coûte 0,81, une prévision à 60 % qui échoue coûte 0,36. Quiconque répond 50 % à tout obtient toujours 0,25 : c’est le seuil à battre. Ce seul chiffre réunit deux compétences. La première est la calibration (Calibration) : les affirmations données à 70 % se vérifient environ sept fois sur dix. La seconde est l’audace : s’écarter de 50 % lorsque l’on sait réellement quelque chose. Philip Tetlock s’est servi de ce score dans ses tournois de prévision pour repérer les superprévisionnistes (superforecasters). Sa version additionne les écarts sur les deux issues possibles, l’événement et son contraire, si bien que le score va de 0 à 2.

Un exemple concret

Maëlle, responsable produit dans une start-up lyonnaise, estime pour chaque sprint la probabilité qu’il soit livré à temps. Sur dix sprints, elle annonce 90 % à chaque fois, et six sont livrés. Chaque réussite lui coûte 0,01, chaque échec 0,81 : son score de Brier atteint 0,33, moins bon que celui d’une personne qui répondrait toujours 50 %. Le trimestre suivant, elle donne 85 % aux sprints sans difficulté particulière et 45 % à ceux qui dépendent encore d’autres équipes. Son score descend à 0,20.

Le mettre en pratique

  1. 1Consigner chaque prévision sous forme d’un chiffre daté, par exemple « 70 % que le client signe d’ici vendredi », et non « probablement ».
  2. 2Une fois l’issue connue, noter 1 ou 0 et calculer (probabilité − résultat)² : une seule colonne de tableur suffit.
  3. 3Après au moins 20 prévisions, comparer sa moyenne à 0,25, puis examiner chaque tranche de confiance séparément pour savoir si l’on pèche par excès ou par défaut de confiance.