Kavram
Brier Skoru (Brier Score)
Brier skoru, verdiğiniz olasılık ile gerçekte olan arasındaki farkın karesini birçok tahmin üzerinden ortalayarak tahminlerinizin ne kadar isabetli olduğunu ölçer; 0 kusursuzdur ve düşük olan her zaman daha iyidir.
"%70 ihtimalle" diye başlayan bir tahmini tek bir olaya bakarak doğru ya da yanlış ilan edemezsiniz, ama puanlayabilirsiniz. Her tahminde olay gerçekleştiyse sonucu 1, gerçekleşmediyse 0 yazın. Bunu olasılığınızdan çıkarın ve farkın karesini alın. Bu kareleri çok sayıda tahmin üzerinden ortaladığınızda Brier skorunuz ortaya çıkar. Kare almak, emin konuşup yanılmayı ağır cezalandırır: tutmayan bir %90 tahmini 0,81'e, tutmayan bir %60 tahmini 0,36'ya mal olur. Her şeye %50 diyen biri hep 0,25 alır; geçmeniz gereken çıta budur. Skor iki şeyi birden ölçer. Biri kalibrasyondur: %70 dediklerinizin aşağı yukarı onda yedisi gerçekleşir. Diğeri cesarettir: gerçekten bir şey bildiğinizde %50'den uzaklaşırsınız. Philip Tetlock tahmin turnuvalarında süper tahmincileri bu skorla ayırdı. Onun kullandığı sürüm sonucun iki tarafını da topladığı için 0 ile 2 arasında değişir.
Gerçek hayattan bir örnek
Kadıköy'de bir tasarım ajansında çalışan Deniz, gönderdiği her teklif için müşterinin imzalayıp imzalamayacağını tahmin ediyor. On iki teklifin hepsine %80 diyor; yedisi imzalanıyor. İmzalanan her teklif 0,04, imzalanmayan her teklif 0,64 ceza getiriyor ve skoru 0,29 oluyor. Bu, her şeye %50 diyen birinden kötü. Sonraki dönemde önceden çalıştığı firmalara %90, bütçesi netleşmemiş müşterilere %40 veriyor. Skoru 0,12'ye iniyor.
Nasıl kullanılır
- 1Her tahmini tarihli bir sayı olarak kaydedin: "muhtemelen" değil, "müşteri cumaya kadar imzalar, %70".
- 2Sonuç belli olunca 1 ya da 0 yazın ve (olasılık − sonuç)² hesaplayın. Tablodaki tek bir sütun bu işi kendiliğinden yapar.
- 3En az 20 tahminden sonra ortalamanızı 0,25 ile karşılaştırın. Ardından her güven aralığına ayrı bakarak fazla mı az mı emin olduğunuzu görün.