Kavram
A/B Testi (Split Testing)
A/B testi, bir şeyin iki versiyonunu aynı dönemde rastgele ayrılmış müşterilere sunarak aradaki sistematik farkı yalnızca yaptığınız değişikliğe bağlayabilmenizi sağlayan deneydir.
Bir şeyi değiştirirsiniz, bir rakam yükselir, ama nedenini çoğu zaman bilemezsiniz. Bayram haftası, bir podcast'te adınızın geçmesi ya da gelen ziyaretçi karışımının değişmesi davranışı sizin değişikliğiniz kadar oynatabilir. Bu ayı geçen ayla kıyaslamak hepsini aynı torbaya koyar. Eric Ries'in Yalın Girişim'deki cevabı A/B testidir. A ve B versiyonlarını aynı dönemde sunarsınız, kimin hangisini göreceğine de şans karar verir. İki grup aynı haftayı, aynı havayı, aynı gündemi yaşar. Böylece aralarındaki tek sistematik fark sizin değişikliğiniz olur. Rastgelelik işin özüdür. Müşteriye seçtirmek ya da yeni versiyonu en iyi müşterilerinize vermek, yanlılığı sessizce geri getirir. İşin ikinci yarısı da en az o kadar önemlidir. Sonucu herkesin kontrol edebileceği kadar sade raporlayın: müşteri başına, grup büyüklükleriyle ve yorumlamadan önce.
Gerçek hayattan bir örnek
Kadıköy'de internetten kahve çekirdeği satan Selin, 400 TL üzeri ücretsiz kargonun siparişleri artırıp artırmadığını merak ediyor. Teklifi herkese birden açmak yerine, üç hafta boyunca rastgele atama yapan bir kodla ziyaretçilerin yarısına gösteriyor. Teklifsiz grupta 1.150 ziyaretçi 41 sipariş verdi. Teklifli grupta 1.170 ziyaretçi 66 sipariş verdi. Bu arada bir yemek blogunda adı geçti, ama bunu iki grup da yaşadı. Selin tabloyu tarihleriyle ortağına gönderiyor, ortağı da aynı sonucu kendisi hesaplıyor.
Nasıl kullanılır
- 1Başlamadan önce tek bir değişiklik ve müşteri başına tek bir ölçüt seçin, örneğin ziyaretçi başına sipariş. Hangi sonucun sizi bu değişiklikten vazgeçireceğini de yazın.
- 2Müşterileri elle değil, rastgele bir kuralla ayırın: sırayla kayıt, yazı-tura kodu ya da müşteri numarasının son hanesi. İki versiyonu aynı tarihlerde yayında tutun.
- 3Sonucu tek ve sade bir tabloda raporlayın: grup büyüklükleri, her grubun ölçütü ve tarihler. Başka biri sonucunuzu bu tablodan yeniden hesaplayamıyorsa rapor bitmemiştir.