A/B testi nedir? Az trafikle doğru test nasıl kurulur

A/B testi (bölünmüş test, split test), kullanıcıları rastgele iki gruba ayırıp her gruba bir sürüm göstererek hangisinin daha iyi dönüştürdüğünü ölçme yöntemidir. Salı toplantısında büyüme lideri (growth lead) yeni kayıt sayfasını teste açmak ister, kurucu ise iki gün sonra panoya bakıp kazananı ilan etmeye hazırdır. Çoğu zaman iki gün yetmez. Az trafikle çalışan bir ekipte testin bir şey söyleyip söylemeyeceği, test başlamadan yapılan bir hesaba bağlıdır. Aşağıda o hesabı, sonuca erken bakmanın bedelini ve trafik yetmediğinde neyi test edeceğinizi anlatıyoruz.

A/B testi nedir ve neyi cevaplar

A/B testi tek bir soruyu cevaplar: bu değişiklik, seçtiğimiz metriği tesadüfün açıklayamayacağı kadar hareket ettirdi mi? Rastgele bölme işin özüdür. İki grup aynı günlerde, aynı kanallardan, aynı kampanyalarla gelir. Aralarındaki tek fark gösterdiğiniz sürümdür.

Önce-sonra karşılaştırması bunu sağlamaz. Yeni kayıt sayfasını pazartesi yayına alıp geçen haftayla kıyaslarsanız, farka bayram tatili de karışır. Biten bir Meta kampanyası ya da rakibin indirimi de aynı sonucu oynatır. A/B testi bu gürültüyü iki gruba eşit dağıtır.

Testin cevaplamadığı sorular da var. Kullanıcının neden ayrıldığını söylemez, yalnızca hangi sürümün daha iyi çalıştığını gösterir. Neyi test edeceğinizi bulmak için önce huniye bakın: dönüşüm hunisinde (funnel) en çok kullanıcının kaybolduğu adım, testin ilk adayıdır.

Son ayın huni verisini bu hafta açın. En büyük düşüşün olduğu tek adımı not edin.

Bir testin parçaları

Bir test, yayına girmeden önce beş satırlık bir planla başlar. Plan yazılı değilse, sonuç geldiğinde herkes kendi beklediği metriğe bakar. Test de istenen yöne okunur.

MDE, testin görebileceği en küçük farktır. MDE'yi iş kararına göre seçin. Kendinize şunu sorun: bu fark çıkmasa da değişikliği yayına alır mıydınız? Cevap evetse testi atlayın ve değişikliği yayına alın.

Tek metrik, kararı veren metriktir. Yanına bir ya da iki koruma metriği ekleyebilirsiniz: iade oranı, destek talepleri ya da ilk hafta kayıp oranı (churn) gibi. Koruma metriği kararı vermez, yalnızca kazanan sürümün başka bir yeri bozmadığını kontrol eder.

Test etmek istediğiniz değişiklik için bu tabloyu bu hafta doldurun. Boş kalan satır, testin henüz hazır olmadığını gösterir.

Örneklem büyüklüğü: testi başlatmadan hesaplayın

Evan Miller'ın A/B testi hataları üzerine yazısındaki kaba kural şudur: n = 16 × σ² / δ². Formülde δ görmek istediğiniz en küçük fark, σ² ise beklediğiniz varyanstır. Dönüşüm oranı gibi bir oranda aynı yazıya göre varyans σ² = p × (1 − p) ile hesaplanır.

Çıkan n, varyant başına gereken kullanıcı sayısıdır. δ mutlak farktır ve formüle ondalık olarak girer. %3'ten %3,6'ya çıkış 0,6 yüzde puandır, yani δ = 0,006. Göreli %20 değil. Bazı hesaplayıcılar MDE'yi göreli yüzde olarak ister. Formüle girerken mutlak farka çevirin.

Yazı, 16 katsayısının hangi istatistiksel güce karşılık geldiğini belirtmiyor. Kendi hesabımıza göre (1,96 + 0,84)² × 2 ≈ 15,7 eder. Yani katsayı yaklaşık %5 anlamlılık ve %80 güce denk gelir.

Temsili bir örnek alalım. Kayıt sayfanızın dönüşümü %3 ve yeni sürümün bunu %3,6'ya çıkarmasını bekliyorsunuz. Varyans 0,03 × 0,97 = 0,0291 olur. n = 16 × 0,0291 / 0,006² hesabı, varyant başına 12.933 ziyaretçi verir. Günde 1.000 ziyaretçiniz varsa ve trafiği ikiye bölerseniz, her varyanta günde 500 kişi düşer. Örneklem yaklaşık 26 günde dolar.

Grafikteki ilişki doğrudan formülden gelir. δ paydada karesiyle durduğu için beklediğiniz farkı yarıya indirdiğinizde gereken trafik dört katına çıkar. Aynı sayfada göreli %10'luk bir iyileşmeyi görmek, üç ayı aşan bir test demektir. Erken aşama bir üründe o sürede ürün, kampanyalar ve trafik karışımı değişir.

Test adayınızın son dört haftalık dönüşüm oranını alın ve göreli %20 ile %50 artış için örneklemi hesaplayın. Sonucu günlük trafiğinize bölün. Çıkan gün sayısı, testin makul sürede bitip bitmeyeceğini söyler.

Sonuca erken bakmayın

Testi açtıktan sonra en sık yapılan hata, sonuca her gün bakıp anlamlı görünür görünmez durdurmaktır. Klasik anlamlılık hesabı, örneklemin baştan sabitlendiğini varsayar. Aracınız sıralı test (sequential testing) kullanmıyorsa bu sizin panonuz için de geçerlidir. Her bakışta durma seçeneğini kullanırsanız, tesadüfi bir dalgalanmayı kazanan diye yakalama şansınız artar.

Evan Miller'a göre tekrarlanan anlamlılık testi yanlış pozitif oranını her zaman artırır. Yazıdaki örnekte devam eden bir deneye on kez bakmak, %1 sandığınız anlamlılık düzeyini fiilen %5'e çıkarır. En kötü durumda her gözlemden sonra test edip ilk anlamlı sonuçta durursanız, %5 sandığınız oran %26,1 olur.

İki örnek farklı başlangıç düzeyleri kullanıyor: biri %1, diğeri %5. Rakamlar bu yüzden birbiriyle çelişmiyor. Ortak mesaj şu: ne kadar sık bakıp durdurursanız, yanlış kazanan o kadar sık çıkar.

Çözüm basit. Aynı yazıya göre örneklem büyüklüğünü önceden taahhüt etmek bu sorunu tamamen ortadan kaldırır. Pratikte panoya bakmak yasak değildir. Çöken bir sayfa ya da kırık bir izleme kodu için testi izleyin, ama kazanan kararını örneklem dolunca bir kez verin.

Süreyi tam haftalarla planlayın. Hafta içi ve hafta sonu kullanıcıları farklı davranır. Maaş günü, kampanya dönemleri ve bayramlar da dönüşümü oynatır. Örneklem dört günde dolsa bile testi en az bir, tercihen iki tam hafta çalıştırın.

Bir sonraki testin bitiş tarihini takvime yazın ve ekiple paylaşın. Karar o tarihten önce verilmez.

Az trafikte neyi test etmeli

Az trafikte doğru soru, hangi testin örnekleminin makul sürede dolacağıdır. Formül cevabı verir: büyük farklar küçük örneklemle, küçük farklar büyük örneklemle görülür. Buton rengi, başlıktaki bir kelime ya da ikon değişikliği çoğu zaman küçük bir fark üretir. Günde birkaç yüz ziyaretçiyle bu farkı görmek aylar alır.

Büyük fark genellikle huninin darboğazındaki yapısal bir değişiklikten gelir: akışın sırası, teklif, fiyatın sunumu, kaydın yeri. Açılış sayfasında da mantık aynıdır. Başlığın rengini değil, açılış sayfasının (landing page) vaadini, teklifini ya da form yapısını test edin.

Masa'da Kreto, en büyük düşüş noktası olan zorunlu kayıt duvarını ürünün temel deneyiminin arkasına aldı. Vaka sayfasına göre onboarding (ilk kullanım) akışındaki bu değişiklik, kayıt dönüşüm oranını %32,7'den %63'e yükseltti. Vaka sayfası değişikliğin A/B testiyle ölçüldüğünü söylemiyor. Örneği burada yalnızca farkın büyüklüğü için veriyoruz.

Aynı formülle kendi hesabımızı yaptık. %32,7 taban oranla δ = 0,303 olan bir fark, varyant başına yaklaşık 38 kullanıcıyla görülebilecek kadar büyüktür. Buton renginden beklenebilecek küçük bir fark ise aynı trafikle görünmez. Az trafikli bir ekip için test fikrini seçmek, testi kurmaktan daha önemli karardır.

Karar ağacındaki soruları sırayla sorun. Değiştirdiğiniz adım darboğaz değilse, test kazansa bile huninin sonu az değişir. Örneklem dört haftada dolmuyorsa değişikliği büyütün: iki metni değil, iki farklı akışı karşılaştırın. Büyütemiyorsanız önce-sonra ölçün ve birkaç kullanıcıyla görüşün.

Önce-sonra ölçümünü zayıflığını bilerek kullanın. Yayın tarihini not edin ve aynı dönemde kampanya ya da fiyat değiştirmeyin. Sonucu bir kanıt olarak değil, bir sinyal olarak okuyun.

Test listenizdeki her fikri bu hafta bu üç soruya göre ayırın. Darboğazda olmayan ve örneklemi dolmayan fikirleri listeden çıkarın.

Testi nerede ve hangi araçla kurmalı

Araç seçimi, testin nerede çalışacağına bağlıdır: web sitesi, uygulamanın içi ya da uygulama mağazası. Eski Türkçe rehberlerde sık geçen bir aracın artık olmadığını da bilin.

Google'ın duyurusuna göre Google Optimize ve Optimize 360, 30 Eylül 2023'ten beri kullanılamıyor. O tarihte açık olan deneyler ve kişiselleştirmeler de sona erdi. Bir rehber hâlâ Optimize öneriyorsa, araç listesini güncel bir kaynaktan doğrulayın.

Web'de testi çoğu ekip bir özellik bayrağı (feature flag) aracıyla ya da sunucu tarafında rastgele bölmeyle kurar. Hangi yolu seçerseniz seçin, aynı kullanıcının her oturumda aynı varyantı gördüğünü kontrol edin.

Mobil uygulamanın içinde Firebase A/B Testing ile arayüz, özellik ve etkileşim kampanyası değişikliklerinin temel metriklerinizi nasıl etkilediğini ölçersiniz. Fiyatlandırmayı ve kullanım sınırlarını kurulumdan önce kendi projenizde kontrol edin.

Mağaza sayfası için iki platformun da kendi aracı var. Apple'ın ürün sayfası optimizasyonunda bir test, alternatif ikon, ekran görüntüsü ve önizleme videosu içeren en fazla üç varyant barındırabilir. Sonuçları App Analytics'te görür, en iyi sürümü herkese gösterebilirsiniz.

Google Play'deki mağaza sayfası deneyleri, ile uygulamanız için en etkili görseli ve metni ararsınız. Yayındaki uygulamalarda varyantlar, yükleme ve açılma verisine göre mevcut sürümle karşılaştırılır. Her uygulama için aynı anda bir varsayılan grafik deneyi ya da en fazla beş yerelleştirilmiş deney çalıştırabilirsiniz.

Mağaza testleri de aynı örneklem kuralına tabidir. Günlük mağaza ziyaretiniz azsa, ekran görüntüsündeki küçük bir metin yerine ilk ekran görüntüsünün anlattığı vaadi değiştirin.

Reklam kreatiflerinde her platformun kendi deney aracı vardır ve kurallar sık değişir. Kurulumdan önce platformun güncel yardım sayfasını okuyun. Pixel+ için Kreto, kreatifleri aylık bir üretim hattıyla yeniledi. Vaka sayfasına göre bu kreatifler 0,74 dolar Google Ads CPI'ye ulaşan motorun temeli oldu. Az trafikte deney aracından önce, düzenli yeni kreatif üretmek gerekir.

Kullandığınız test aracını ve testin çalıştığı yüzeyi not edin. Araç listenizde Optimize varsa çıkarın.

Test sonucunu okumak ve kaydetmek

Örneklem dolduğunda sonuca bir kez bakın ve üç durumdan birini yazın: kazandı, kaybetti, fark bulunamadı. Fark bulunamaması, iki sürümün eşit olduğu anlamına gelmez. Gerçek bir fark varsa, büyük olasılıkla MDE'den küçüktür.

Sonucu okumadan önce grupların büyüklüğünü kontrol edin. Trafiği ikiye böldüyseniz iki grup birbirine yakın olmalı. Belirgin bir dengesizlik, bölme mekanizmasında bir hata olduğunu gösterir ve sonucu güvenilmez kılar.

Sonuç geldikten sonra segment segment kazanan aramayın. Veriyi yeterince parçaya bölerseniz, bir yerde tesadüfen anlamlı görünen bir grup bulursunuz. Segment fikrini yeni bir hipotez olarak yazın ve ayrı bir testte sınayın.

Kaybeden ve nötr testler istisna değildir. Kohavi ve Thomke'nin Harvard Business Review makalesine göre Google ve Bing'de deneylerin yalnızca yaklaşık %10 ila %20'si olumlu sonuç veriyor. Aynı makaleye göre Microsoft genelinde deneylerin üçte biri etkili, üçte biri nötr, üçte biri olumsuz çıkıyor.

İki rakam da 2017'de yayımlandı. İlki Google ve Bing'i, ikincisi Microsoft'un tamamını anlatıyor. Ortak noktaları şu: büyük test hacmi olan ekiplerde bile kazanan test azınlıktadır. Nötr sonuç başarısızlık değil, bir bilgidir.

Büyüme pazarlamasında deney tek seferlik bir doğrulama değil, kaydı tutulan bir döngüdür. Kaydedilmeyen nötr bir test, birkaç ay sonra başka biri tarafından yeniden kurulur. Basit bir tablo yeter. Aşağıdaki satır temsilidir:

Öğrenilen sütunu tablonun en değerli kısmıdır. Bir sonraki hipotezi o cümleden yazarsınız.

Ortak bir tabloda test kaydını bu hafta açın. Son üç ayda yaptığınız değişiklikleri, ölçülmemiş olsalar bile ilk satırlara yazın.

Sık sorulan sorular

A/B testi ile split test aynı şey mi?

Evet, iki ad da aynı yöntemi anlatır. Bazı ekipler split test adını, trafiğin iki ayrı adrese bölündüğü sayfa testleri için kullanır. Yöntem değişmez: rastgele bölme, tek metrik, önceden belirlenmiş örneklem.

A/B testi için kaç ziyaretçi gerekir?

Sayı, taban dönüşüm oranınıza ve görmek istediğiniz farka bağlıdır. Yukarıdaki formülle varyant başına sayıyı hesaplayın, sonra günlük trafiğinize bölün. Süre dört haftayı aşıyorsa değişikliği büyütün.

Aynı testte birden fazla şeyi değiştirebilir miyim?

Değiştirebilirsiniz, ama o zaman hangi parçanın etki ettiğini bilemezsiniz. Yalnızca paketin toplam etkisini görürsünüz. Az trafikte bu çoğu zaman doğru seçimdir. Varyant sayısını artırmak ise trafiği böler ve her varyantın örneklemini geciktirir.

Test anlamlı çıkmazsa ne yapmalıyım?

Sonucu "fark bulunamadı" olarak kaydedin ve değişikliği iş gerekçesine göre tutun ya da geri alın. Aynı testi süreyi uzatarak yeniden açmayın. Onun yerine daha büyük bir değişiklik deneyin.

İlk testinizi önce kağıt üzerinde kurun

A/B testi trafiğe değil, plana dayanır. Bu hafta tek bir test için şunları yazın:

1. Huninin darboğazındaki adım ve tek bir hipotez.
2. Birincil metrik ve MDE.
3. Varyant başına örneklem ve tam hafta olarak süre.
4. Bitiş tarihi ve test kaydındaki ilk satır.

Darboğazı bulup deney döngüsünü birlikte kurmak isterseniz Kreto'nun büyüme pazarlaması ekibiyle görüşün. Elinizdeki huni verisiyle başlarız.