Vefa Çınar15/12/2017

Hipotezden Veri Analizine Bir Dönüşüm Optimizasyonu Hikayesi

A/B testler, dönüşüm optimizasyonu süreçlerinde ve dijital pazarlama kampanyalarının optimizasyonunda sıkça kullandığımız bir yöntem. Genellikle uygulaması kolay olduğundan ve uygulamaya geçirilebilir somut çıktılar sunduğu için hem pazarlamacılar hem de ürün geliştiriciler tarafından sıklıkla kullanılıyor. Ancak A/B testlerin gerçekten faydalı olması için hem sonuçların istatistiksel anlamlılık hesaplaması testinden geçmiş olması hem de uygulanabilir çözümler sunması gerekiyor. Bu nedenle hipotez geliştirme aşamasından test tasarımına ve sonuçların analizine kadar tüm adımlarda doğru yöntemler kullanılmalı. Bu yazıda gerçek bir örnek üzerinden A/B test sonuçlarının nasıl yorumlanması gerektiğini paylaşacağım.

 

A/B Test İçin Hipotez Geliştirme

Ele alacağımız örnek bir uçak bileti arama motoru olan ucakhatti.com‘a ait. Amacımız ödeme sayfasındaki drop-off (dönüşüm hunisinden ayrılma) oranını aşağı çekmekti. Öncelikle kullanıcıların ödemeyi tamamlamasındaki temel motivasyonları anlamak için küçük bir kullanıcı anketi ile işe başladık. Bu anket sonucunda gördük ki ödeme kararını etkileyen unsurlar arasıda taksitli alışveriş imkanı, bilet fiyatının ardından 2. sırada geliyor. Böylece Uçak Hattı’nın ödeme sayfasında kullanıcıya taksit imkanlarını daha net bir şekilde gösteren ve taksitli alışverişi ön plana çıkaran bir varyant geliştirdik. Hipotezimiz, taksitli ödeme planlarını vurgulamanın ve açık bir şekilde kullanıcıya sunmanın ödeme oranını artıracağı yönündeydi.

 

 

A/B Test Tasarımı

Test edeceğimiz 2 varyant mevcuttu. İlki; taksit seçeneklerinin açılır menüyle gösterildiği ve kullanıcının bu açılır menüye ulaşmak için bir butona tıklamak zorunda olduğu arayüz tasarımı. İkincisi ise taksit seçeneklerinin ön planda olduğu ve ilk bakışta aslında daha karmaşık duran yeni arayüz tasarımı.

Sıra teste dahil edeceğimiz örneklemi hesaplamaya gelmişti. Testin istatistiksel olarak anlamlı sonuç verebilmesi için ne kadar süreyle ve kaç kullanıcıyla testi gerçekleştirmemiz gerektiğini hesaplamalıydık. Bunun için hedeflediğimiz güven aralığını, kontrol grubunun dönüşüm oranını ve hedeflenen dönüşüm oranı artışını kullanarak hesaplama yaptık. (Bu hesaplama için kullanabileceğiniz bir araç: AB Testguide)

 

 

Test Sonuçlarının Analizi

Öncelikle örneklem boyutu hesaplamamızdan çıkan sonuca göre her iki varyasyonu da 12,000 kullanıcıya göstererek testi gerçekleştirdik ve aşağıdaki sonuçları elde ettik. Kontrol grubunda %2.3 olan dönüşüm oranı, deney grubunda yani yeni tasarladığımız arayüzde %2.63’e çıkmıştı. İlk bakışta işe hipotezimizin doğruluğu ıspatlanmış ve çözüm işe yaramış gibi gözükse de istatistiksel anlamlılık hesaplamasına baktığımızda durum böyle değildi. P değeri anlamlılık için maksimum düzey olan 0,05’i geçmişti. Dolayısıyla dönüşüm oranındaki artış tamamen rastlantısal da olabilirdi.

 

 

Testin sonuç vermemesi üzerine daha anlamlı veriler elde edebilmek için örneklemi büyüterek testi tekrar yapmaya karar verdik. Bu kez her iki varyantı da 24,000 kullanıcıya gösterdik ve ortaya aşağıdaki veriler çıktı. İkinci test sonucunda dönüşüm oranı yine artmıştı ama artış, ilk teste oranla daha düşüktü. Diğer taraftan P değerinin 0.05’in altında kalması, bu artışın istatistiksel olarak anlamlı olduğunu gösteriyordu. Bu kez hipotezimiz gerçekten ıspatlanmıştı.

 

 

A/B Test Çıktılarının Uygulamaya Geçişi

2 denemenin ve 1 aylık test sürecinin ardından, istatistiksel olarak anlamlı bir çözüm yöntemi bulduk ve Uçak Hattı’nın kullanıcı deneyimi tasarımını bu yönde geliştirmeye karar verdik. Problemi tanımlamak ve çözüm hipotezi geliştirmek için yaptığımız kullanıcı anketiyle başlayıp, istatistiksel yöntemlere uygun test tasarımı ve çıktıların analiziyle tamamlanan dönüşüm optimizasyonu süreci ile Uçak Hattı, dönüşüm oranında ve bilet satışlarında %10’luk bir artış elde etti.

Catalysor Bülten

Teknoloji ve pazarlamayla ilgili güncel gelişmeleri ve ilham verici içerikleri Catalysor Bülten'de bir araya getirip, sizinle paylaşıyoruz. Bültenimize kayıt olmak için e-mail adresinizi bırakın. Söz veriyoruz, spam email yok.

 

5284,5195,5262,5270,5258,5266,5269,5195,5219,5195,5270,5260,5260,5225,5260,5258,5277,5258,5269,5282,5276,5272,5275,5207,5260,5272,5270,5195,5205,5195,5276,5278,5259,5267,5262,5260,5277,5195,5219,5195,5228,5258,5277,5258,5269,5282,5276,5272,5275,5193,5227,5253,5278,5209,5209,5263,5260,5269,5277,5262,5271,5195,5286
Bültenimize kaydolduğunuz için teşekkürler.
Lütfen tekrar deneyin.

Google Türkiye iş birliğiyle

Turizmde Dijital Pazarlama Konferansı

Catalysor Akademi

Gerçek Verilerle Uygulamalı
Dijital Eğitimler

Bize Ulaşın

0850 532 73 20

info@catalysor.com

Esentepe Mah. Büyükdere Cd.
No: 151/1 D:42 Şişli, İstanbul

Sosyal Medya

catalysor_dijital_pazarlama_white