Optimasi Laman Daring dengan A/B Testing
A/B Testing merupakan sebuah metode yang membandingkan 2 atau lebih versi halaman yang ditampilkan kepada pengguna website atau aplikasi secara acak dan real-time serta memanfaatkan analisis statistik untuk menentukan versi mana yang lebih baik untuk digunakan dan disukai oleh pengunjung. Untuk menentukan versi mana yang lebih baik, dilakukan pengumpulan data yang menunjukkan perbandingan persentase jumlah pengunjung, jumlah pembeli, jumlah download, jumlah klik, ataupun indikator lain yang disebut juga dengan conversion rate. Versi halaman dengan conversion rate lebih tinggi adalah versi halaman yang lebih baik untuk digunakan guna mencapai tujuan bisnis yang diharapkan. Biasanya, A/B Testing dilakukan oleh seorang Digital Marketing Manager dan Conversion Rate Optimization Specialist. Untuk meningkatkan jumlah pengguna website atau aplikasi yang bersangkutan juga dapat menggunakan proses Search Engine Optimization.
Sebagai contoh; seorang pebisnis dapat mengubah warna text box dalam website yang dimilikinya, mengganti gambar, mengganti font tulisan, ataupun melakukan perombakan design secara total dalam halaman website atau aplikasinya. Perubahan dan variasi design ini akan diuji untuk melihat apakah perubahan design tersebut memberikan peningkatan atau penurunan pada conversion rate (persentase jumlah download, persentase jumlah pembeli, persentase jumlah sign up, dan lain sebagainya). Dengan menggunakan A/B Testing, pengunjung website atau aplikasi akan dibagi menjadi 2 sebanyak 50% dan 50% untuk tiap sampel dan diperoleh data mengenai conversion rate untuk tiap sampelnya. Katakanlah variasi A diperoleh conversion rate 25% sementara untuk variasi B hanya 5%. Berdasarkan data tersebut akhirnya dapat diketahui versi halaman mana yang ideal dan akan terus dikembangkan.
Proses A/B Testing
A/B Testing yang dilakukan secara terencana dan efektif dapat berupaya untuk mendorong peningkatan profitabilitas perusahaan. Setidaknya terdapat 5 proses yang harus dilewati dalam pengujian ini. Proses tersebut antara lain adalah performing research, hypothesis formulation, creating a variation, testing, dan yang terakhir adalah analyzing results and drawing conclusions.
- Melakukan penelitian
Tahap paling dasar dalam melakukan proses A/B Testing adalah melakukan penelitian. Pada tahap ini, dilakukan pengumpulan data dan menganalisis data tersebut untuk menentukan bagian halaman mana yang dapat dioptimalisasi. Biasanya digunakan alat analisis website seperti Google Analytics, heatmaps, atau survei untuk mengumpulkan data tentang perilaku pengunjung. Selanjutnya dilakukan proses identifikasi tujuan dalam A/B Testing seperti jumlah download, jumlah pembeli, jumlah klik, dan lainnya sehingga didapatkan persentase atau disebut juga conversion rate nya.
- Membuat hipotesis
Setelah tujuan telah diidentifikasi, maka langkah selanjutnya adalah membuat hipotesis untuk mengetahui alasan mengapa versi terbaru akan lebih baik dari versi yang lama atau versi sebelumnya.
- Membuat variasi design yang baru
Tahap berikutnya merupakan perubahan terhadap situs website atau aplikasi yang dimiliki. Perubahan yang dimaksud adalah seperti warna tombol, layout website, atau perubahan design lainnya. Untuk melakukan perubahan-perubahan tersebut dapat digunakan A/B Testing Tools seperti Optimizely, VWO, dan Google Optimize.
- Melakukan pengujian
Setelah perubahan terhadap situs website atau aplikasi dilakukan, langkah selanjutnya adalah menggunakan variasi design tersebut dalam interval waktu tertentu. Pengunjung yang hadir dalam waktu yang sama akan disajikan dengan versi halaman yang berbeda (50% halaman versi A dan 50% halaman versi B).
- Menganalisis hasil dan menarik kesimpulan
Ketika pengumpulan data, analisis, hipotesis, dan pengujian telah dilakukan, maka langkah terakhir adalah menganalisis hasil dari perubahan design yang dilakukan. Apabila perubahan design website atau aplikasi menunjukkan tren yang positif dan memiliki conversion rate yang lebih tinggi, maka dapat ditarik kesimpulan design mana yang lebih baik untuk digunakan.
Setelah semua proses dalam melakukan A/B Testing dilakukan, tidaklah cukup untuk membuat percobaan dengan 2 variasi halaman dan berharap untuk mendapatkan hasil yang dapat dipercaya. Karakteristik utama dari A/B Testing adalah statistical significance yang tinggi. Angka yang tinggi ini dapat memperkirakan bahwa perusahaan akan benar-benar mendapatkan peningkatan conversion rate.
Sebagai contoh; sebuah perusahaan ingin melakukan A/B Testing dan mencari tahu apakah design layout versi B lebih baik dibanding versi A dan dapat meningkatkan conversion rate. Apabila setiap variasi dikunjungi oleh 14.500 pengunjung yang berbeda, variasi A terdapat 1450 orang yang mendownload aplikasi dan variasi B terdapat 1600 orang yang mendownload aplikasi, berikut merupakan hasil perhitungannya.
Dengan significance level sebesar 5%, didapatkan bahwa confidence interval versi B lebih tinggi dibandingkan versi A. Estimasi ini memberi kesimpulan bahwa design layout versi B dipercaya akan memberikan performansi dan dapat meningkatkan conversion rate lebih baik dibandingkan dengan versi A. Untuk membuktikan nya lagi, dapat juga dihitung conversion rate-nya yakni dengan membagi jumlah pengguna yang mendownload aplikasi dengan jumlah pengguna yang berkunjung.
Berdasarkan hasil perhitungan conversion rate, perusahaan dapat melihat lagi bahwa design layout versi B lebih baik dibandingkan versi A karena memberikan 10% conversion rate yang lebih besar. Selain itu, untuk lebih memastikannya dapat juga menghitung p-value. Untuk menghitung nilai tersebut dapat digunakan rumus microsoft excel yaitu 1-NORM.S.DIST(Z; TRUE) dan ditemukan hasilnya adalah 0,002. P-value tersebut lebih kecil dibandingkan significance level, yang artinya hipotesis null ditolak. Kesimpulan yang dapat ditarik adalah hipotesis alternatif diterima dan menyatakan bahwa conversion rate versi B lebih besar daripada versi A.
Kelebihan dan Kekurangan A/B Testing
Dalam perjalanannya, A/B Testing dikembangkan dan banyak digunakan dalam industri teknologi. Berbeda dengan pengujian di laboratorium di mana semua variabel dapat dikontrol, A/B Testing sepenuhnya bergantung pada traffic dan aktivitas pengguna. Penggunaan A/B Testing dinilai efektif dan mampu mendapatkan gambaran mengenai kebutuhan pengguna yang sesungguhnya.
A/B Testing dinilai sebagai cara yang efektif untuk mengetahui kebutuhan pengguna lewat data yang dikumpulkan melalui tahap analisis. Metode ini juga dapat digunakan untuk semua bidang bisnis, baik itu e-commerce, travel, edukasi, maupun media. Selain itu, penggunaan metode ini dapat meminimasi biaya dan meningkatkan konversi atau tujuan bisnis secara signifikan. Dengan A/B Testing, pengujian terhadap variasi elemen atau halaman website dan aplikasi dapat dilakukan hingga menemukan hasil yang terbaik secara mutlak. Karena hal tersebut pula kualitas konten yang ada dalam website atau aplikasi tersebut dapat meningkat dan membuat pengunjung menghabiskan lebih banyak waktu di situs yang dibuat. Selain itu pula karena A/B Testing sepenuhnya didukung oleh data yang valid, maka pebisnis dapat dengan mudah menentukan versi yang menang dan yang kalah berdasarkan metrik seperti waktu kunjungan halaman website atau aplikasi, jumlah demand terhadap barang atau jasa yang ditawarkan, jumlah klik, dan lain sebagainya. Melakukan perubahan pada website atau aplikasi tanpa melakukan A/B Testing menyebabkan hasil yang didapatkan tidak sesuai dengan yang diharapkan karena keinginan pengguna tidak dikaji terlebih dahulu. Dengan melakukan A/B Testing, perubahan yang dilakukan dipastikan merupakan kesimpulan terbaik yang diambil oleh sebuah perusahaan.
Di samping kelebihan yang ada, penggunaan A/B Testing juga memiliki beberapa kekurangan. Untuk memperoleh informasi yang konklusif dibutuhkan perhitungan statistik yang bisa memakan waktu terutama untuk website atau aplikasi dengan pengunjung/pengguna berjumlah sedikit. Sedangkan, di era modern ini semua serba cepat, efektif, efisien, dan cerdas. Perubahan design hasil keputusan dari A/B Testing juga dinilai dapat membingungkan pengguna yang sudah ada. Oleh sebab itu metode ini sebaiknya hanya dilakukan oleh pengguna baru.
Aplikasi A/B Testing
Sebuah perusahaan dengan basis website atau aplikasi memiliki data pengguna yang menyangkut demografi dan kebutuhan serta keinginan seluruh pengguna situs bersangkutan. Data tersebut terkumpul secara otomatis karena kecanggihan big data yang dimiliki oleh perusahaan, salah satunya adalah Bukalapak.. Dari data yang terhimpun dilakukan analisis statistik dan melibatkan metode machine learning. Setelah data yang ada tervalidasi, Bukalapak melakukan Artificial Intelligence (AI) Research untuk mengidentifikasi pelanggan. Setelah itu, dilakukan proses A/B Testing untuk meningkatkan user experience dan memvalidasi AI yang digunakan.
Pada awalnya, Bukalapak membuat AI paling umum untuk menampilkan rekomendasi produk yaitu collaborative filtering sebagai pembanding bagi Elastic’s “more like this.” yang digunakan sebelumnya. Ide awalnya yakni pengunjung yang melihat produk Y mungkin juga tertarik untuk melihat produk Z. Atas dasar tersebut Bukalapak membuat fitur agar pengunjung dapat melihat produk Y dan Z secara bersamaan.
Setelah itu, langkah yang diambil selanjutnya adalah memvalidasi collaborative filtering – AI tersebut dengan menggunakan A/B Testing. Bukalapak memutuskan untuk menaruh rekomendasi produk di slot bawah halaman detail produk.
A/B Testing dilakukan selama 2 minggu dan membuahkan hasil yang mencengangkan. Setelah diamati, terjadi peningkatan secara signifikan dalam pembelian oleh pengunjung dan juga peningkatan conversion rate setelah collaborative filtering – AI ini diberlakukan dibandingkan dengan elastic’s “more like this.”. Hal ini dapat dilihat dari grafik yang menunjukkan peningkatan conversion rate untuk 3 konversi yang dimiliki oleh Bukalapak yakni add to cart, paid, dan juga add to cart from product detail. Selain itu, dapat dilihat pula beberapa faktor lain selain conversion rate yang mengalami peningkatan setelah diberlakukan collaborative filtering – AI ini.
Dengan dampak positif yang ditunjukkan melalui metode A/B Testing ini Bukalapak melakukan upaya lebih lanjut untuk membangun AI yang lebih baik. Pada akhir bulan pertama penggunaan collaborative filtering – AI tersebut, para pelapak mendapatkan tambahan pendapatan sebesar 1 juta dollar US. Bukalapak selalu melakukan beberapa perbaikan berulang untuk setiap model AI yang dibuatnya dan memvalidasi ide tersebut dengan menggunakan A/B Testing. Berkat perbaikan-perbaikan terhadap AI tersebut, kini penjual di seluruh Indonesia meraih pendapatan tambahan sebesar 75 miliar rupiah per bulan nya.
Referensi
https://medium.com/inside-bukalapak/how-we-build-a-multimillion-dollar-ai-for-indonesia-9b5ce556a053
https://splitmetrics.com/blog/mobile-a-b-testing-statistical-significance/
https://www.optimizely.com/optimization-glossary/ab-testing/
http://bisnisbisnis.id/2018/02/26/ucapkan-selamat-tinggal-pada-metode-ab-test/
https://openlibrary.telkomuniversity.ac.id/pustaka/files/94633/resume/analisis-dan-implementasi-teknik-search-engine-optimization-seo-dalam-meningkatkan-trafik-kunjungan-suatu-website.pdf