Kako znati koja verzija stranice prodaje bolje: A/B test na primjeru web shopa

Na tjednom sastanku jednog hrvatskog web shopa s hranom i opremom za kućne ljubimce već se treći put vodila ista rasprava. Voditeljica marketinga htjela je na stranicu proizvoda i u košaricu dodati traku koja pokazuje koliko kupcu još nedostaje do besplatne dostave. Vlasnik je bio protiv: „Ljudi će dodavati sitnice samo da dobiju besplatnu dostavu, a mi ćemo plaćati poštarinu.“ Oboje su imali dobre argumente, ali nitko nije imao podatke.

Takve se rasprave ne rješavaju na sastanku, nego testom. U nastavku na ovom primjeru, sastavljenom prema situacijama iz prakse, prolazimo kroz to kako postaviti A/B test da rezultat zaista vrijedi i kako izbjeći pogreške zbog kojih tvrtke donose pogrešne odluke s osjećajem da su ih donijele „na temelju podataka“.

Što je A/B test, ukratko

A/B test znači da istoj publici u isto vrijeme prikažete dvije verzije nečega i mjerite koja bolje funkcionira. Polovica posjetitelja vidi verziju A, kakva je stranica sada, a druga polovica verziju B, s promjenom koju testirate. Budući da obje skupine dolaze u isto vrijeme i iz istih izvora, razlika u rezultatu može se pripisati promjeni, a ne vremenu, vremenskoj prognozi ili kampanji.

Metoda je stara koliko i znanstveni pokus. Google je svoj prvi takav test na webu proveo u veljači 2000. godine, kad je provjeravao koliko rezultata prikazati na jednoj stranici pretraživanja. Najpoznatiji primjer dolazi iz Obamine kampanje 2008., kada je tim Dana Sirokera testirao fotografije i tekst gumba na stranici za prijavu. Pobjednička kombinacija donijela je oko 40 % više prijava, što je prema Sirokerovoj procjeni značilo oko 60 milijuna dolara dodatnih donacija.

Prvi korak: od mišljenja do hipoteze

Rečenica „dodajmo traku za besplatnu dostavu“ nije hipoteza, nego ideja. Hipoteza kaže što mijenjate, što očekujete i zašto. U našem primjeru glasila je ovako: ako kupci na stranici proizvoda i u košarici vide koliko im nedostaje do besplatne dostave iznad 40 eura, više će ih dovršiti kupnju, a prosječna košarica bit će veća, jer je trošak dostave čest razlog odustajanja.

Ovako zapisana hipoteza odmah otkriva dvije stvari koje treba mjeriti: stopu konverzije i prosječnu vrijednost narudžbe. Vlasnikova briga pritom nije zanemarena, nego je pretvorena u treću mjeru: udio narudžbi koje jedva prelaze prag, a koje bez trake ne bi ni nastale.

Drugi korak: jedna glavna metrika, odabrana unaprijed

Prije pokretanja tim je dogovorio da je glavna metrika prihod po posjetitelju. Ona spaja obje strane rasprave: ako traka poveća broj narudžbi, ali smanji maržu zbog poštarine, prihod po posjetitelju to će pokazati. Ostale brojke prate se, ali ne odlučuju.

Ovo zvuči kao formalnost, ali je jedna od najvažnijih odluka u cijelom testu. Ako metriku birate nakon što vidite rezultate, gotovo uvijek ćete pronaći neku po kojoj je vaša omiljena verzija pobijedila.

Treći korak: koliko posjetitelja treba

Web shop ima oko 40.000 posjeta mjesečno, a stopa konverzije je oko 2,5 %. Da bi test pouzdano otkrio poboljšanje na 3 %, uz uobičajenu razinu pouzdanosti od 95 % i snagu testa od 80 %, potrebno je oko 16.800 posjetitelja po verziji, dakle oko 34.000 ukupno. To znači da test mora trajati najmanje četiri tjedna.

Ovaj izračun ne treba raditi ručno. Besplatni kalkulatori, poput onoga Evana Millera, izračunat će uzorak u nekoliko sekundi. Važno je napraviti ga prije početka, jer vam govori je li test uopće izvediv. Da shop ima 4.000 posjeta mjesečno, isti test trajao bi gotovo godinu dana i tada bi pametnije bilo razgovarati s kupcima ili gledati snimke sesija.

Četvrti korak: ne zavirujte i ne prekidajte prerano

Nakon prvog tjedna verzija s trakom vodila je za više od 30 %. Vlasnik je bio spreman priznati poraz, a voditeljica marketinga htjela je odmah prebaciti sav promet na novu verziju. Test se ipak nastavio, jer je u prvom tjednu svaka verzija imala tek nekoliko desetaka narudžbi, a tolika razlika na tako malom broju često je slučajnost.

Do kraja četvrtog tjedna prednost se smanjila na nešto skromniju, ali stabilnu razliku. To je čest obrazac: rani rezultati gotovo se uvijek ili smanje ili preokrenu, a prerano zaustavljanje testa glavni je razlog lažnih pobjednika. Ronny Kohavi, koji je godinama vodio eksperimentiranje u Microsoftu, navodi da je otprilike trećina testiranih ideja poboljšala rezultate, trećina nije promijenila ništa, a trećina ih je pogoršala.

Test je trajao puna četiri tjedna i iz još jednog razloga: kupci se drukčije ponašaju na početku i na kraju mjeseca, kad stiže plaća, te radnim danom i vikendom.

Peti korak: pogledajte i ono što ne piše u naslovu rezultata

Ukupni rezultat govorio je u korist trake, ali tim je pogledao i segmente. Na mobitelu je traka u košarici zauzimala previše mjesta i gurala gumb za plaćanje ispod ruba ekrana, pa je ondje razlika bila gotovo nikakva. Vlasnikova bojazan pokazala se djelomično točnom: dio kupaca zaista je dodavao sitnice do praga, ali su to uglavnom bile poslastice i pijesak za mačke, proizvodi s dobrom maržom.

Odluka je zato bila jednostavna i potkrijepljena: traka ostaje, ali se na mobitelu preoblikuje, a dizajn se ponovno testira. Rasprava sa sastanka završila je bez pobjednika i gubitnika, s jasnim podacima.

Najčešće pogreške u A/B testovima

• Premalo posjetitelja. Razlika od nekoliko narudžbi izgleda kao velika pobjeda, a zapravo je slučajnost.
• Mijenjanje više stvari odjednom. Ako promijenite naslov, sliku i gumb, nećete znati što je presudilo. Za više istodobnih promjena postoji multivarijatni test, ali on traži puno više prometa.
• Kampanja koja utječe samo na jednu verziju, primjerice popust poslan e-mailom s poveznicom na samo jednu inačicu stranice.
• Testiranje sitnica, poput nijanse gumba, dok glavna poruka stranice ne valja.
• Zanemarivanje mobitela. Verzija koja pobjeđuje na računalu može gubiti na mobitelu.
• Prihvaćanje rezultata koji nije statistički značajan samo zato što se sviđa timu.

Što još možete testirati

Traka za besplatnu dostavu samo je jedan primjer. Najviše se isplati testirati ondje gdje kroz stranicu prolazi mnogo ljudi i gdje postoji jasan cilj, primjerice na odredišnim stranicama ili obrascu za upit.

• Naslove i prve rečenice na odredišnim stranicama, u oglasima i newsletterima.
• Pozive na akciju: tekst gumba, položaj i broj gumba na stranici.
• Ponudu: paket, prag za besplatnu dostavu, rok ponude.
• Obrasce: broj polja i redoslijed pitanja.
• E-mail kampanje: predmet poruke, ime pošiljatelja, vrijeme slanja.
• Oglase: vizual, tekst i publiku.

Alati za A/B testiranje u 2026.

Google Optimize, nekoć najpopularniji besplatni alat, ugašen je 30. rujna 2023. Danas se za testiranje web stranica najčešće koriste VWO, Optimizely, AB Tasty, Convert i PostHog, koji ima i besplatnu razinu. Mnogi alati koje već koristite imaju ugrađeno testiranje:

• Mailchimp omogućuje A/B testiranje kampanja u plaćenim paketima. Više o tome pišemo u vodiču kako izraditi učinkovit newsletter u Mailchimpu.
• Brevo nudi A/B testiranje e-mail kampanja u plaćenim paketima.
• Meta Ads Manager ima ugrađenu funkciju A/B testa za oglase na Facebooku i Instagramu.
• Google Ads nudi eksperimente u kojima dio proračuna ide na izmijenjenu verziju kampanje. Ako vam treba pomoć, pogledajte uslugu Google Ads oglašavanja.

Za praćenje rezultata izvan samih alata korisno je dosljedno označavati poveznice. Kako to napraviti, objašnjavamo u članku o UTM kodovima.

Test je provjera, a ne strategija

A/B test kaže vam koja od dviju verzija funkcionira bolje, ali ne i jesu li obje dobre. Ako je tekst na stranici nejasan, test će samo pokazati koja je od dviju nejasnih verzija manje loša. Zato je dobar tekst polazište, a test provjera. Ako želite tekstove koje se isplati testirati, pogledajte kako radimo copywriting.

Izvori

• Wired: The A/B Test, Inside the Technology That’s Changing the Rules of Business (2012.)
• Optimizely: How Obama Raised $60 Million by Running a Simple Experiment
• Kohavi, Tang, Xu: Trustworthy Online Controlled Experiments (Cambridge University Press, 2020.)
• Google: Sunset of Google Optimize
• Mailchimp: About A/B Testing Campaigns
• Meta: About A/B testing
• Google Ads: About custom experiments
• Evan Miller: Sample Size Calculator