21. 12. 2023
V tomto díle seriálu UX/UI analýza si vysvětlíme, jak probíhá AB testování a následná optimalizace aplikací.
Myslíte si, že víte, co je pro Váš produkt nejlepší? Jenže je velká pravděpodobnost, že to nevíte.
Proč?
Protože každý z nás pracuje s více jak 185 kognitivními zkresleními. Výzkumy taktéž ukazují, že průměrně se mýlíme 3-6 krát za hodinu.
Váš produkt začíná žít svým samostatným životem v momentě, kdy ho začnou používat uživatelé. V té chvíli je důležité myslet na uživatele a ne na vlastní předpoklady a přání – jinak na produktu nevyděláte, protože nebude sloužit lidem, ale jen Vašemu egu.
UX analýza
Máte zájem o UX analýzu, která zlepší váš byznys? Neváhejte nás kontaktovat.
Chci konzultaci
My proto UX analýzou odhalujeme skutečný svět uvnitř Vaší aplikace – ten, který se neodvíjí od zkreslení a předpokladů.
Tento svět Vašeho produktu a Vašich uživatelů zkoumáme přes data a výsledky A/B testujeme – abychom se vyhnuli zase našim chybám.
A/B test nám pomáhá „poslouchat“ uživatele
Před začátkem každého A/B testu si musíme vyjasnit, co chceme testovat, čeho chceme dosáhnout a jak bude A/B test probíhat.
Co potřebujeme, abychom testovali a neexperimentovali?
- hypotézu
“když změníme obrázek na první obrazovce, zvýšíme konverzní poměr průchodu onboardingu alespoň o 5 %.”
- jasné měřítko úspěchu (KPI – key performance indicator)
“konverzní poměr průchodu onboardingu se zvýší o 5 %”
- představu, jak dlouho a na jakém vzorku musí test běžet, aby byl statisticky významný
“test bude běžet 14 dní na 10 % uživatelů, protože zlepšení 3 – 5 % už v dané chvíli bude mít statistickou významnost”
- vydefinujeme si, které metriky (danger metric) můžeme pokusem v aplikaci nechtěně ovlivnit
“změna obrázku sice zlepší onboarding, ale může negativně ovlivnit míru zapojení uživatelů”
Co je A/B test:
- UX výzkumná metoda
- experiment, který statisticky testuje hypotézu jedné proměnné na dvou vzorcích (two-sample hypothesis testing)
- rozdíl mezi vzorky bude, nebo nebude mít statistickou významnost (v případě, že bude, je test směrodatný a ukáže nám, která verze bude pro náš produkt efektivní)
Jak probíhá naše A/B testování?
- Pobavíme se s vámi: na základě Vašich odpovědí na naše otázky (více jsme o tom hovořili v předešlém dílu seriálu Audit krok za krokem) si vytvoříme představu, co od svého produktu byznysově očekáváte a jak podle vás funguje.
- Nasadíme produktovou analytiku – navrhneme, co a jak měřit, které KPI (key performance indicator) nám ukáže, že verze A je lepší než verze B, nebo naopak.
- Prozkoumáme data o vašich uživatelích, o jejich vzorcích nákupu a chování.
- Vytvoříme hypotézu – díky nasazeným datům zjistíme, kde může problém ve vaší verzi A aktuálně vznikat.
- Realizujeme verzi B, která má zlepšit KPI, s naším UX týmem na základě zkušeností a dat.
- Ověříme si na jakém vzorku uživatelů jste ochotni testovat, jak dlouho a jaký vzorek potřebujeme, abychom dosáhli statistické významnosti pro potřebnou změnu v KPI (rádi začínáme na co nejmenším možném počtu uživatelů pro případ, že by se konverzní poměr nezlepšoval).
- Vámi potvrzenou verzi B nasazujeme i s produktovou analytikou, která nám pomůže A/B test vyhodnotit.
- Po ukončení experimentu Vás informujeme o výsledcích.
- V případě, že se nám hypotéza potvrdila a je statisticky významná, nasazujeme změnu na více procent uživatelů a neustále sledujeme, co se v aplikaci děje.
- Naopak, pokud se hypotéza nepotvrdí, považujeme to též za úspěch – vyhnuli jsme se zhoršení konverzního poměru nebo zbytečným změnám, které by negativně dopadly na uživatele, pokud bychom verzi B nasadili.
* A/B test, který nepotvrdí hypotézu je vlastně důkazem, že jsme udělali dobré rozhodnutí. Bez A/B testu bychom nasadili to, co jsme vymysleli a mohli se jen divit, že to není lepší řešení.
Naše přemýšlení o aplikaci a návrh řešení problémů se může lišit od přemýšlení uživatelů! Proto je důležité hypotézy ověřovat v A/B testu na malém vzorku a v případě úspěchu nasazovat. Postupným nasazováním snižujeme riziko ztráty na minimum.
Jedním A/B testem to nemusí skončit. Jsou případy, kdy jedna změna přinese ovoce jako se to stalo na aplikaci Záchranka, ale v mnohých případech můžeme optimalizovat dále a aplikaci pořádně “vytunit”.
Další díly seriálu:
- Co je UX a proč ho řešit?
- Rozdíl mezi UX, UI a CRO
- Jak postupujeme
- Audit krok za krokem
- AB testování a optimalizace
- Výsledek a případové studie
- Jak díky UX celkově zlepšit byznys
- UX/UI designer: Jak vybrat toho správného
Máte zájem o UX analýzu?
Rádi Vám poradíme a poskytneme bezplatnou online konzultaci.
Chci konzultaci