Seriál UX/UI analýza: 5) AB testování a optimalizace

21. 12. 2023

V tomto díle seriálu UX/UI analýza si vysvětlíme, jak probíhá AB testování a následná optimalizace aplikací.

Myslíte si, že víte, co je pro Váš produkt nejlepší? Jenže je velká pravděpodobnost, že to nevíte.

Proč?

Protože každý z nás pracuje s více jak 185 kognitivními zkresleními. Výzkumy taktéž ukazují, že průměrně se mýlíme 3-6 krát za hodinu. 

Váš produkt začíná žít svým samostatným životem v momentě, kdy ho začnou používat uživatelé. V té chvíli je důležité myslet na uživatele a ne na vlastní předpoklady a přání – jinak na produktu nevyděláte, protože nebude sloužit lidem, ale jen Vašemu egu. 

 


UX analýza

Máte zájem o UX analýzu, která zlepší váš byznys? Neváhejte nás kontaktovat.

Chci konzultaci

 


 

My proto UX analýzou odhalujeme skutečný svět uvnitř Vaší aplikace – ten, který se neodvíjí od zkreslení a předpokladů.

Tento svět Vašeho produktu a Vašich uživatelů zkoumáme přes data a výsledky A/B testujeme – abychom se vyhnuli zase našim chybám.

 

A/B test nám pomáhá „poslouchat“ uživatele

Před začátkem každého A/B testu si musíme vyjasnit, co chceme testovat, čeho chceme dosáhnout a jak bude A/B test probíhat. 

Co potřebujeme, abychom testovali a neexperimentovali?

  • hypotézu

    “když změníme obrázek na první obrazovce, zvýšíme konverzní poměr průchodu onboardingu alespoň o 5 %.”

 

  • jasné měřítko úspěchu (KPI – key performance indicator)

    “konverzní poměr průchodu onboardingu se zvýší o 5 %”

 

  • představu, jak dlouho a na jakém vzorku musí test běžet, aby byl statisticky významný

    “test bude běžet 14 dní na 10 % uživatelů, protože zlepšení 3 – 5 % už v dané chvíli bude mít statistickou významnost”

 

  • vydefinujeme si, které metriky (danger metric) můžeme pokusem v aplikaci nechtěně ovlivnit

    “změna obrázku sice zlepší onboarding, ale může negativně ovlivnit míru zapojení uživatelů”

 

 

Co je A/B test:

  • UX výzkumná metoda
  • experiment, který statisticky testuje hypotézu jedné proměnné na dvou vzorcích (two-sample hypothesis testing)
  • rozdíl mezi vzorky bude, nebo nebude mít statistickou významnost (v případě, že bude, je test směrodatný a ukáže nám, která verze bude pro náš produkt efektivní)

 

Jak probíhá naše A/B testování?

  • Pobavíme se s vámi: na základě Vašich odpovědí na naše otázky (více jsme o tom hovořili v předešlém dílu seriálu Audit krok za krokem) si vytvoříme představu, co od svého produktu byznysově očekáváte a jak podle vás funguje.
  • Nasadíme produktovou analytiku – navrhneme, co a jak měřit, které KPI (key performance indicator) nám ukáže, že verze A je lepší než verze B, nebo naopak.
  • Prozkoumáme data o vašich uživatelích, o jejich vzorcích nákupu a chování.
  • Vytvoříme hypotézu – díky nasazeným datům zjistíme, kde může problém ve vaší verzi A aktuálně vznikat. 
  • Realizujeme verzi B, která má zlepšit KPI, s naším UX týmem na základě zkušeností a dat.
  • Ověříme si na jakém vzorku uživatelů jste ochotni testovat, jak dlouho a jaký vzorek potřebujeme, abychom dosáhli statistické významnosti pro potřebnou změnu v KPI (rádi začínáme na co nejmenším možném počtu uživatelů pro případ, že by se konverzní poměr nezlepšoval).
  • Vámi potvrzenou verzi B nasazujeme i s produktovou analytikou, která nám pomůže A/B test vyhodnotit.
  • Po ukončení experimentu Vás informujeme o výsledcích.
  • V případě, že se nám hypotéza potvrdila a je statisticky významná, nasazujeme změnu na více procent uživatelů a neustále sledujeme, co se v aplikaci děje.
  • Naopak, pokud se hypotéza nepotvrdí, považujeme to též za úspěch – vyhnuli jsme se zhoršení konverzního poměru nebo zbytečným změnám, které by negativně dopadly na uživatele, pokud bychom verzi B nasadili.

    * A/B test, který nepotvrdí hypotézu je vlastně důkazem, že jsme udělali dobré rozhodnutí. Bez A/B testu bychom nasadili to, co jsme vymysleli a mohli se jen divit, že to není lepší řešení. 

 

Naše přemýšlení o aplikaci a návrh řešení problémů se může lišit od přemýšlení uživatelů! Proto je důležité hypotézy ověřovat v A/B testu na malém vzorku a v případě úspěchu nasazovat. Postupným nasazováním snižujeme riziko ztráty na minimum.

Jedním A/B testem to nemusí skončit. Jsou případy, kdy jedna změna přinese ovoce jako se to stalo na aplikaci Záchranka, ale v mnohých případech můžeme optimalizovat dále a aplikaci pořádně “vytunit”.

 

 


Další díly seriálu:

  1. Co je UX a proč ho řešit?
  2. Rozdíl mezi UX, UI a CRO 
  3. Jak postupujeme
  4. Audit krok za krokem
  5. AB testování a optimalizace  
  6. Výsledek a případové studie
  7. Jak díky UX celkově zlepšit byznys
  8. UX/UI designer: Jak vybrat toho správného

 


Máte zájem o UX analýzu?

Rádi Vám poradíme a poskytneme bezplatnou online konzultaci.

Chci konzultaci

Zkušený iOS vývojář

iOS programátor se zkušenostmi, který si chce řídit vlastní čas v remote-first týmu. Jsme svobodná full remote vývojářská firma. Technologie, …

Číst článek

Zkušený Python Developer

Co u nás dělá? Děláme velké i malé projekty. Někdy je možnost začít na zelené louce, jindy je třeba pracovat …

Číst článek

Produkťák

Produkťák, který si chce pracovat v remote-first týmu. Jsme svobodná full remote vývojářská firma. Vhodný produkťák by mohl být: člověk …

Číst článek

Kontakt