Milí fanúšikovia Forge,
v poslednom čase sme dostali pripomienky týkajúce sa A/B testov a spôsobu, akým sme ich vykonávali. Najmä dostávame komentáre k A/B testom pre Forge Plus a aktualizácii Denných výziev. Preto si myslíme, že by bolo užitočné, keby ste mali viac informácií o našom prístupe k A/B testom a o tom, prečo sú neoddeliteľnou súčasťou vývoja Forge of Empires.
Začnime s definíciou A/B testu. A/B test je priemyselný štandardný test, ktorý vývojári často používajú na sledovanie reakcie hráčov na funkciu. Pri takýchto testoch sa náhodne vyberú dve alebo viac skupín. Pozostávajú z testovacej skupiny (skupina „A“), ktorá získa prístup k funkcii, a kontrolnej skupiny (skupina „B“), ktorá prístup nemá. Prostredníctvom tohto porovnania môžu vývojári priamo sledovať zmenu správania hráčov a posúdiť vplyv testovanej funkcie. Robíme to prostredníctvom kvantitatívnej aj kvalitatívnej spätnej väzby. A musíme zvážiť oboje, ale snažte sa mať na pamäti, že spätná väzba na fóre je len jednou časťou z mnohých oblastí, z ktorých spätnú väzbu dostávame.
Vezmime si ako príklad nedávnu aktualizáciu Denných výziev. S ohľadom na obe skupiny môžeme porovnať mnohé aspekty (vrátane dennej účasti, udržania používateľov s funkciou, veku zúčastnených ľudí atď.). To nám pomáha zistiť, či bola táto zmena prospešná a atraktívna pre našich hráčov, ako nová ponuka. Ak výsledky neukazujú pozitívny trend, môžeme sa do toho pustiť hlbšie a skontrolovať, či sa vyskytol problém. Nakoniec môžeme zasiahnuť a funkciu buď upraviť, alebo ju úplne zrušiť.
Preto sú pre nás A/B testy nevyhnutné. Umožňujú nám prístup k zmysluplnejším údajom na základe živého testovacieho prostredia. Pomocou týchto údajov môžeme vylepšiť naše funkcie a identifikovať potenciálne problémy.
Navyše, uvoľnenie novej funkcie pre menšiu skupinu používateľov nám umožňuje efektívnejšie monitorovať spätnú väzbu a predchádzať potenciálnemu výlevu frustrácie, ku ktorému by mohlo dôjsť, ak by sme funkcie okamžite sprístupnili celej hernej populácii.
Forge of Empires je samozrejme veľká hra. Podporujú ju státisíce hráčov na mnohých svetoch. Ale to tiež znamená, že sa môže veľa pokaziť. A/B testy sú absolútnou nevyhnutnosťou, ak chcete zmierniť potenciálne riziko odhalenia novej funkcie pre také veľké publikum. Dôsledky uvoľnenia netestovanej funkcie môžu spôsobiť negatívne interakcie s hrou – pre nás aj pre vás.
Je tiež dôležité zdôrazniť, že A/B testy nie sú selektívne. Žiadni hráči si nezachovajú žiadnu dlhodobú výhodu ani nebudú vopred vybraní do testovacej skupiny. Určite ste si všimli, že niektoré funkcie nemôžeme otestovať A/B, pretože výhody by boli príliš veľké na to, aby boli spravodlivé, a my chceme zachovať spravodlivosť v hre. Výber na testy je čisto náhodný a spravodlivosť nie je jediným dôvodom; je to tiež preto, že náhodný prvok je neoddeliteľnou súčasťou kvality výsledkov testu.
Dúfame, že vám tento článok objasnil, prečo sú A/B testy kľúčové pre našu stratégiu vývoja a prečo zostanú súčasťou budúcich aktualizácií.
S pozdravom,
Váš Tím Forge of Empires