Testy A/B w małej firmie — kiedy mają sens, a kiedy to strata czasu

Testy A/B kojarzą się z dużymi sklepami i narzędziami za kilkaset złotych miesięcznie. W małej firmie zwykle nie mają sensu — ale nie z powodu, który podaje się najczęściej. Poniżej uczciwie: kiedy warto, kiedy to strata czasu i co robić zamiast.

Dlaczego to zwykle nie działa przy małym ruchu

Żeby stwierdzić, że wersja A jest lepsza od B, potrzeba wystarczająco dużo zdarzeń — zamówień albo zgłoszeń, nie wejść. Przy kilkunastu zamówieniach miesięcznie różnica między wersjami będzie przypadkowa, a Ty podejmiesz decyzję na podstawie szumu.

To jest cały problem i nie da się go obejść dłuższym czekaniem, bo w międzyczasie zmienia się sezon, ruch i konkurencja.

Kiedy test ma sens

• Masz co najmniej kilkadziesiąt konwersji miesięcznie na testowanej stronie.
• Testujesz jedną rzecz naraz, nie trzy jednocześnie.
• Różnica między wersjami jest wyraźna — inny nagłówek, inna oferta, inny układ. Testowanie odcienia przycisku przy małym ruchu to strata miesiąca.
• Potrafisz powiedzieć z góry, co zrobisz przy każdym wyniku.

Co robić zamiast testów A/B

Zmień i zmierz po kolei. Wprowadź jedną zmianę, zostaw na miesiąc, porównaj z poprzednim miesiącem. To nie jest test naukowy, ale przy małej skali daje więcej niż dzielenie i tak niewielkiego ruchu na pół.

Oglądaj, co robią ludzie. Nagrania sesji i mapy kliknięć pokazują konkretne miejsca, w których ktoś się zatrzymał — i to na dziesięciu nagraniach, nie na tysiącu wejść.

Zapytaj tych, którzy nie kupili. Pięć telefonów do osób, które dostały ofertę i nie odpowiedziały, mówi więcej niż miesiąc testów.

Napraw rzeczy oczywiste. Brak ceny, wolne ładowanie, formularz z ośmioma polami. To nie wymaga testu — rozpisałem je przy zmianach podnoszących konwersję.

Co testować, gdy już masz ruch

1. Nagłówek na stronie usługi albo produktu — największy wpływ przy najmniejszej pracy.
2. Obecność ceny albo widełek.
3. Długość formularza.
4. Treść przycisku — konkret kontra ogólnik.
5. Kolejność sekcji na stronie.

Błąd, który psuje nawet dobrze zaprojektowany test

Przerwanie w połowie, bo „już widać, która wygrywa”. Na początku prowadzenie zmienia się losowo i przerwanie testu w tym momencie daje wynik odwrotny do prawdziwego. Albo czekasz do końca, albo nie testuj.

Najczęstsze pytania

Czy testy A/B mają sens w małej firmie?

Rzadko. Przy kilkunastu konwersjach miesięcznie wynik jest przypadkowy i prowadzi do złych decyzji.

Ile konwersji potrzeba, żeby test coś znaczył?

Co najmniej kilkadziesiąt miesięcznie na testowanej stronie — i mowa o zamówieniach, nie o wejściach.

Co robić zamiast testów?

Wprowadzać jedną zmianę i porównywać z poprzednim miesiącem, oglądać nagrania sesji i pytać klientów, którzy nie kupili.

Czy można przerwać test, gdy widać wynik?

Nie. Na początku prowadzenie zmienia się losowo, więc przerwany test potrafi dać wynik odwrotny do prawdziwego.