- Dla kogo
- Właściciele firm eksperckich, edukacyjnych i usługowych oraz marketerzy
- Podstawa tekstu
- Badanie lub udokumentowany eksperyment
Przy niewielkiej liczbie zakupów test A/B może nie rozstrzygnąć, który wariant jest lepszy. Nie istnieje jedna magiczna liczba konwersji wystarczająca do każdego testu. Potrzebna próba zależy między innymi od zmienności wyniku i efektu, który chcesz wykryć.
Scenka satyryczna: wariant A sprzedał dwa kursy, wariant B jeden. Ojciec Kampanii ogłosił stuprocentową przewagę. Bartek chciał zaczekać na czwartą osobę, ale budżet na konfetti był już zaksięgowany.
Procent można policzyć poprawnie i nadal wyciągnąć z niego zbyt śmiały wniosek.
Nawet duże eksperymenty miały problem
Lewis i Rao w pracy opublikowanej w 2015 roku przeanalizowali 25 dużych eksperymentów reklamowych. Mediana szerokości przedziałów ufności dla zwrotu z inwestycji przekraczała 100 punktów procentowych. To ilustracja trudności oddzielenia efektu reklamy od zmienności zakupów. Nie jest to gotowy próg próby dla testu Twojego formularza ani dowód, że wszystkich eksperymentów należy zaniechać. Abstrakt u wydawcy.
Nasze przełożenie na małą firmę brzmi: zanim uruchomisz eksperyment, zapytaj, czy dostępny ruch daje szansę uzyskać odpowiedź przydatną do decyzji.
Co właściwie próbujesz wykryć?
Jeżeli zmiana ma uzasadnić kosztowną przebudowę, potrzebujesz mocniejszej podstawy niż do przestawienia pomocniczego tekstu. Zapisz minimalną poprawę, która ma dla firmy znaczenie. Nie myl jej z poprawą, którą najłatwiej pokazać w prezentacji.
Przykład czysto rachunkowy: wzrost współczynnika z 2% do 3% oznacza 1 punkt procentowy oraz 50% względnej poprawy. To różne opisy tej samej różnicy. Nie są prognozą dla Twojej strony. Użycie większej liczby w nagłówku nie zwiększa siły dowodu.
Przed testem potrzebujesz rzeczywistej liczby wizyt i zdarzeń, głównej miary, przewidywanego czasu zakupu oraz zasad analizy. Dobór próby warto policzyć z osobą, która rozumie przyjęty model statystyczny. Z góry określ też regułę zakończenia. „Przerwiemy, jak wyjdzie zielono” jest strategią dekoratorską.
Mały ruch nie skazuje Cię na bezruch
| Sytuacja | Rozsądny następny krok |
|---|---|
| Formularz wyświetla błąd przy poprawnym numerze | Napraw i sprawdź zapis, bez czekania na konkurs wariantów |
| Odbiorcy nie rozumieją różnicy między ofertami | Obserwuj ich podczas zadania i popraw problematyczne fragmenty |
| Chcesz porównać dwie sensowne obietnice | Oceń wykonalność eksperymentu przy własnym ruchu |
| Zdarzenia są nieliczne i wynik pozostaje niepewny | Zapisz brak rozstrzygnięcia i wybierz dalszy krok według kosztu oraz ryzyka |
Obserwacja kilku osób pomaga odkryć problemy, ale nie dowodzi skali wzrostu konwersji. Usunięcie błędu pomaga odzyskać poprawne działanie, ale nie uprawnia do ogłaszania procentowego wzrostu sprzedaży bez danych. Każda metoda ma własne zadanie.
Co wpisać do raportu zamiast „zwycięzca”
Użyj czterech zdań: co porównano, ile było zdarzeń, jak niepewny jest wynik i co robimy dalej. Podaj również problemy z pomiarem lub zmiany warunków. To pozwala odróżnić brak danych od porażki pomysłu.
Jeżeli głównym celem jest zakup, nie zamieniaj go po drodze na kliknięcie tylko dlatego, że kliknięć uzbierało się więcej. Możesz potraktować je jako sygnał pomocniczy. Musisz jednak uczciwie nazwać zmianę pytania. Podobny problem opisujemy przy ocenie jakości leadów i wyborze miar lejka.
Opisz planowany test i miesięczną liczbę właściwych zdarzeń. Najpierw sprawdzimy, czy eksperyment ma szansę pomóc w decyzji. Konfetti może poczekać.
Scenka, przykład i procedura są autorskie. Źródło sprawdzono 18.10.2026.
Dopasuj metodę do liczby zdarzeń i wielkości zmiany, którą naprawdę potrzebujesz wykryć.
Opracowanie redakcyjne z pomocą AI na podstawie jawnych źródeł. Dialogi Ojca i Biskupa są autorską satyrą; opisany przypadek nie jest naszą realizacją. Zobacz metodę i zasady weryfikacji.

