Dlaczego korelacja z atrybucji nie znaczy przyczynowości
Atrybucja pokazuje, że dany punkt styku był obecny na ścieżce klienta przed zakupem. Nie pokazuje, czy ten punkt styku faktycznie wpłynął na decyzję, czy klient i tak by kupił. To rozróżnienie jest szczególnie istotne w przypadku remarketingu i kampanii brandowych: kierowane są one do osób już zainteresowanych marką, które z dużym prawdopodobieństwem dokonałyby zakupu niezależnie od tego, czy zobaczyły akurat tę konkretną reklamę.
Kampania remarketingowa może mieć znakomity ROAS w raportach platformy reklamowej, bo trafia w konwersje, które i tak by się wydarzyły. Test inkrementalny weryfikuje, ile z tej sprzedaży rzeczywiście zależało od obecności kampanii.
Jak działa test geograficzny (geo test)
Test geograficzny polega na podziale rynku na dwie grupy regionów o zbliżonej charakterystyce sprzedażowej:
- Grupa testowa: regiony, w których kampania działa normalnie, bez zmian.
- Grupa kontrolna (holdout): regiony, w których dana kampania zostaje wyłączona na czas trwania testu, przy zachowaniu pozostałych działań marketingowych bez zmian.
Po zdefiniowanym okresie, zwykle kilku tygodni, porównuje się sprzedaż w obu grupach regionów. Jeśli sprzedaż w grupie testowej rośnie wyraźnie bardziej niż w grupie kontrolnej, różnica wskazuje na przyrostowy wpływ kampanii. Jeśli różnica jest minimalna, oznacza to, że kampania w dużej mierze przechwytywała sprzedaż, która i tak by się wydarzyła.
Na co zwrócić uwagę przy projektowaniu testu geo
- Regiony testowe i kontrolne powinny mieć zbliżoną charakterystykę sprzedażową przed testem, żeby różnica wynikała z testowanej zmiennej, nie z naturalnych różnic między rynkami.
- Okres testu musi być wystarczająco długi, żeby uwzględnić naturalną zmienność sprzedaży, na przykład różnice między dniami tygodnia.
- W okresie testu pozostałe działania marketingowe i cenowe powinny pozostać niezmienione, inaczej trudno odizolować wpływ testowanej kampanii od innych czynników.
Lift test jako alternatywa przy mniejszej skali
Tam, gdzie podział na regiony geograficzne nie jest praktyczny, na przykład przy mniejszej skali sprzedaży lub ograniczonym zasięgu geograficznym, stosuje się lift test oparty na podziale odbiorców, a nie regionów. Część potencjalnych odbiorców kampanii (grupa kontrolna) nie widzi reklamy, zamiast niej widząc reklamę zastępczą niezwiązaną z marką (public service announcement) lub po prostu nie będąc eksponowana na kampanię. Porównanie konwersji między grupą eksponowaną i grupą kontrolną pokazuje przyrostowy wpływ kampanii na poziomie użytkownika, nie regionu.
Platformy reklamowe, takie jak Meta czy Google, oferują wbudowane narzędzia do prowadzenia lift testów w ramach własnego ekosystemu. Ograniczenie: wynik dotyczy wpływu kampanii wyłącznie w obrębie tej jednej platformy, nie pokazuje interakcji z innymi kanałami w miksie.
Co zrobić z wynikiem testu inkrementalnego
Wynik testu, wyrażony jako przyrostowy współczynnik konwersji lub przyrostowa sprzedaż, można zestawić z kosztem kampanii, żeby uzyskać rzeczywisty koszt przyrostowej konwersji, w odróżnieniu od kosztu konwersji raportowanego przez platformę na podstawie własnego modelu atrybucji. To zestawienie często pokazuje, że efektywność kanału mierzona testem inkrementalnym różni się, czasem znacząco, od efektywności sugerowanej przez raporty platformy.
Jak testy inkrementalne łączą się z atrybucją i MMM
Trzy metody, atrybucja, MMM i testy inkrementalne, odpowiadają na powiązane, ale różne pytania. Atrybucja opisuje ścieżkę użytkownika na podstawie punktów styku. MMM szacuje wpływ kanałów na podstawie danych zagregowanych w czasie. Testy inkrementalne dają bezpośredni, eksperymentalny dowód przyczynowości dla konkretnego kanału lub kampanii, weryfikując założenia, na których opierają się pozostałe dwie metody. W dojrzałej organizacji dane te wzajemnie się kalibrują: wynik testu inkrementalnego może posłużyć do skorygowania wag w modelu atrybucji lub do walidacji założeń modelu MMM.
Najczęstsze pytania
Czym różni się test inkrementalny od zwykłego testu A/B?
Test A/B zwykle porównuje dwie wersje tego samego działania, na przykład dwóch kreacji reklamowych. Test inkrementalny porównuje obecność działania marketingowego z jego brakiem, żeby zmierzyć jego rzeczywisty wpływ na sprzedaż.
Jak długo powinien trwać test geo?
Na tyle długo, żeby uwzględnić naturalną zmienność sprzedaży w czasie, zwykle kilka tygodni, zależnie od cyklu zakupowego i wolumenu sprzedaży w danej branży.
Czy każdy kanał wymaga osobnego testu inkrementalnego?
Priorytetowo warto testować kanały o największym budżecie i te, gdzie podejrzewa się rozbieżność między raportowanym a rzeczywistym wpływem, na przykład remarketing czy kampanie brandowe.
Sprawdź, czy Twój największy budżetowo kanał rzeczywiście generuje przyrostową sprzedaż, czy tylko przechwytuje konwersje, które i tak by się wydarzyły.
Gotowi zobaczyć swoje liczby?
15-minutowe demo na Twoich danych, bez zobowiązań.
