A/B-Tests sind für ein erfolgreiches Marketing, das sich immer stärker an den Analysen großer Datensätze orientiert, unverzichtbar. Insbesondere Websites, Newsletter und Online Shops profitieren von A/B Tests, da anhand von Statistiken eindeutige Ergebnisse erzielt werden können, die Aufschluss über die Websitebesucher und Zielgruppen geben. So können Marketingmaßnahmen getestet, evaluiert und optimiert werden.
A/B-Tests finden ihre Anwendung vor Allem als Online-Experiment für Websites, Apps, Newsletter oder Online-Kampagnen. Das Ziel der Experimente ist stets, ein vordefiniertes Konversionsziel, wie beispielsweise Registrierungen und Klicks zu optimieren oder den Produktabsatz zu erhöhen.
Bei einem A/B-Test handelt es sich um die Bewertung von zwei Varianten eines Systems mithilfe eines Experiments, in dem die Originalversion mit der Testvariante anhand von Key-Performance-Indikatoren verglichen wird. Das bedeutet, dass beispielsweise eine zweite Variante einer Webseite erstellt wird, die mit der ursprünglichen Variante auf ihre Nutzerinteraktion hin verglichen wird.
Es lassen sich im Allgemeinen drei Testarten unterscheiden. Im folgenden Abschnitt informieren wir euch über die Unterschiede von klassischen A/B-Tests, Split-Tests und multivariaten Verfahren.
Ein klassischer A/B-Test findet unter ein und derselben URL statt, indem beispielsweise einzelne Elemente innerhalb einer Webseite geändert werden. Ein Split-Test ist ein Weiterleitungstest und ist somit von zwei unterschiedlichen URLs abhängig. Hier wird der Website-Traffic auf eine neue URL umgeleitet, die die Variante B darstellt.
Während in klassischen A/B-Tests stets eine unabhängige Variable verändert wird, ermöglichen Multivariate-Tests das Testen von Hypothesen durch die Veränderung mehrerer Variablen. Dementsprechend werden mehrere Varianten erstellt, die das Produkt der Kombinationen der zu verändernden Elemente sind (Varianten des Elements „A“ x Varianten des Elements „B“ = Varianten insgesamt).
Der Vorteil von multivariaten Tests ist, dass durch die Identifikation der besten Kombination von Elementen im Vergleich zum klassischen A/B-Test eine erhöhte Validität der Ergebnisse zu erzielen ist. Ein Voraussetzung für diese Testart ist jedoch, dass der Website-Traffic hoch genug ist, um repräsentative Ergebnisse erzielen zu können.
Ein A/B-Test sollte sorgfältig vorbereitet werden, um die Qualität zu gewährleisten. Hierbei ist die gelungene Hypothesenbildung essentiell, um überhaupt die entsprechenden Varianten erstellen zu können. Zudem sollten die Key-Performance-Indikatoren identifiziert werden, um die Hypothese zu bestätigen oder zu verwerfen.
Zunächst wird eine Hypothese gebildet, die die zu untersuchende Variable definiert und somit den A/B-Test einleitet. Es ist wichtig starke Hypothesen zu bilden, um einen erfolgreichen A/B-Test zu generieren. Das bedeutet, dass das mutmaßliche Problem klar identifizierbar und eine mögliche Lösung für das Problem abzuleiten ist.
Das zu erwartende Ergebnis muss ebenso formulierbar und anhand von Key-Performance-Indikatoren messbar sein. So könnte eine hinreichende Hypothese wie folgt aussehen: „Eine Änderung der Farbe des In-den-Warenkorb-Buttons von grau zu rot erzeugt eine höhere Bereitschaft das Produkt zu kaufen und erhöht somit den Absatz um 10 Prozent“.
Im Zentrum der vergleichenden Auswertung steht die Nutzerinteraktion mit den jeweiligen Varianten (A und B). Für die Messbarkeit der Veränderung oder der Interaktionen darf daher nur immer eine Variable der ursprünglichen Version geändert werden, um die jeweiligen Veränderungen der Indikatoren, wie beispielsweise das Kaufverhalten der Website-Besucher, genau zuordnen zu können.
Zudem sollte ein ausreichender Website-Traffic (Stichprobengesamtheit) gewährleistet sein, um aussagekräftige Ergebnisse zu erhalten und um Zufälle ausschließen zu können. Neben diesen Voraussetzungen sollte ein A/B-Test nicht im Kontext saisonaler Schwankungen durchgeführt werden, da beispielsweise eine erhöhte Kaufbereitschaft im Dezember eher auf Weihnachtseinkäufe anstatt auf eine gelungene Änderung des „Jetzt-Kaufen-Buttons“ zurückzuführen ist.
Nachdem eine Hypothese aufgestellt und ein/e Element/Variable identifiziert wurde, ist es an der Zeit mit dem A/B-Test zu beginnen. Die ursprüngliche Version (Variante A) fungiert als Kontrollversion der Seite und die Variante B ist dementsprechend die Testversion der Webseite. Der Besucherstrom wird, je nach Auswahl der prozentualen Verteilung (50:50, 40:60, 30:70), auf die beiden Varianten per Zufallsprinzip aufgeteilt.
Daraufhin wird nach einem vordefinierten Zeitraum und einer ausreichenden Anzahl von Besuchern auf die zuvor getätigte Hypothese und den zu messenden Indikatoren zurückgegriffen, um schlussendlich die Performance der Varianten entgegenzustellen und zu vergleichen.
Sollte die Variante A zu einer Konversionsrate von 15% geführt haben und die Variante B 30% aller Besucher zu einem Kauf angeregt haben, so ist letztere zu wählen und der A/B-Test war erfolgreich.
Typische Elemente die in A/B-Tests getestet werden sind Titel und Überschriften, Call-to-action – Buttons, weitere Arten von Buttons, Bilder, die Seitenstruktur, Formulare, Preise und die Navigation auf der Seite.
Änderungen im Titel und Überschriften beziehen sich häufig auf die Schriftart, den Inhalt, Form oder Farbe. Buttons und spezielle Call-to-action – Buttons können in ihrer Farbe, der Schrift, Platzierung, Größe oder verwendeten Wörter geändert werden.
Ebenso gibt es unzählige Variationsmöglichkeiten in der Bildgestaltung. Zum Einen können verschiedene Bilder getestet, die Platzierung geändert oder eine Größenvariationen erstellt werden. Zum Anderen kann das Bild an sich bearbeitet werden, indem der Farbton, die Sättigung oder die Helligkeit verändert wird.
Die Seite kann umstrukturiert werden, indem Bilder oder Banner einen neuen Platz bekommen, die Navigation mehrere Conversion-Funnel einbindet oder beliebte Produkte verlinkt werden. Auch Formulare bieten Veränderungspotential. Neben einer Neustrukturierung der Spalten und dem Entfernen von optionalen Feldern können Formulare ebenso in ihrem Wortlaut geändert werden.
A/B-Tests sind nur ein Puzzleteil für den Erfolg von Online-Marketingmaßnahmen, da es unzählige weitere Variablen gibt, die die Konversionsrate oder das Ziel von Websites beeinflussen. Beispielsweise spielt die Qualität des generierten Traffics oder des Angebots auf der Website eine entscheidende Bedeutung. Ebenso ist der unmittelbare Wettbewerb und die eigene Markenbekanntheit mit einzubeziehen.
Mit A/B-Tests können Vermutungen in Form von Hypothesen statistisch untersucht werden. Das bedeutet, dass noch weitere Methoden für die Optimierung der Konversionsrate zum Einsatz kommen müssen, um alle Puzzleteile zu einem Gesamtbild zusammenzufügen. Unter Anderem konkretisieren und visualisieren Heatmaps und Session Recordings die Ergebnisse von A/B-Tests, während Usability-Tests qualitative Daten generieren und Web Analytics Metriken Conversion Probleme eingehender beschreiben und identifizieren.
