Plattform-Anleitungen
A/B-Tests für E-Mail-Kampagnen durchführen
Teste Betreff oder Inhalt kontrolliert, ermittle eine Gewinnervariante und vermeide unzuverlässige Ergebnisse.
Kurz gesagt: Mit einem A/B-Test versendest du mehrere Varianten einer E-Mail zunächst an einen Teil deiner Empfänger. Nach der festgelegten Testzeit erhält der übrige Teil automatisch die Variante mit dem besseren Ergebnis.
Was ein A/B-Test zuverlässig beantworten kann
Ein A/B-Test hilft dir, eine klare Frage mit echtem Empfängerverhalten zu beantworten – zum Beispiel:
Welche Betreffzeile wird häufiger geöffnet?
Welche Inhaltsvariante führt häufiger zu Klicks?
Teste immer nur eine Sache gleichzeitig. Änderst du Betreff, Bild, Text und Schaltfläche zugleich, weißt du danach nicht, welche Änderung den Unterschied verursacht hat.
Ein A/B-Test ist kein allgemeiner Qualitätsnachweis für eine E-Mail. Er vergleicht nur die gewählte Variante in dieser Zielgruppe und in diesem Versandzeitraum.
Voraussetzungen und Grenzen
Bevor du den Test aktivierst, prüfe diese Punkte:
Voraussetzung oder Grenze | Warum sie wichtig ist |
|---|---|
Mindestens 10 Kontakte je Variante und 40 Kontakte insgesamt | Bei sehr kleinen Gruppen können einzelne Öffnungen oder Klicks das Ergebnis stark verzerren. |
Maximal 6 Varianten | Mehr Varianten teilen die Testgruppe weiter auf. Beginne deshalb möglichst mit zwei klaren Varianten. |
Versand sofort oder zu einem festen Zeitpunkt | Stapel- und RSS-Versände unterstützen diesen Test nicht. |
Testdauer zwischen 30 Minuten und 24 Stunden | Sie bestimmt, wie lange Daten gesammelt werden, bevor die Gewinnervariante feststeht. |
Vor dem Start alle Varianten geprüft | Nach Testbeginn solltest du Inhalt und Versand nicht mehr verändern. |
Das richtige Testelement wählen
In den Testeinstellungen wählst du genau eine von zwei Arten:
Testart | Was du variierst | Passendes Gewinnkriterium |
|---|---|---|
Betreff | unterschiedliche Betreffzeilen bei gleichem E-Mail-Inhalt | Eindeutige Öffnungsrate |
Inhalt | unterschiedliche Texte, Bilder oder Schaltflächen bei gleichem Betreff | Eindeutige Klickrate |
Wähle den Betreff-Test, wenn du herausfinden willst, welche Ankündigung Interesse weckt. Wähle den Inhaltstest, wenn die E-Mail geöffnet wird und du wissen möchtest, welche Gestaltung besser zur gewünschten Handlung führt.
Testanteil und Verteilung verstehen
Der Testanteil legt fest, wie viel deiner Zielgruppe zunächst die Varianten erhält. Die restlichen Empfänger warten, bis der Gewinner feststeht.
Bei zwei Varianten und einem Testanteil von 50 % zeigt die Oberfläche beispielsweise:
Variante A: 25 %
Variante B: 25 %
verbleibende Empfänger für die Gewinnervariante: 50 %
Die Varianten teilen sich den gewählten Testanteil gleichmäßig. Nach Ablauf der Testdauer wird der verbleibende Anteil automatisch mit der Gewinnervariante versendet.
Praktischer Tipp: Wähle den Testanteil nicht unnötig groß. Du brauchst genug Daten für eine sinnvolle Entscheidung, möchtest aber zugleich einen ausreichend großen Rest für die Gewinnervariante behalten.
A/B-Test Schritt für Schritt einrichten
Öffne Marketing > E-Mails > Kampagnen und erstelle eine neue Kampagne oder öffne einen passenden Entwurf.
Öffne den visuellen E-Mail-Editor.
Aktiviere in der linken Seitenleiste A/B-Test aktivieren.
Wähle die Testart: Betreff oder Inhalt.
Lege die Testdauer fest.
Wähle die Anzahl der Varianten. Starte am besten mit zwei Varianten.
Stelle mit dem Regler den Testanteil ein und prüfe die angezeigte Verteilung auf A, B und den verbleibenden Anteil.
Trage die Betreffvarianten ein oder bearbeite die Inhaltsvarianten.
Wähle das Gewinnkriterium.
Prüfe jede Variante in der Desktop- und Mobilvorschau und sende einen internen Test.
Wähle Senden oder planen und starte den Versand sofort oder zu einem festen Zeitpunkt.
Gewinnkriterium richtig einsetzen
Die Oberfläche bietet zwei Kriterien:
Eindeutige Öffnungsrate: Gewinnt die Variante mit den meisten unterschiedlichen Personen, die die E-Mail geöffnet haben.
Eindeutige Klickrate: Gewinnt die Variante mit den meisten unterschiedlichen Personen, die auf einen Link geklickt haben.
Wähle das Kriterium passend zur Testart. Für Betreffzeilen ist die eindeutige Öffnungsrate sinnvoll. Für Inhalte mit einer Schaltfläche oder einem Link ist die eindeutige Klickrate meist aussagekräftiger.
Gibt es nach Ende der Testzeit keinen Unterschied, wird die erste Variante als Gewinnervariante verwendet. Lege deshalb Variante A bewusst als solide Ausgangsversion an.
Während und nach dem Test
Während der Testdauer läuft die Verteilung automatisch. Ändere die Kampagne nach Beginn nicht mehr, damit die Varianten vergleichbar bleiben.
Nach dem Test:
prüfst du in der Kampagnenstatistik die Werte jeder Variante;
vergleichst du sie mit dem Ergebnis der gesamten Kampagne;
kontrollierst du, ob die Zahl der getesteten Empfänger groß genug für eine Entscheidung ist;
hältst du fest, was getestet wurde und welche Variante gewonnen hat.
Ein sehr kleiner Unterschied bei wenigen Empfängern ist kein belastbarer Grund, eine erfolgreiche Vorlage dauerhaft umzubauen. Wiederhole wichtige Tests mit einer ausreichend großen, passenden Zielgruppe.
Die Gewinnervariante sinnvoll weiterverwenden
Die Gewinnervariante wird automatisch an den für sie reservierten Rest der Zielgruppe versendet. Für einen späteren Versand kannst du die erfolgreiche Kampagne duplizieren und als Ausgangspunkt verwenden.
Prüfe in der Kopie trotzdem erneut Zielgruppe, Zeitpunkt, Betreff, Links und Inhalt. Ein Ergebnis aus einer bestimmten Zielgruppe lässt sich nicht automatisch auf jede andere Zielgruppe übertragen.
Praxisbeispiel: Betreffzeilen testen
Ein Team möchte eine Einladung an 600 Kontakte versenden. Der E-Mail-Inhalt bleibt identisch, nur die Betreffzeile unterscheidet sich:
Variante A: „Dein Platz für Donnerstag“
Variante B: „Noch wenige Plätze für Donnerstag“
Das Team wählt den Betreff-Test, zwei Varianten, eine Testdauer von vier Stunden und die eindeutige Öffnungsrate als Gewinnkriterium. Ein Teil der Zielgruppe erhält A oder B, der übrige Teil wartet. Nach vier Stunden hat Variante B die höhere eindeutige Öffnungsrate und wird automatisch an die verbleibenden Kontakte versendet.
Häufige Fehler
Mehrere Dinge gleichzeitig ändern
Teste entweder Betreff oder Inhalt. Wenn du gleichzeitig Bild, Schaltfläche und Betreff änderst, ist das Ergebnis nicht eindeutig.
Zu kleine Testgruppe
Halte die Mindestmenge ein und bewerte einen kleinen Unterschied nicht über. Bei einer kleinen Zahl getesteter Kontakte kann Zufall die Kennzahlen stark beeinflussen.
Falsches Gewinnkriterium
Eine interessante Betreffzeile soll Öffnungen erhöhen; ein klarer Inhalt soll Klicks erhöhen. Richte das Gewinnkriterium danach aus.
Den Test nach Beginn ändern
Änderungen während der Testphase machen den Vergleich unzuverlässig. Prüfe deshalb Varianten, Links und Vorschau vor dem Start vollständig.
Den Restversand vergessen
Der Testanteil ist nicht die gesamte Zielgruppe. Kontrolliere in der Verteilung immer, welcher Anteil noch auf die Gewinnervariante wartet.