smartmetrics

Testen kann so trivial sein…

“Jeder bewiesene Satz ist trivial”, pflegte uns mein Algebra-Prof zu trösten. Und er hatte recht.  Auch beim Testen von Website-Alternativen gibt es solche trivialen Sätze: Erkenntnisse von solch banaler Offensichtlichkeit, dass man sie nur allzu leicht übersieht. Hier ein paar Beispiele:

• Unterscheiden sich die Testobjekte nicht, so unterscheiden sich auch die Ergebnisse nicht.
• Ein Newsletter, an dem dran steht “Neues Design!” hat eine erhöhte (gemessene) Öffnungsquote, weil der geneigte Leser die Bilder lädt, um das Design zu bewundern.
• Ein neues Design erzeugt im Allgemeinen eine größere Eintauchtiefe. Sei es, weil die Stammkunden interessiert blättern, um die Veränderungen zu begutachten, sei es, weil sich selbst treueste Benutzer nicht zurechtfinden. Bei einer Site mit starker Stammkundschaft kann man also bei einem Test zur Erhöhung der Stickiness die Daten so lange getrost wegschmeißen, bis die meisten Teilnehmer des Tests zwei bis dreimal da waren.
• Wenn eine Variante eines A/B/n-Tests eine hohe Abbrecher- und eine geringe Wiederkehrquote hat, sollte man die Variante aus dem Test nehmen, bevor man keine Probanden mehr hat.
• Geht ein Test über mehrere Besuche, sollten die Teilnehmer des Tests bei jedem ihrer Besuche die gleiche Alternative sehen.
• Einen Langzeittest kann man nur mit Besuchern machen, die man nach langer Zeit wiedererkennt.
• Wenn das Konversionshemmnis hauptsächlich im Warenkorb-/Kontakt-/Registrierungsprozess liegt, hilft eine andere Landingpage nur bedingt.
• Testergebnisse gelten nur für die getestete Nutzergruppe. So können Ergebnisse eines  Landingpage-Tests, der mit Newsletter-Nutzern durchgeführt wurde, nur bedingt auf SEO-Traffic-User übertragen werden.
• Wenn die Zeitspanne zwischen Erstbesuch und Erstkauf bei 50% der Besucher länger als eine Woche ist, hat ein Landingpage-Test zur Konversionssteigerung, der nur eine eine Woche dauert, noch eine Fehlerwahrscheinlichkeit von über 50%. Will man also die Spanne zwischen Erstbesuch und Erstkauf mit einbeziehen, muss die Auswertung des Tests mindestens eine weitere Woche laufen.

Das klingt, zugegebenermaßen, alles trivial. Doch wenn sich der Gewinner des A/B/n-Tests im Jahresrückblick als Eintagsfliege entpuppt, ist das auch kein Trost. Lieber vorher an Triviales denken.

---