smartmetrics

Multikulturelles Testing mit überraschendem Ergebnis

Ein österreichisches Maschinenbau-Unternehmen hat uns im März gebeten, ihnen bei einem Test auf der japanischen Website zu helfen. Ziel war, die Konversionsrate bei der Generierung von Kontakten bzw. Leads durch die Website im japanischen Markt zu erhöhen.

Nun ist es nicht einfach, in einer völlig fremden Kultur zu “erraten”, welche Form der Ansprache die Besucher in einem B2B-Umfeld dazu anregt, mit einem Österreichischen Unternehmen Kontakt aufzunehmen, dass hochpreisige Spezialmaschinen anbietet. Zur Auswahl standen neben dem “Standard-Button” drei weitere Rezepte, die über einen Zeitraum von knapp zwei Monaten getestet wurden.

Hier zunächst die Seite mit dem Original-Kontaktbutton (blau, oben rechts):

Zur Auswahl standen folgende Alternativen:

Welche der Alternativen erzielte im Testzeitraum eine Steigerung der Konversionsrate um mehr als 200%? Versuchen Sie doch einmal eine Prognose abzugeben, bevor Sie weiter unten die Auflösung nachlesen.

Wir haben mit dem Testing- und Targeting-Tool “Vertster” einen einfachen A/B-Split-Test der vier Grundtypen durchgeführt und die Konversion im abgesendeten Kontaktformular gemessen. Da wir weder des japanischen mächtig sind, noch die speziellen kulturellen Präferenzen japanischer Websitebesucher kennen, ist es für uns relativ schwer, eine Vorhersage des Ergebnisses zu treffen. Alle vier “Schaltflächen” enthalten im Übrigen den gleichen Text mit der Bitte zur Kontaktaufnahme. Sie unterscheiden sich lediglich in der grafischen Aufbereitung. Für westeuropäische Augen wirken die drei zu testenden Alternativen eher “kitschig”. Darüber hinaus hat Alternative 2 überhaupt keinen Bezug zum Thema Kontaktaufnahme, wenn man den Text nicht versteht.

Umso mehr überrascht es, dass genau diese Alternative (der kleine rote Vogel) eine Verdreifachung der Anzahl an Kontakten im Vergleich zum  Original verursacht hat. Alternative 3 war genauso gut wie das Kontrollrezept mit dem blauen Button und Alternative 1 - die freundliche Dame - generierte gar keine Kontakte.

Dies zeigt einmal mehr, dass durch Testing eine Optimierung einer Website herbeigeführt werden kann und dabei die Ergebnisse nicht zwingend der eigenen Ästhetik oder der eigenen Erwartungshaltung entsprechen müssen.

Im Umkehrschluss muss man nach dem beschriebenen Resultat sogar sagen, dass die Befangenheit in der eigenen Kultur und sicherlich auch in eigenen Denkweisen einem optimalen Layout einer Website viel zu oft im Wege stehen.

---

Website-Testing in Unternehmen: Vor allem zum Start ist Beratung sinnvoll

Kein Zweifel: Das Interesse der Unternehmen, mit A/B/n-Tests und multivariaten Tests (MVT) ihre Online-Präsenz zu optimieren, steigt. Doch vielen fällt es schwer, solche Tests erfolgreich zu implementieren und durchzuführen, stellt Forrester in der Marktanalyse “The Online Testing Vendor Landscape” fest. John Lovett, scheidender Senior Research Analyst bei Forrester, nennt drei Hindernisse, die das Testing in Unternehmen erschweren:

• distanzierte Marketer, die sich von den Testmethoden abgeschreckt fühlen
• zu starre Arbeitsabläufe
• mangelnde Verantwortlichkeiten

Lovetts Analyse deckt sich mit unserer Erfahrung. Die Folgen dieser Hindernisse sind mangelhafte A/B und multivariate Tests, weil sie weder strategisch noch operativ geplant und durchgeführt werden. Deshalb sind Unternehmen, die noch keine Expertise entwickelt haben, gut beraten, externe Hilfe einzuholen - zumindest bei der Einführung solcher Tests! Dass sich das rechnet, belegt Forrester mit folgender Grafik:

Steigerung der Erfolgsrate mit externer Beratungsleistung (hellblau) und ohne (dunkelblau):

Was alles schief gehen kann, wenn die Testing-Erfahrung fehlt, zeigt ein aktuelles Beispiel: Eine Kfz-Versicherung begann in Eigenregie Ende September einen A/B/n multivariaten Test: Während einer Laufzeit von sechs Wochen sollte die Konversion von sechs Landingpages-Varianten geprüft werden. Das Ergebnis nach diesen sechs Wochen: Es gab einen Sieger, einen Zweitplatzierten und vier abgeschlagene Rezepte. Aufgrund dieses Ergebnisses nahm der Anbieter die vier erfolglosen Varianten aus dem Test, um das Ergebnis eine Woche lang erneut zu überprüfen. Das Ergebnis: Der vorhergehende Sieger rutschte ab auf Platz zwei, der Zweitplatzierte landete auf Platz eins. Der Grund: Alle Besucher der ersten sechs Wochen, die die vier erfolglosen Varianten gesehen und nicht zur Konversion beigetragen haben, wurden in der zweiten Testrunde auf das Default-Rezept geleitet - dem Zweitplatzierten aus dem ersten Testlauf. Dieser bekam also die gesamte Konversionsleistung aller anderen Varianten zugeordnet und landete auf diese Weise auf Platz eins.

Wie so häufig bekamen wir auch in diesem Fall zu hören: “Das Tool misst falsch!” Fakt aber war: Das Tool funktionierte bestens. Das Vorgehen (der Marktingabteilung) war falsch.

Was hätte das Unternehmen stattdessen tun sollen?

1. Es hätte den ersten Test vollständig beenden und einen völlig neuen A/B Test mit jenen Probanden aufsetzen müssen, die im ersten Lauf nur das erst- oder zweitplazierte Rezept gesehen haben oder gar nicht teilgenommen haben. Alle anderen Probanden aus dem früheren Test hätte man ausschließen müssen, denn sie waren “verbrannt”. So ist der Test wertlos und die nächste Chance zum Testen gibt es erst wieder in 12 Monaten.
2. In einer langen Zeitspanne muss man auch mit einem Verhaltenswechsel der Website-Besucher rechnen: Kfz-Versicherungen sind für sie zwischen September und dem Wechsel-Stichtag 30. November interessant, Man kann also davon ausgehen, dass sich der Besuchsgrund zwischen Anfang September (Informationssuche) und Ende November (noch auf die Schnelle den Kfz-Versicherer  wechseln) drastisch ändert. Und diese Unterschiede in der Besuchsmotivation verfälschen das Ergebnis.
3. Es ist prinzipiell von Vorteil, wenn man zu Beginn mit A/B Tests erste Erfahrungen sammelt und dann die Testmethoden sukzessive verfeinert.

Forrester stellt in seinem Draft einige Testing-Tools vor und zeigt: Auch günstige Tools warten mit einem guten Leistungsumfang auf. Mit diesen in Deutschland erhältlichen Tools können diese Tests durchgeführt werden: Webtrends, Omniture, Autonomy, Maxymizer und Vertster (das wir exklusiv vertreiben).

Forresters Leistungsumfangs-Ranking

1. Autonomy, Maxymizer
2. OMTR
3. Vertster, Webtrends

Forresters Produktpreis-Ranking:

1. Vertster
2. Webtrends
3. OMTR
4. Autonomy

---

Eine starke Idee: Mit einem Ratespiel Entscheider von A/B-Tests überzeugen

Eine extrem unterhaltsame und zugleich hoch effiziente Idee präsentiert Lars Johansson in seinem Blog Webanalysts.info: Der Schwede stellt ein Ratespiel zur Verfügung, mit dem Unternehmenslenker von der Dringlichkeit von A/B-Tests überzeugt werden können. Diesen Tipp geben wir nur allzu gerne weiter!

Der von Johansson entworfene Test besteht aus 15 Online-Seiten, die in jeweils zwei Variationen angezeigt werden (sie stammen aus realen A/B Tests oder multivariaten Tests). Die Teilnehmer sollen erraten, welche der zwei Varianten am erfolgreichsten war. Am unterhaltsamsten ist es, wenn mehrere gegeneinander antreten - wer die meisten Punkte hat, gewinnt.

Vergleichen kann man seine Ergebnisse dann mit denen eines Affen (randomized), eines „HiPPO“ (Highest Paid Person’s Opinion – in diesem Fall der CTO), eines Usability Experten, eines Art Directors, eines Web Analysten oder den Ergebnissen der Mutter von Lars Johansson (eine Grundschullehrerin im Ruhestand).

Wir wünschen viel Vergnügen und große “Aha”-Erlebnisse. Und vielen Dank an Lars Johansson!

---

Testen kann so trivial sein…

“Jeder bewiesene Satz ist trivial”, pflegte uns mein Algebra-Prof zu trösten. Und er hatte recht.  Auch beim Testen von Website-Alternativen gibt es solche trivialen Sätze: Erkenntnisse von solch banaler Offensichtlichkeit, dass man sie nur allzu leicht übersieht. Hier ein paar Beispiele:

• Unterscheiden sich die Testobjekte nicht, so unterscheiden sich auch die Ergebnisse nicht.
• Ein Newsletter, an dem dran steht “Neues Design!” hat eine erhöhte (gemessene) Öffnungsquote, weil der geneigte Leser die Bilder lädt, um das Design zu bewundern.
• Ein neues Design erzeugt im Allgemeinen eine größere Eintauchtiefe. Sei es, weil die Stammkunden interessiert blättern, um die Veränderungen zu begutachten, sei es, weil sich selbst treueste Benutzer nicht zurechtfinden. Bei einer Site mit starker Stammkundschaft kann man also bei einem Test zur Erhöhung der Stickiness die Daten so lange getrost wegschmeißen, bis die meisten Teilnehmer des Tests zwei bis dreimal da waren.
• Wenn eine Variante eines A/B/n-Tests eine hohe Abbrecher- und eine geringe Wiederkehrquote hat, sollte man die Variante aus dem Test nehmen, bevor man keine Probanden mehr hat.
• Geht ein Test über mehrere Besuche, sollten die Teilnehmer des Tests bei jedem ihrer Besuche die gleiche Alternative sehen.
• Einen Langzeittest kann man nur mit Besuchern machen, die man nach langer Zeit wiedererkennt.
• Wenn das Konversionshemmnis hauptsächlich im Warenkorb-/Kontakt-/Registrierungsprozess liegt, hilft eine andere Landingpage nur bedingt.
• Testergebnisse gelten nur für die getestete Nutzergruppe. So können Ergebnisse eines  Landingpage-Tests, der mit Newsletter-Nutzern durchgeführt wurde, nur bedingt auf SEO-Traffic-User übertragen werden.
• Wenn die Zeitspanne zwischen Erstbesuch und Erstkauf bei 50% der Besucher länger als eine Woche ist, hat ein Landingpage-Test zur Konversionssteigerung, der nur eine eine Woche dauert, noch eine Fehlerwahrscheinlichkeit von über 50%. Will man also die Spanne zwischen Erstbesuch und Erstkauf mit einbeziehen, muss die Auswertung des Tests mindestens eine weitere Woche laufen.

Das klingt, zugegebenermaßen, alles trivial. Doch wenn sich der Gewinner des A/B/n-Tests im Jahresrückblick als Eintagsfliege entpuppt, ist das auch kein Trost. Lieber vorher an Triviales denken.

---

Tag Clouds im Usability-Test

Vor einiger Zeit haben wir die Tag Cloud (Schlagwortwolke) auf unserer Website angepasst. Der Link “Web Analytics” erscheint seit dem Relaunch unterstrichen. Unsere Grafikerin hatte sich damals noch gegen die “Verunstaltung” gewehrt, weil es nicht ganz zu dem Gesamteindruck der Website passen würde. Deshalb haben wir daraufhin die Möglichkeit geschaffen, optional einzelne Begriffe in der Tagcloud  zu unterstreichen. Ich habe einige zentrale Begriffe für contentmetrics ausgewählt. “Web Analytics” gehört dazu, aber auch Evaluierung und CPO (Cost per Order).

Dadurch haben wir folgende Erkenntnisse für Tag Clouds gesammelt:

1. Begriffe alleine laden den Besucher noch nicht zum Klicken ein.
2. Aber auch das Unterstreichen initiiert noch keine Klicks.
3. Selbst wenn die Besucher an bestimmten Begriffen interessiert sind, gehen sie noch nicht mit der Maus über die Tagcloud, um etwas Klickbares zu finden.

Erfolgreich sind die Tags erst dann, wenn ein Begriff neugierig macht und dem Interesse des Besuchers entspricht. Außerdem muss er deutlich als “klickbar” angezeigt werden.  Bei alledem ist die Erwartungshaltung ebenfalls wichtig: Denn auf der Website eines “Web Analytics Unternehmens” werden weiterführende Inhalte zu “Web Analytics” einfach erwartet. Erst wenn alle Bedingungen erfüllt sind, klicken die Besucher auch auf die Tags in der Cloud. Nur in der Kombination von Erwartungshaltung und deren Erfüllung treten die Online-Besucher auch wirklich in eine Aktion, den sie sich als Informationssuchende genauso wünschen wie der Content-Anbieter.

Gewiss sind das irgendwie Selbstverständlichkeiten. Aber wir erleben täglich, dass die Usability immer wieder einem vermeintlich “besseren” Layout einer Site geopfert wird. Im “physischen” Design gibt es seit langem den Begriff “Form Follows Function”, eigentlich sogar schon seit den 20er Jahren des vorigen Jahrhunderts (”Bauhaus“).  Und nicht umgekehrt. Deshalb gehören Links immer unterstrichen, wenn sie offensichtlich als solche erkannt werden sollen. Machen Sie den Test: nehmen sie irgendeine beliebige Website und blicken sie 500 Millisekunden darauf. Schließen sie den Browser, schreiben Sie auf, worauf sie klicken würden und öffnen sie die Website wieder. Ich bin mir sicher, dass Sie dabei alle unterstrichenen Begriffe oder solche, die deutlich als “Button” erkennbar waren, auswählen werden. Achten Sie einmal selbst darauf, viel Zeit nehmen Sie sich ohnehin nicht, maximal 0,5 Sekunden pro Seite.

>> Internet Professionell: Know-How: Tag-Clouds aus Design- und Usability-Sicht

---

Unser OMD-Resümee: Web Analytics war eines der Topthemen

Wow, was für eine Messe. Wir sind sehr zufrieden mir der Online Marketing Düsseldorf (omd), die gestern Abend ihre Pforten schloss. Unser Stand, den wir mit unserem Partner SHS VIVEON, teilten, war toujour bestens besucht, ebenso unser Pult auf dem riesigen Messestand von Omniture. Wir hatten kaum Zeit für ein Brötchen zu Mittag. Es war nicht zu übersehen: Das Interesse an praktikablen Web Analytics Lösungen war auf der OMD größer denn je. Auch andere Vertreter der Web Analytics erlebten einen regelrechten Ansturm, zum Beispiel Coremetrics, WiredMinds und WebTrekk. Google und Yahoo waren ebenfalls vor Ort, doch die beiden stellten ihre jeweiligen Web-Analytics-Tools nicht in den Vordergrund.

Apropos Google: Wollte das Megaunternehmen ausgerechnet auf der omd beschwichtigendes Understatement betreiben? Warum präsentierte sich Google in diesem einfallslosen, kistenförmigen Stand in einer Ecke der Halle 10? Ich freue mich auf Theorien und Antworten.

Einziger Wermutstropfen der omd: Unsere Hoffnung auf zahlreiche interessante Trends in der Web Analytics wurde enttäuscht. Innovationen waren Mangelware - bis auf eine, die unter anderem bei Omniture, Coremetrics und Divolution zu sehen war: „Testing & Targeting“. Kurz gesagt: Zur Siteoptimierung werden zahlreiche Site-Varianten ins Netz gestellt und deren Nutzung gemessen. Wir werden darüber noch ausführlich berichten, denn das ist ein Verfahren, das unsere Branche langfristig begleiten wird.

Wie alle Standbetreiber erhielten wir zum Messeausklang Besuch von einem netten Herrn der igedo. Er wollte wissen, ob wir nächstes Jahr wieder mit dabei sind. Eine schwierige Frage, weil es ab nächstes Jahr die Alternativmesse DMEX in Köln geben wird. Und wir möchten erst die Konzepte sehen, bevor wir uns entscheiden. Am liebsten wäre es uns natürlich, die beiden Veranstaltergremien würden ihren branchenschädigenden Krieg beenden. Es besteht die Gefahr, dass es ab 2009 keine Messe gibt, auf der die enorme Kraft der Branche zu spüren ist. Wird die omd in zwei Teile geteilt, ergibt das leider weniger als zwei Hälften.

---