Trau’ keiner Konversionszahl! So kommt man Angebern auf die Schliche
In der Web-Analytics-Branche tummeln sich nicht wenige “Profis”, die gerne mit Erfolgszahlen um sich werfen - und hoffen, dass keiner genauer nachfragt, wie diese denn zustande gekommen sind. Einer von diesen verkündete kürzlich: “Habe gestern wieder bei einem Landingpage-Test die Konversion um 95,67% erhöht!”
Diese Zahl soll, natürlich, mordsmäßig beeindrucken. Doch wenn man diese Lobeshymne in eigener Sache mal nachrechnet, stellt sich heraus: Hier macht einer viel Wind um nichts. Im Folgenden möchte ich Schritt für Schritt nachweisen, warum eine Behauptung wie diese nichts anderes ist als effektheischerisches Geblubber.
Eine Konversion von 96% - das könnte zum Beispiel dann der Fall sein, wenn die Konversion von 0,5% auf 0,98% steigt. Oder von 15% auf 29%. Aber was soll uns eine 95,67% mit ihren zwei Nachkommastellen sagen? Wie genau muss denn eine Konversionsrate sein, damit eine Steigerung mit zwei Nachkommastellen angegeben werden kann?
Ich beginne mit 2 Annahmen, die Sie gerne zu jedem Zeitpunkt anzweifeln dürfen:
- Dieser Profi weiß, was er tut.
- Seine Angaben sind professionell, also richtig und sinnvoll.
Der gesunde Menschenverstand (oder ein sehr grober Daumen) sagen uns, dass die Konversion mit nicht weniger als zwei Nachkommastellen ermittelt werden darf, wenn wir die Steigerung mit zwei Nachkommastellen angeben wollen. Wie viele Besuche und Abschlüsse mussten denn da gestern (also an nur einem Tag!) stattgefunden haben, damit eine Konversion so genau angeben werden kann?
Die Konversion wird im Allgemeinen als “Abschlüsse pro Visit” berechnet und aus gutem Grund so gerundet, dass die Messungenauigkeiten im gerundeten und daher abgeschnittenen Bereich liegen. Bei 2.000 Besuchern und 100 Abschlüssen ist die Konversion exakt 5,00%. Macht aber der 2001. Besucher den 101. Abschluss, ergibt sich eine Konversion von 5,0474762618690654672663668165917%.
1. Berechnung der Visits:
Der Mindestabstand zwischen zwei Messwerten ist hier rund 0,05%. Jede genauere Angabe ist rechnerischer Unsinn, weil sonst halbe Abschlüsse zugelassen werden müssten. Je mehr Abschlüsse zugrunde liegen, desto mehr Nachkommastellen machen (rechnerisch) Sinn. Zum Beispiel, wenn ein zusätzlicher Abschluss eine Verbesserung um nur 0,002% bedeuten würde. Dafür bräuchten wir 50.000 Visits auf jeder Testversion der Landingpage (diese Berechnung ist unabhängig von der tatsächlichen Konversion!). Eine Landingpage mit mindestens 100.000 Visits pro Tag beeindruckt mich tatsächlich.
2. Schätzung der Konversionshöhe:
Wie hoch ist nun die Konversionshöhe, die “Mister 95,67%” erzielt hat? Leider gibt es auch in den besten Messmethoden der Webanalyse Ungenauigkeiten. Je nach Messsystem, Zielgruppe und Fragestellung liegt sie zwischen drei und acht Prozent (bei visitübergreifenden Betrachtungen auch mal darüber hinaus). Nehmen wir hier eine Messungenauigkeit von 3% an und eine Konversion von 5,37% bei 2680 Abschlüssen auf 50.000 Besuchen. Während wir die Anzahl der 2680 Abschlüsse eventuell mit dem Backend abgleichen können, wissen wir nicht so recht, ob es nun 50.000, 48.500 oder 51.500 Visits waren. Die Konversion liegt also zwischen 5,20% und 5,53%. Der relative Unterschied zwischen diesen beiden Werten ist 6%.
Mit anderen Worten: Es bleibt der Fehler von 3%. Das ist unabhängig von der Anzahl der Besucher oder der Höhe der Konversion. Wenn das Messsystem und der Testaufbau eine Messungenauigkeit von 3% auf nur einem der beiden Werte “Visits” oder “Abschlüsse” hat, ist der relative Fehler in der Konversion mindestens 3%. Eine sinnvoll berechnete Konversion wird also immer so gerundet, dass der Fehler von 3% abgeschnitten wird.
Finale Frage: Für welchen Prozentsatz ist der Fehler von 3% kleiner als 0,01%? Richtig - die von unserem Profi erzielte neue Konversion lag unter 0.34%.
Also, werter “Kollege”: Sie haben eine Landingpage mit über 100.000 Visits verbessert und die Konversion von unter 0,17% auf höchstens 0,34% erhöht?
Ich bin schwer beeindruckt! Nicht durch die Zahlen, sondern wie Sie das als Erfolg verkaufen.
1. kleine Fußnote: Wir haben oben angenommen, dass eine Genauigkeit auf der zweiten Nachkommastelle ausreicht, um eine Konversionssteigerung mit zwei Nachkommastellen angeben zu dürfen. Aber rechnen wir doch nochmals rückwärts:
Steigt die Konversion von 0,17% auf 0,34%, so ist das eine Steigerung um 100%. Von 0,17% auf 0,33% ist eine Steigerung von 94,12% und von 0,16% auf 0,32% eine um 93,75%.
Oh Fluch des Dezimalsystems! Für keine Endkonversion unter 0,34% gibt es eine passende Anfangskonversion, so dass sich eine Steigerung von 95,67% ergibt! Rechnen Sie ruhig nach - es gibt ja nur 33 Stück. Die 94,12% sind schon am nächsten dran. Mir fällt dazu keine schöne Erklärung ein, in der die Begriffe Primfaktoren, Teilerfremdheit und Restklassen nicht vorkommen. [Wenn Sie eine haben, posten Sie sie doch bitte.] Aber es ist hoffentlich offensichtlich, dass eine Angabe auf den Prozentpunkt genau “gewagt” ist, auf zwei Nachkommastellen - blanker Unsinn.
2. kleine Fußnote: Im Allgemeinen können wir in einem Test die Abschlüsse nicht sauber mit dem Backend abgleichen, weil ja eine der Fehlerquellen das Zuordnen genau dieser Abschlüsse zu dieser Testgruppe ist. Wenn der angenommene Messfehler für das Erfassen und Zuordnen der Abschlüsse beispielsweise 2% ist, liegen die tatsächlichen Abschlüsse aus dem obigen Beispiel im Mittel zwischen 2626 und 2734. Die Konversion liegt also zwischen 5,1% (2626/51.500) und 5,64% (2746/48.500). Es ergibt sich für den Quotienten also ein Messfehler von rund 5%. Ich gebe zu, dass dies eher eine “breiter Daumen”-Schätzung als eine gute Rechnung ist, aber durch die Division zweier fehlerhafter Messwerte wird der mittlere Fehler größer und nicht 0%, wie einige optimistische Gemüter annehmen.
3. kleine Fußnote: Es gibt 10.000 unterschiedliche zweistellige Prozentwerte, aber nur für 25 von ihnen gibt es bei 100 Abschlüssen ganzzahlige Visitzahlen. Das ist aber, zugegebener Maßen, von geringer praktischer Bedeutung.
