smartmetrics

Schrödinger und Heisenberg in der Web Analytics

In vielen Kundenprojekten kommt mitunter der Punkt, an dem ein Vertreter des Kunden sinngemäß folgende Frage stellt: “Beeinflusst die Instrumentierung der Seite mit einem Zählmechanismus die Ladezeiten und damit die Usability - und wäre es deshalb nicht besser, darauf zu verzichten?”

Ich fühle mich angesichts dieser Frage immer in meine Abiturzeit zurückversetzt, als wir Heisenbergs Unschärferelation und das wohl umstrittenste Gedankenexperiment der Elementarphysik - Schrödingers Katze - durchnahmen. Denn die vom Kunden gestellte Frage folgt der gleichen “Logik”.

Fangen wir von ganz vorne an, um die Gemeinsamkeit zu zeigen:

1. Ein Betreiber hat eine Website, die er nicht misst. Er hat deswegen keine Erkenntnis über Reichweite, Performance oder Conversion Rates.

2. Es werden Programmzeilen hinzugefügt, damit sie Auswirkungen haben. Der Einbau solcher Messfunktionen wird das Verhalten der Site modifizieren. In welcher Form, ist zunächst nicht relevant.

3. Als Folge erhält der Website-Betreiber nun die in Punkt 1. erwähnten Erkenntnisse etwa zu Reichweite, Performance und Conversion Rates.

Interessant ist hierbei nun die Behauptung, dass eine solche Messung nicht genau sei und das eigentliche - unbekannte - Messergebnis ohne Messung immer besser sei. (Zu diesem Schluss kommt im Übrigen auch die hier im Blog vorgestellte CMS Watch Studie.)

Genau das besagt die Heisenbergsche Unschärferelation: Vereinfacht ausgedrückt, verändert die Messung das Experiment (3. Theorem). Andererseits: Ohne Messung erhält man gar keine Aussage - das ist wiederum die Logik aus Schrödingers Katze, die gleichzeitig tot und lebendig ist.

Ein Dilemma der Web Analytics - gibt es eine pragmatische Lösung?

Natürlich ist das Nicht-Messen keine Alternative zum Messen. Man muss jedoch die “Nebenwirkungen” durch sorgfältige Programmierung überschaubar klein halten und sich über die Tatsache im Klaren sein, dass es tatsächlich zwischen Messung und Realität Abweichungen gibt. Diese Abweichungen können im Übrigen in der Praxis recht gut eingegrenzt und beziffert werden.

Zudem ist nach der Implementierung eines Tools eine Phase notwendig, die wir “Eichung” oder “Validierung” nennen. Dabei konzentriert man sich auf einfache Metriken (z.B. PIs, Visits, Visitors) und versucht diese anhand anderer Messsysteme (Ad Server, …) oder den Backends zu plausibilisieren. Dabei hat sich die Faustregel als hilfreich erwiesen, dass alles unter einer 10%-Abweichung für statistische Aussagen und Bewertungen irrelevant ist. Oder wie Avinash Kaushik in einem seiner Vorträge einmal gesagt hat:

Reporting = the art of finding 3 errors in a thousand rows
Analysis = the art of knowing 3 errors in a thousand are irrelevant
Or: the evolution of Reporting Squirrels into Analysis Ninjas

Bleibt die Frage: Reporten Sie noch oder analysieren Sie schon?

---