Oberfläche nach einem Deep-Dive (Zen und die Kunst der Analytik)

Wenn Sie im DX-Bereich arbeiten, haben Sie eine Menge Daten über Ihre Nutzer. So viele Daten, dass es schwierig wird, herauszufinden, was man damit machen soll. Wie vermeidet man eine Datenüberlastung und erhält stattdessen verwertbare Daten?

Es gibt ein buntes Spektrum, das von Bauchgefühl auf der einen Seite bis hin zu übermäßiger Recherche und einem tiefen Eintauchen in die Komplexität auf der anderen Seite reicht. Angesichts der Menge an Daten, die uns in der digitalen Welt zur Verfügung stehen, ist es einfach, in die Tiefe zu gehen. Aber wenn Sie nicht mit umsetzbaren Erkenntnissen wieder auftauchen, werden Sie im Datensee ertrinken.

Ein Freund von mir hat in Jura promoviert und dann als Anwalt gearbeitet. Ich fragte ihn, wie es ihm dabei ergangen sei. Er lachte. "Nun, einer unserer Kunden ist im Bereich des elektronischen Geschäftsverkehrs tätig, also wurde ich gebeten, ein Memo über die EU-Richtlinie zum elektronischen Geschäftsverkehr zu schreiben. Ich habe etwa eine Woche lang daran gearbeitet und es dann an den Partner geschickt, für den ich arbeite." Das Feedback, das er daraufhin erhielt, lautete, dass es sich um eine großartige Forschungsarbeit handelte. Der Kunde hatte jedoch eine ganz bestimmte Frage. Dürfen wir das tun? Er brauchte kein zwanzigseitiges Memo über die Feinheiten des Gesetzes. Er brauchte ein umsetzbares "Ja, und so geht's".

Ich arbeitete an einer Empfehlungsmaschine; wir hatten einen Datensee mit Dutzenden von verschiedenen Quellen, die uns - so dachte ich - die Kombination aller Blickwinkel auf einen beliebigen Benutzer liefern könnten, um das perfekte nächste abzuspielende Video zu ermitteln. Der leitende Architekt probierte verschiedene Ansätze und eine Reihe von Testfällen aus, um den besten Algorithmus zu ermitteln. Wir hatten ein Telefonat über die Ergebnisse seiner Forschung, und ich fragte ihn nach seinen Schlussfolgerungen und danach, welche Daten er uns zur Verwendung empfehlen würde. Nach einer fast verlegenen Pause sagte er: "Es hat sich herausgestellt, dass das Einzige, was zählt, ist, welche Videos ein Benutzer zuvor gespielt hat und wie lange." Und ich lachte. Es war viel einfacher und billiger, es auf diese Weise zu betreiben! Manchmal braucht man nicht alle Daten der Welt, sondern nur die relevanten Daten, aber das herauszufinden, kann eine Menge Arbeit sein.

Steve Jobs wird bekanntlich mit "genialem Design" in Verbindung gebracht. Die Nutzerforschung hätte uns nicht den Mac, den iPod oder das iPhone beschert: Es bedurfte großartiger neuer Ideen, die dann bis zur Perfektion ausgefeilt wurden.

Das ist sehr verlockend, und das aus gutem Grund. Sie können Ihre Nutzer nicht direkt fragen, was sie wollen - sie sind nicht die Experten. Sie erwarten von Ihnen, dass Sie ihnen das Erlebnis liefern. Der Versuch, die Antworten aus den Daten herauszulesen, kann ebenso schwierig sein. Es scheint besser zu sein, "für den Benutzer zu denken", sich in seine Lage zu versetzen und dann herauszufinden, was er braucht. Das ist natürlich sehr wertvoll: Vergessen Sie nie Ihr Publikum! Aber es kann leicht passieren, dass man vom Weg abkommt und sich völlig von dem entfernt, was das Publikum tatsächlich denkt. Nicht zuletzt, weil man selbst oft nicht typisch für sein Publikum ist.

Bevor Sie sagen: "Ich weiß, was unser Publikum will", fragen Sie sich: Sind Sie Steve Jobs? Wenn nicht, seien Sie sehr vorsichtig mit genialem Design.

In der Wissenschaft beginnt man mit einer (oder mehreren) guten Fragen. Darauf folgt die explorative Forschung, die schließlich zu einer Hypothese führt. Dann hat man etwas, das man mit Daten beweisen oder widerlegen kann.

Bei DX können Sie in ähnlicher Weise Fragen und Hypothesen aufstellen, und es gibt eine Fülle von Tools, die Ihnen helfen, die Ergebnisse zu beurteilen. Es ist einfach, A/B-Tests für E-Mails und Benachrichtigungen durchzuführen. Wenn Sie sich die Zeit genommen haben, sie richtig in die Grundlage Ihrer Plattform zu integrieren, sollten multivariate Tests auf Bildschirmen kein Problem sein. Und Sie können Ihren Datenspeicher durchforsten und sehen, ob Sie bei vielen anderen Fragen eine Verbindung herstellen können.

Eines der ersten Dinge, die Sie feststellen werden, ist, dass diese Daten bei weitem nicht so genau und eindeutig sind, wie Sie es von in Echtzeit gemessenen digitalen Datenpunkten erwarten würden. Die Diskrepanz zwischen den Datensilos kann verblüffend sein. Ich habe routinemäßig einen Unterschied von 15-20 % zwischen Analysetools festgestellt, die vorgeben, genau dasselbe zu messen. Oder zwischen der Analyse von Serverprotokollen und der Analyse von Endbenutzerdaten.

Es gibt viele Gründe für diese Diskrepanzen - zum einen sollte man sich sehr genau ansehen, wie die einzelnen Tools oder Datensätze die Kriterien definieren. Und obwohl es in der digitalen Welt eigentlich nur um Schwarz und Weiß, Einsen und Nullen geht, gehen Daten verloren, sowohl beim Empfang der Pings als auch bei der Verarbeitung der Aggregate. Dessen muss man sich bewusst sein, und man sollte Zeit investieren, um die Unterschiede zu verstehen. Aber es kann sich trotzdem wie Rätselraten anfühlen, ausgesprochen unwissenschaftlich und chaotisch.

Und das ist gut so. Es erinnert mich an einen meiner Lieblings-Cartoons aus der "Far Side". Er zeigt eine krumme Rakete, die zwischen den Stufen falsch ausgerichtet ist, mit der Überschrift: "Es ist Zeit, der Realität ins Auge zu sehen, meine Freunde... Wir sind nicht gerade Raketenwissenschaftler." Und das ist genau das Richtige. Die digitale Erfahrung ist schwierig, aber sie ist nicht gerade eine Raketenwissenschaft. Wenn Sie mit Ihrer Hypothese falsch liegen, können Sie sie im nächsten Sprint korrigieren. Sie müssen sich nicht mit den Folgen eines explodierenden Satelliten auseinandersetzen.

Über die Feiertage Ende letzten Jahres wurde das James-Webb-Teleskop gestartet und in Betrieb genommen. Es richtig hinzubekommen, bedeutete, 344 potenzielle Fehlerquellen zu vermeiden. Nach dreißig Jahren Forschung und Entwicklung haben sie es tatsächlich geschafft, das zu schaffen. Und auch ich habe erleichtert aufgeatmet: Im DX-Bereich kann man nicht nur SPOFs umgehen, sondern wenn man auf einen Fehler stößt, gibt es immer eine Lösung, und man kann jederzeit zum Zeichenbrett zurückkehren und es erneut versuchen.

Wenden Sie bei der digitalen Erfahrung die wissenschaftliche Methode an, bilden Sie Ihre Hypothese und prüfen Sie sie anhand der Daten - aber übertreiben Sie es nicht. Der Start ist wichtiger als die Vermeidung von Risiken. Und wir sind nicht gerade Raketenwissenschaftler.

Als Kind, vor dem Internet, habe ich alles gelesen, was ich in die Finger bekam. So habe ich schließlich "The Inner Game of Tennis" gelesen, und obwohl ich kein Tennis spielte, blieb es mir im Gedächtnis. Ein Beispiel ist, dass man nicht denken sollte, während man versucht, den Ball zu schlagen. Man kann die Bewegung vor dem Spiel durchdenken, aber während man den Schläger schwingt, sollte man nicht nachdenken. In dem Buch geht es mehr um Zen als um Tennis. Sie können es genauso gut auf Daten, Analysen und Forschung anwenden.

Vor Jahren haben wir versucht, ein neues Produkt zu entwickeln. Mein Vorschlag war, interaktive Wireframes zu entwerfen und diese mit Ad-hoc-Fokusgruppen zu testen - notfalls auch unwissenschaftlich, nur mit unseren Kollegen aus anderen Abteilungen. Daraus könnten wir dann ein MVP erstellen und dieses erneut testen. Sobald wir dieses Produkt auf den Markt gebracht haben, können wir durch ständige multivariate Tests weitere Funktionen hinzufügen.

Wie immer stand die Markteinführung unter einem engen Zeitplan, und es blieb keine Zeit für all das. Aber während es uns gelang, den Dienst relativ schnell einzuführen, indem wir die Forschung übersprangen, wurde er zwei Jahre später wieder eingestellt - als wir feststellen mussten, dass er bei der Zielgruppe nicht ankam. Das war geniales Design, das schief ging. Wir haben den Ball hart getroffen, aber in die falsche Richtung.

Die gute Nachricht ist jedoch, dass dies nicht bedeutet, dass es keine Intuition gibt. Aber nach digitaler Erfahrung muss man diese Intuition erst einmal füttern, bevor man ihr vertrauen kann. Wenn man genug Zyklen des Hinterfragens und des Beweises oder Widerlegens von Hypothesen mit Daten durchlaufen hat, kann man immer mehr Schritte selektiv überspringen, weil man dann tatsächlich weiß, was das Ergebnis wäre (statt es sich nur zu wünschen). Und wenn man erst einmal in der Evolutionsphase angekommen ist, kann dies zu ständigen Rückkopplungsschleifen führen, die wieder zu Fragen führen, die Hypothesen hervorbringen.

Man könnte es "The Inner Game of Data" nennen, aber ich bevorzuge "Zen and the Art of Analytics". Forschen, einführen, überprüfen. Bleiben Sie nicht in der Forschungsphase stecken - aber das bedeutet nicht, dass Sie nur ziellos herumwursteln sollten.

Dieser Gast-Blogbeitrag ist der letzte einer Serie von fünf Artikeln, die Adriaan Bloem für Magnolia geschrieben hat:

Oh, und eine süße Überraschung für Sie: Adriaan schreibt nicht nur Blogartikel für Sie, er hat auch ein Buch geschrieben: