#97 Metriken, Hypothesen und Fehler: A/B-Testing in der Praxis mit Philipp Monreal

Engineering Kiosk - Un pódcast de Wolfgang Gassler, Andy Grunwald - Martes

Categorías:

Kontinuierliches Lernen mit Hilfe von Experimenten und A/B-Testing

In vielen Diskussion geht es darum, welche Lösung die bessere ist und einen größeren Impact hat. Viele Entscheidungen werden aus dem Bauch heraus getroffen, obwohl gesagt wird, dass wir datengetrieben arbeiten. Doch Daten und Ergebnisse sind oft nicht vorhanden. Experimente mit A/B-Tests sind für solche Situationen das Mittel der Wahl.

Hypothese aufstellen. Experiment umsetzen und durchführen. Ergebnis evaluieren. Und das ganze wiederholen. Klingt einfach.Experimentelles Mindset: Check. Doch wie macht man sowas denn im Detail? Auf welche und wie viele Metriken schaut man während eines Experiments? Wie lange darf es dauern? Kann ich das ganze auch mit wenig Kunden und Traffic umsetzen? Was sind die typischen Fehler beim A/B-Testing? Was ist ein p-Wert, eine statistische Signifikanz, eine Power-Analyse, ein A/A-Test, der Priming-Effekt?

Das und noch viel mehr in dieser Episode mit unserem Gast Dr. Philipp Monreal.

Bonus: Ob A/B-Testing mit Podcast-Episoden-Titeln für normale Podcast-Hosts möglich ist.

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback (gerne auch als Voice Message)

EngKiosk Community: https://engineeringkiosk.dev/join-discord

Email: [email protected]

Mastodon: https://podcasts.social/@engkiosk

Twitter: https://twitter.com/EngKiosk

WhatsApp +49 15678 136776

Gerne behandeln wir auch euer Audio Feedback in einer der nächsten Episoden, einfach Audiodatei per Email oder WhatsApp Voice Message an +49 15678 136776

Links

Dr. Philipp Monreal: https://www.linkedin.com/in/dr-philipp-monreal-095a2648/

Sample Size Calculator: https://www.evanmiller.org/ab-testing/sample-size.html

Buch “Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing” von Ron Kohavi: https://www.amazon.de/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264

Andrew Gelman blog: https://statmodeling.stat.columbia.edu/

“A day in the life of Oscar the cat”: https://core.ac.uk/download/pdf/31059034.pdf

Buch “Thinking, Fast and Slow” von Daniel Kahneman: https://www.amazon.de/Thinking-Fast-Slow-Daniel-Kahneman/dp/0141033576

How Not To Run an A/B Test: https://www.evanmiller.org/how-not-to-run-an-ab-test.html

Sprungmarken

(00:00:00) Intro

(00:01:01) Unser Gast: Philipp Monreal

(00:03:06) Experimenten in der Softwareentwicklung und das experimentelle Mindset

(00:07:46) Hypothesengetriebene Entwickeln und die Implementierung einer Lernkultur

(00:14:29) Metriken für Experimente und die Verteilung von Test- und Kontrollgruppen

(00:26:45) Statistisches Rauschen, der p-Wert, die Nullhypothese und statistische Signifikanz

(00:35:30) "Extraordinary claims, require extraordinary evidence" und "Any figure that looks interesting or different is usually wrong"

(00:41:49) Günstiges Testen im Tech-Bereich

(00:45:31) Mehrere Tests gleichzeitig durchführen

(00:49:57) Storytelling als Ergebnis-Präsentation und Kontrolle der Daten

(00:58:00) Vorbereitung und Nachbereitung von Experimenten

(01:01:44) Lernen als wichtiger Faktor in der Organisation Vermeidung von "Hippos"

(01:06:31) Podcast-Titel-Tests mit A/B-Testing

Hosts

Wolfgang Gassler (https://mastodon.social/@woolf)

Andy Grunwald (https://twitter.com/andygrunwald)