Der Podcast boomt, das ist eine häufige Schlagzeile. Sicher haben sich Podcasts auch in Deutschland eine wichtigere Position im Medienmarkt erobert. Aber wer ehrlich ist, der muss eingestehen: Wir wissen nur sehr wenig darüber, was, wann und wie viel gehört wird. Es fehlen schlicht die Möglichkeiten dies zu messen. Weil das technisch im klassischen Verbreitungsweg nicht vorgesehen ist (RSS-Feed bzw. Podcatcher) oder von denen, die eigene Daten erheben, im Detail nicht veröffentlicht wird (Spotify, iTunes).
In diese Lücke harter Nutzungszahlen von Podcasts, springen Umfragen, oft auch von scheinbar seriösen Instituten. Deren Umfragen werden gerne in den Medien zitiert. Doch leider wird dabei zu oft nicht genau genug hingeschaut oder gar nachrecheriert. Ich will in diesem Beitrag am Beispiel einer solchen Umfrage nachvollziehen, welchen Wert die dort getroffenen Aussagen haben.
Spoiler für Schnellleser: Die Zahl der Befragten ist für diese detaillierten Aussagen viel zu klein und die Wertungen sind daher methodisch fragwürdig. Die Interpretation der Umfragedaten ist teils wenig sinnvoll oder bei falscher Einordnung sogar irreführend.
Podcast-Studie: irreführend
Ausgangspunkt für diese Analyse der Presseberichterstattung über Umfragen ist eine Veröffentlichung von YouGov anlässlich der Verleihung des Deutschen Podcast Preises. YouGov ist ein junges britisches Markt- und Meinungsforschungsinstitut, das börsennotiert und international tätig ist.
Die Auswahl dieser Umfrage ist nur exemplarisch zur Veranschaulichung der Problemstellung und ist nicht verallgemeinert gemeint. Es ist aber nur eine Umfrage, aber keine Studie, wie es z.B. der bei PR- und Werbeleuten vielgelesene Branchendienst WUV suggeriert.
YouGov Deutschland bietet der Presse dazu 2 Unterlagen an: eine knappe Pressemitteilung (PM) und Grafiken mit Zahlendarstellungen. Darin werden 3 Kernaussagen getroffen, die ich näher auf Relevanz und Validität überprüfen will. Erst auf Anfrage gibt YouGov die Datengrundlage als Tabellenblatt heraus, aus der sich die Fallzahlen ergeben.
Zur Methodik: Podcast Umfrage – nicht Studie
Die Basis sind 2.039 Personen, die in Deutschland vom 10. bis 12. Mai 2021 befragt wurden. Die Ergebnisse wurden gewichtet (YouGov auf Nachfrage: nach Alter, Geschlecht und Herkunft) und sie sind angeblich repräsentativ für die deutsche Bevölkerung ab 18 Jahren. Es wird von Interviews gesprochen, die aber nur als “Online-Interview” stattfanden und daher nicht einem persönlichen Interview mit einem Befrager gleichen. Branchenüblich ist: Es “wird ein Online-Fragebogen im Webbrowser ausgefüllt” (Wikipedia).
3 Kernaussagen von YouGov
In der Überschrift wird die Reihenfolge der scheinbar beliebtesten Podcasts hervorgehoben. Weiterhin geht es um das ermittelte Nutzungsverhalten von deutschen Hörern und außerdem werden die Podcast-Plattformen dargestellt, die angeblich für die Deutschen wichtig sind.
Die Kernaussagen fasse ich als Zitate der PM zusammen:
- Unter den beliebtesten Podcasts wird „Das Coronavirus-Update von NDR Info“ mit dem Virologen Christian Drosten am häufigsten gehört
- Podcasts werden immer beliebter. Zwei von fünf Deutschen hören heutzutage Podcasts
- Beliebteste Podcast-Dienste sind Spotify für Jüngere und YouTube für Ältere
Bei allen 3 Aussagen der PM steht das Wort “beliebt” im Mittelpunkt, was schon selbst eine Wertung ist, die bei einer Auswertung einer Umfrage keinen Platz haben sollte, denn es gibt dafür keine Belege. Zulässig wären nur die reinen Tatsachen: gefragt wurde aber nur, ob ein Podcast schon einmal angehört wurde. Eine weitere qualitative Beurteilung oder Gefallen wurde nicht erfragt.
Überschriften suggerieren viel zu viel
Geht man dann in die Details der Aussagen, die überwiegend nur in den Grafiken dargestellt sind, wird es wirklich krude. Da werden Prozent-genaue Daten präsentiert, die schon einem mäßig Mathematik-begabten Redakteur unseriös erscheinen könnten. Begleitet werden die Grafiken aber mit aussagestarken Überschriften, die bei genauem Hinsehen tatsächlich kaum halten können, was sie suggerieren: als seien dies Studienergebnisse, die die Podcast-Nutzung aller Deutschen beschreiben. Beispiel:
Schon mit einfacher Arithmetik lässt sich ein Mittel der “Hin- und Wieder-Nutzer” von 46,6% errechnen und erkennen, dass dies deutlich (um >10% bzw. 5%-Punkte) von den 41,4% der Gesamtbefragten abweicht. Das zu erkennen ist wichtig, weil dadurch klar wird, dass sich die Zahl der Befragten, nicht gleichmäßig auf die 5 Altersgruppen verteilt. Idealtypisch vereinfacht wären es 2000/5 = 400 Befragte pro Altersgruppe.
Kleine Zahlen, trotzdem dicke Überschriften
Aber bei genauer Betrachtung fällt auf: die beiden Gruppen der über 45-Jährigen haben den Schnitt der drei übrigen Gruppen (55,3%) deutlich gesenkt. Sie sind offensichtlich stärker vertreten. Erst das Datenblatt bringt Klarheit über die jeweiligen Zahlen der Altersgruppen. Dabei kommt heraus, dass bei den Altersgruppen 18-24 weniger als 200, bei 25-34 nur etwa 300, bei 45-54 etwa 400 und dafür bei den über 55-Jährigen mehr als 800 geantwortet haben. Das macht zwar bei der ältesten Gruppe die Zahlen etwas valider. Dafür wird aber die Interpretation der Zahlen der jüngsten Teilnehmer endgültig fraglich, wenn die Umfrage im nächsten Schritt noch die Nutzungskanäle (Plattformen) im Detail betrachtet.
Bei dieser zweiten Grafik werden nun in einer Auflösung von 100 (100%) die genutzten Dienste (Plattformen) zugeordnet. Bei den jüngeren bedeutet dies, dass dort nur noch gut 100 Personen in die Ergebnisse eingehen. Wenn dort z.B. 2% die “Mediatheken der Fernsehsender” nutzen, dann heißt das, die Antwort von nur 2 Personen entspricht 2%-P. Nicht viel anders ist es bei den 45-54-Jährigen, wo 3 Personen 2%-P (SoundCloud) entsprechen. Bei den älteren wären dagegen für 2%-P Antworten von 5 Befragten notwendig.
Repräsentativ? Nur die Grundgesamtheit
Auch wenn die Umfrage angibt, dass sie insgesamt mit den 2000 Befragten repräsentativ für die deutsche Gesamtbevölkerung sein soll, ist zweifelhaft, ob man das so weit runter brechen kann, welche Bevölkerungsgruppe welche Dienste nutzt. Schon das Angebot solcher an die Presse adressierter Auswertungen von YouGov ist mindestens fraglich, weil eben die Darstellung der dahinter liegenden Befragtenzahlen mangelhaft ist. Will man das so machen, müssen obligatorisch die Basiszahlen der Gruppen mitgeliefert werden, meine ich.
Mein Fazit: Eigentlich ist eine solche Auswertung mit Befragtenzahlen von 100 oder 150, ja auch 250 pro Altersgruppe nicht aussagekräftig bis irreführend. Denn die kleinen absoluten Zahlen werden in der PM nie erwähnt. Es wird stets nur von Prozentangaben gesprochen. Das gilt um so mehr, wenn ich die Überschrift mit einbeziehe: “Jüngere hören Podcast auf Spotify”. Nein. Es müsste heißen: Wir haben ~70 Jugendliche gefunden, die hören Podcasts bei Spotify. Daraus einen Trend für ganz Deutschland abzuleiten, halte ich für gewagt.
Jetzt steht es einem Umfrageinstitut frei, jede Art von Umfrage zu machen, auch wenn Angaben über Auftraggeber oder Ziele fehlen. Selbst wenn die Daten danach ein wenig schräg interpretiert werden, ist das durch die Meinungsfreiheit gedeckt. Nimmt aber ein Pressemedium diese Ergebnisse unkritisch und ungeprüft auf, verzerrt das die Debatte. Und da habe ich den Eindruck, dies passiert häufig bei Diskussionen um neue Medien.
Ungeklärte Fragen bei Podcast Umfragen
So müssen dann auch die übrigen Aussagen der PM gelesen werden. Welches die beliebtesten Podcasts sind, bestimmen also nur wenige Hand voll Teilnehmer, obwohl von den Deutschen als Gesamtheit von mehr als 80 Millionen gesprochen wird. Dabei muss man einerseits berücksichtigen, dass verschwiegen wird, dass nur eine feste Liste von Podcasts vorgelegt wurde, aus der ausgewählt wurde.
Die Teilnehmer konnten nur aus 10 Titeln von Spotify und 10 von iTunes auswählen, wobei es meiner Schätzung nach mehr als 30.000 aktive deutschsprachige Podcasts gibt. Dabei muss man berücksichtigen, dass z.B. bei den Älteren nur jeder Fünfte einen dieser Dienste nutzt. Zudem konnten sich die Teilnehmer vielleicht nicht an alle Namen der Podcasts im Moment der Befragung erinnern oder sie die Antwort möglicherweise nicht für sozial erwünscht halten (mögliche Gründe: Sexpodcast? Voyeuristisch? Religion?) oder gerade für erwünscht halten (“muss man gehört haben”).
Was ist ein Podcast – ungeklärter Begriff
Andererseits wird (wie häufig in anderen Berichten) nicht geklärt, was es genau bedeutet, einen Podcast gehört zu haben: 1x oder 10x oder 100x bzw. wie viele Minuten für ein solches Urteil ausreichen. Oder ob es gefallen hat oder nicht, ob man nie mehr reinhören will. Schon der Begriff “Podcast” ist unklar, insbesondere wenn wie hier auch YouTube und Mediatheken einbezogen werden. Werten alle Nutzer einen VLog auf YouTube oder mehrere Folgen einer Serie in der Mediathek auf dem Smart-TV als Podcast?
Auf Nachfrage teilte YouGov (am 10.6.) mit: Der Fragebogen wurde mit folgender Podcast-Definition eingeleitet: „Podcasts sind episodische Serien auf Abruf in digitalem Audio- oder Video-Format, die heruntergeladen oder live mit verschiedenen Geräten gehört werden können.“ Folglich wird hier ein extrem weit definierter Podcastbegriff verwendet, inklusive aller Videodownloads. Das ist für viele Leser unerwartet und müsste aus meiner Sicht deutlich gekennzeichnet werden.
Es ist nicht leicht, Klarheit über die tatsächliche Nutzung und die Vorlieben der Deutschen bei neuen Medien zu erhalten. Diese “Studie” in Form einer reinen Umfrage dient diesem Zweck jedenfalls nicht, auch wenn sie sich so verkauft: “Anlässlich des Podcastpreises” wollte man die beliebtesten Podcasts und Dienste ermitteln. Wenn aber Journalisten das unkritisch, ohne den detaillierten Kontext verbreiten, stiften sie eher noch mehr Verwirrung oder sorgen sogar für Fehlinformationen.
Disclaimer: tbc. Dieser Blogartikel wurde am 9.6.21 begonnen und ist als Diskussionsgrundlage gedacht. Möglicherweise sind dort Fehler enthalten oder Gedanken müssen weiter ausgeführt werden. Daher könnte der Text künftig verändert werden. Ich lade zur Kommentierung ein. Es gelten die Regeln der dt. Gesetzgebung und Netzetikette.
Danke. Wichtiges Thema. V.a. den letzten Abschnitt find ich gut, denn auch mir fällt auf, dass in Umfragen oft oder sogar meistens nicht berücksichtigt wird, welche Kategorien die Befragten selbst verwenden, wie sie die Fragen verstehen können usw..
Unklar bleibt für mich aber, wie aus den vorliegenden Daten die Zahlen der Menschen in den einzelnen Altersgruppen errechnet werden können.
Danke für den Hinweis: Ich habe nun ergänzt: “Erst auf Anfrage gibt YouGov die Datengrundlage als Tabellenblatt heraus, aus der sich die Fallzahlen ergeben. “