BA Inhaltsanalyse
Kognitive und affektive Herausforderung in Unterhaltungsmedien
01 701
Johannes Gutenberg-Universität Mainz
BA Inhaltsanalyse: Inhalte öffentlicher Kommunikation KF E
Wintersemester 2026/2027
Willkommen!
- Sie können horizontal durch die Sitzungen und vertikal innerhalb der Sitzungen navigieren
- Verwenden Sie die Pfeiltasten
- Verwenden Sie “M”, um das Menü zu öffnen
- Die Kurs-Website und alle Folien finden Sie unter https://felixdidi.github.io/26-2-ia
- Drücken Sie
?auf Ihrer Tastatur, um mehr darüber zu erfahren, wie Sie durch die Folien navigieren können!
Sitzung 01: Einführung
Ressourcen für diese Sitzung
Eden, A., Johnson, B. K., & Hartmann, T. (2018). Entertainment as a Creature Comfort: Self-Control and Selection of Challenging Media. Media Psychology, 21(3), 352–376. https://doi.org/10.1080/15213269.2017.1345640
Bartsch, A., & Hartmann, T. (2017). The Role of Cognitive and Affective Challenge in Entertainment Experience. Communication Research, 44(1), 29–53. https://doi.org/10/f9wwcn
Krippendorff, K. (2018). Content Analysis: An Introduction to Its Methodology (Fourth Edition). SAGE.
Neuendorf, K. A. (2017). The Content Analysis Guidebook. SAGE Publications, Inc. https://doi.org/10.4135/9781071802878
Eine kleine Einführung
Wir teilen den Kurs in zwei Hälften. Bitte öffnen Sie auf Ihrem Smartphone oder Laptop nur das Szenario Ihrer Hälfte:
Linke Hälfte: Szenario A
https://felixdidi.github.io/26-2-ia/exercises/szenario-a.html
Rechte Hälfte: Szenario B
https://felixdidi.github.io/26-2-ia/exercises/szenario-b.html
- Lesen Sie Ihr Szenario und versetzen Sie sich so gut wie möglich in die Situation hinein
- Beantworten Sie die Frage am Ende des Szenarios auf einem Blatt Papier
- Arbeiten Sie bitte alleine und tauschen Sie sich (noch) nicht aus!
Ihre Aufgabe
Sie sitzen auf Ihrem Sofa und haben Lust, etwas zur Unterhaltung zu schauen, zu hören oder zu spielen. Was würden Sie in dieser Situation nutzen?
Notieren Sie ein konkretes Medienangebot (z. B. einen bestimmten Film, eine Serie, ein YouTube-Video, ein Spiel, einen Podcast, …).
Sammlung
Szenario A
Szenario B
Unterscheiden sich die beiden Hälften? Was haben Sie gewählt – und warum?
Und wie wäre es hiermit?
Würden Sie sich so etwas in Ihrer Situation ansehen?
Auflösung
Szenario A
Sie kommen nach einem langen, anstrengenden Tag nach Hause. […] jetzt sind Sie völlig erledigt.
Szenario B
Sie kommen nach einem kurzen, aufregenden Tag nach Hause. […] jetzt sind Sie voller Energie und Tatendrang.
Die beiden Szenarien sind eine deutsche Fassung der experimentellen Manipulation aus einer Studie von Eden, Johnson und Hartmann (2018).
Was steckt dahinter? Das finden Sie in der Leseübung später in dieser Sitzung selbst heraus!
Agenda
- Einführung & Organisatorisches
- Themenschwerpunkt: Herausforderung in Unterhaltungsmedien
- Leseübung
Los geht’s!
Welche sind die wichtigsten Fragen, die in dieser Sitzung beantwortet werden sollen?
- Worum geht es in diesem Kurs?
- Was werde ich lernen?
- Was werde ich tun (müssen)?
Kurs-Website
- Verfügbar unter https://felixdidi.github.io/26-2-ia
- Bitte nach dieser Sitzung im Detail ansehen
Kursmaterial
- Wird über die Kurs-Website (und Moodle) bereitgestellt
- Bitte prüfen Sie, ob Sie Zugang zur Moodle-Plattform haben
- Sie sollten automatisch zum Moodle-Kurs hinzugefügt werden
- Wenn Sie bis Ende dieser Woche keinen Zugang haben, schreiben Sie bitte eine E-Mail
Vorstellungsrunde
Über Felix
- Doktorand & wiss. Mitarbeiter
am Fachbereich Medienpsychologie
JGU Mainz
Meine Forschungsinteressen umfassen:
- Rezeption und Wirkung von Unterhaltungsmedien
- Algorithmische Kuratierung von Medieninhalten
- Digitale Autonomie & mentale Gesundheit
- Computational Communication Science
Und Sie?
- Wie ist Ihr Name?
- Was ist Ihr Haupt- und Nebenfach?
- Wie groß ist Ihr Interesse an computergestützten Analysemethoden?
Seminarübersicht
| Woche | Datum | Thema | Ziele |
|---|---|---|---|
| 1 | 19. Okt. | Einführung & Theoretische Grundlagen | |
| 2 | 26. Okt. | Grundlagen der manuellen Inhaltsanalyse | |
| 3 | 2. Nov. | Eine Problemstellung entwickeln | |
| 4 | 9. Nov. | Chancen & Risiken automatisierter Methoden | |
| 5 | 16. Nov. | Automatisierte Inhaltsanalyse 1: Datenerhebung* | |
| 6 | 23. Nov. | Automatisierte Inhaltsanalyse 2: Zero-Shot Klassifikation* | Finale Problemstellung |
| 7 | 30. Nov. | Projekt-Sitzung: Codebuch-Entwicklung | Codebuch-Entwurf |
| 8 | 7. Dez. | Codebuch & Goldstandard (Anwesenheitspflicht) | Finales Codebuch |
Hinweis
Die Seminarstruktur kann an die individuellen Bedürfnisse und Interessen der Projektgruppen angepasst werden. Sitzungen, die mit einem Sternchen markiert sind, qualifizieren anteilig für den Computional Methods Track.
Seminarübersicht
| Woche | Datum | Thema | Ziele |
|---|---|---|---|
| 9 | 14. Dez. | Durchführung Inhaltsanalyse | |
| 10 | 21. Dez. | Durchführung Inhaltsanalyse | |
| 11 | 11. Jan. | Durchführung Inhaltsanalyse | Ende Durchführung |
| 12 | 18. Jan. | Datenanalyse 1: Reliabilität und Validität | |
| 13 | 25. Jan. | Datenanalyse 2: Hypothesentests | |
| 14 | 1. Feb. | Semesterabschluss und Informationen zum Projektbericht | Projekt-Präsentation |
| 17. März | Einreichungsfrist Projektbericht |
Hinweis
Die Seminarstruktur kann an die individuellen Bedürfnisse und Interessen der Projektgruppen angepasst werden. Sitzungen, die mit einem Sternchen markiert sind, qualifizieren anteilig für den Computional Methods Track.
Was werde ich lernen?
Was werde ich lernen?
Expertise
- Forschung zu Unterhaltungsmedien, Fokus auf kognitive und affektive Herausforderung
- Anwendung von Inhaltsanalyse auf Medieninhalte
Methodische Kompetenz
- Entwicklung empirischer Forschungsdesigns zur Inhaltsanalyse (Schwerpunkt Computational Communication Science)
- Durchführung und Dokumentation von Datenanalyse und Reflexion der methodischen Grenzen
Persönliche Kompetenz
- Problemlösungskompetenz bei forschungsorientierten Aufgaben
- Übertragung des Wissens auf ähnliche Fragestellungen
Was muss ich tun?
Was muss ich tun?
Keine Anwesenheitspflicht bedeutet…
- Sie erhalten alle grundlegenden Informationen in Moodle und auf der Kurswebseite
- Sie können viele Kursinhalte selbständig vor- und nachbereiten
- Ein Teil der Aufgaben wird auf nicht-Präsenz-Zeiten verlagert
- Sie sind selbst verantwortlich, alle Inhalte aufzunehmen und alle zentralen Abgaben/Aufgaben/Voraussetzungen für die aktive Teilnahme zu erfüllen/im Blick zu behalten
- Wenn Sie nicht anwesend sind, es aber Gruppenarbeiten gibt, sind Sie selbst dafür verantwortlich, sich im Sinne der Gruppe einzubringen
- Gerade bei empirischen Kursen gibt es viele essenzielle Sitzungen, die direkt an den Erfolg in diesem Kurs geknüpft sind, d.h. kein Abschlussbericht ohne regelmäßige Anwesenheit oder sehr hohes Maß an eigenständiger Nachbereitung
Ausnahme
Anwesenheitspflicht laut Prüfungsordnung bei der Codiererschulung (Sitzung am 7. Dezember)
Was muss ich tun?
Arbeit in den Arbeitsgruppen
- Gruppenarbeit im Seminar: ca. 4 Studierende pro Gruppe
- Maximal 5 Arbeitsgruppen im Seminar
- Prinzip: “Learning by doing”
- Studierende sammeln praktische Erfahrungen in Arbeitsgruppen (AGs)
- Austausch mit anderen AGs: Kennenlernen von Methoden, Themen und Arbeitsweisen
- Feedback geben und erhalten: zur eigenen und zu anderer AG-Arbeit
Was muss ich tun?
| Anforderung | Abgabe | Deadline |
|---|---|---|
| Aktive Teilnahme an Diskussionen und Gruppenarbeiten im Kurs | Fortlaufend | |
| Sitzungsvorbereitung durch Literatur-Lektüre & -Recherche | Fortlaufend | |
| Gruppen-Abgabe eines Proposals für das Forschungsprojekt | E-Mail an den Dozenten | Sonntag, 15.11., 23:59 Uhr |
| Individuelle Abgabe CCS-Übung Datenerhebung | Moodle | Sonntag, 22.11., 23:59 Uhr |
| Individuelle Abgabe CCS-Übung Zero-Shot Klassifikation | Moodle | Sonntag, 29.11., 23:59 Uhr |
| Teilnahme an der Codiererschulung (Anwesenheitspflicht) | Montag, 07.12. | |
| Manuelle Codierung eines Textkorpus | Moodle | Sonntag, 17.01., 23:59 Uhr |
| Abschlusspräsentation | E-Mail an den Dozenten | Abgabe Sonntag, 31.01., 23:59 Uhr, Präsentation Montag, 01.02. |
Was muss ich tun?
Benotete Leistung (“Prüfungsleistung”)
- Schriftlicher Projektbericht (Gruppenabgabe)
- Orientiert sich an einem wissenschaftlichen Artikel
- Informationen auf der Kurswebsite & in der letzten Sitzung
Was muss ich tun?
Leseaufgaben (siehe “Aufgaben” im Seminarplan)
- Lesen Sie die bereitgestellte Literatur, um sich auf eine Seminar-Sitzung vorzubereiten
- Orientieren Sie sich bei der Lektüre an den Fragen, die in der Aufgabe gestellt werden
- Sie sollten in der Lage sein, diese Fragen in der Sitzung zu beantworten
Wie man liest und wie man nicht lesen sollte?
- Lesen Sie wissenschaftliche Literatur nicht wie einen Roman
- Beginnen Sie mit Titel, Zusammenfassung und Zwischenüberschriften, um einen ersten Eindruck zu gewinnen
- Wenn Sie digital lesen, suchen Sie nach Schlüsselwörtern
- Überlegen Sie: “Was will ich von diesem Text?”
- Beantworten Sie Ihre eigenen Fragen (ich werde auch einige stellen)
Themenschwerpunkt: Herausforderung in Unterhaltungsmedien
Das üben wir nun gleich mal!
Was steckte hinter der Übung vom Anfang der Sitzung?
- Alle lesen denselben Text: Eden, Johnson und Hartmann (2018), PDF in Moodle
- Arbeiten Sie in Kleingruppen von 3–4 Personen, idealerweise mit Personen aus beiden Szenarien
- Konzentrieren Sie sich auf das Abstract, die Abschnitte zu challenging media und should versus want media (S. 355–358), das experimental procedure (S. 361) und die Ergebnisse von Step 1 (S. 363–364)
Sie haben allerdings nur 20 Minuten Zeit!
Leitfragen für die Lektüre
Aufgabe (~20 Minuten)
Beantworten Sie in Ihrer Gruppe die folgenden Fragen und halten Sie die Ergebnisse stichpunktartig fest:
- Welche Annahme über Selbstkontrolle liegt der Studie zugrunde? Warum sollte Erschöpfung beeinflussen, welche Medieninhalte wir auswählen?
- Was verstehen die Autor:innen unter kognitiver und affektiver Herausforderung? Was unterscheidet should- von want-Medieninhalten?
- Wie sind die Autor:innen methodisch vorgegangen? Welchen Teil der Studie haben wir zu Beginn der Sitzung nachgestellt?
- Was haben die Autor:innen herausgefunden – und passt das zu unseren Ergebnissen?
- Woher wissen die Autor:innen eigentlich, welche Filme herausfordernd sind? Ließe sich das auch inhaltsanalytisch erfassen?
Anschließend besprechen wir Ihre Ergebnisse gemeinsam.
Sie haben vorhin eine Studie nachgestellt!
Eden, Johnson und Hartmann (2018) haben 179 Studierende nach dem jeweiligen Szenario einen Film frei wählen und anschließend einschätzen lassen:
| Der gewählte Film ist … | Erschöpft | Energiegeladen |
|---|---|---|
| kognitiv herausfordernd | 2.21 | 4.37 |
| affektiv herausfordernd | 3.29 | 4.59 |
| ein should-Film | 2.92 | 4.11 |
| ein want-Film | 5.68 | 5.39 |
| voraussichtlich spaßig (fun) | 6.26 | 6.08 |
Mittelwerte auf 7-stufigen Skalen; Unterschiede bei want und fun nicht signifikant (p > .05).
Die zentrale Frage dieses Kurses
Welche Merkmale von Medieninhalten machen diese herausfordernd – und wie können wir sie systematisch erfassen?
Eden, Johnson und Hartmann (2018) nennen einige Merkmale:
- Kognitiv: Komplexität der Handlung und der Erzählweise, Neuheit (ungewohnte Plotstrukturen, Ästhetik, Besetzung, Themen oder Sprachen)
- Affektiv: belastende, aversive oder gemischte Emotionen
- Should-Filme: weniger bekannte Stars, Untertitel, intellektuell anspruchsvoll, weniger populär
“[R]ather than conceptualizing challenge as a feature inherent in media, we examine challenge as an interaction between viewer and content.” 1
Und jenseits von Kinofilmen? Serien, YouTube, TikTok, Games, Nachrichten, …?
Allgemeine Literatur
Soweit Fragen?
Gruppenbildung
Siehe Aufgaben Sitzung 01
Vorbereitung auf die kommende Sitzung
Siehe Leseaufgabe in den Aufgaben zu Sitzung 01
Sitzung 02: Grundlagen der manuellen Inhaltsanalyse
Ressourcen für diese Sitzung
Bartsch, A., & Hartmann, T. (2017). The Role of Cognitive and Affective Challenge in Entertainment Experience. Communication Research, 44(1), 29–53. https://doi.org/10/f9wwcn
Krippendorff, K. (2018). Content Analysis: An Introduction to Its Methodology (Fourth Edition). SAGE.
Neuendorf, K. A. (2017). The Content Analysis Guidebook. SAGE Publications, Inc. https://doi.org/10.4135/9781071802878
Oehmer-Pedrazzi, F., Kessler, S. H., Humprecht, E., Sommer, K., & Castro, L. (Hrsg.) (2023). Standardisierte Inhaltsanalyse in der Kommunikationswissenschaft – Standardized Content Analysis in Communication Research: Ein Handbuch - A Handbook. Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-658-36179-2
Agenda
- Diskussion: Herausforderung als Gegenstand der Inhaltsanalyse
- Grundlagen der manuellen Inhaltsanalyse
- Projektarbeit
Seminarübersicht & anstehende Deadlines
| Datum | Thema | Ziele |
|---|---|---|
| 26.10.26 | Grundlagen der manuellen Inhaltsanalyse | |
| 02.11.26 | Eine Problemstellung entwickeln | |
| 09.11.26 | Chancen & Risiken automatisierter Methoden | |
| 16.11.26 | Automatisierte Inhaltsanalyse 1: Datenerhebung* | |
| 23.11.26 | Automatisierte Inhaltsanalyse 2: Zero-Shot Klassifikation* | Finale Problemstellung |
Anschließend Codebuch-Entwicklung & Goldstandard
| Anforderung | Abgabe | Deadline |
|---|---|---|
| Gruppen-Abgabe eines Proposals für das Forschungsprojekt | E-Mail an den Dozenten | Sonntag, 15.11., 23:59 Uhr |
Theoretischer Rahmen, Zentrale Problemstellung, Hypothesen, …
(siehe “Aufgaben” zu Sitzung 04 – bereits jetzt online)
Diskussion: Herausforderung als Gegenstand der Inhaltsanalyse
Diskussion in den Arbeitsgruppen
Aufgabe (~30 Minuten)
Diskutieren Sie in Ihrer Arbeitsgruppe die folgenden Fragen aus der Leseaufgabe zu Sitzung 01. Bringen Sie Ihre Notizen ein und halten Sie die Ergebnisse stichpunktartig fest:
- Bartsch und Hartmann halten fest, dass das Erleben von Herausforderung zu einem gewissen Grad “in the eyes of the beholder” liegt. Was bedeutet das für eine Inhaltsanalyse, die Herausforderung als Merkmal des Inhalts erfassen möchte?
- Kommen Ihnen interessante Ideen für Forschung in den Sinn? Welche Medieninhalte (z. B. Filme, Serien, YouTube-Videos, TikToks, Games, Nachrichten) könnte man inhaltsanalytisch im Hinblick auf Herausforderung untersuchen?
Anschließend besprechen wir Ihre Ergebnisse gemeinsam.
Herausforderung: Merkmal des Inhalts oder des Erlebens?
“[R]ather than conceptualizing challenge as a feature inherent in media, we examine challenge as an interaction between viewer and content.” 1
- Eine Inhaltsanalyse kann erfassen, welche Merkmale des Inhalts Herausforderung wahrscheinlicher machen (z. B. Komplexität, Neuheit, negative oder gemischte Emotionen)
- Ob Rezipierende einen Inhalt tatsächlich als herausfordernd erleben, lässt sich allein aus dem Inhalt nicht ablesen
Was heißt das für unsere Projekte?
- Welche Merkmale lassen sich direkt beobachten (manifest), welche erfordern Interpretation (latent)?
- Welche Schlüsse vom Inhalt auf Rezeption und Wirkung (Inferenz) sind zulässig, welche nicht?
Dazu gleich mehr!
Sozialwissenschaftliche Methoden
- Umfrage
- Inhaltsanalyse
- Beobachtung
- Hermeneutik
- …
Definition der Inhaltsanalyse
“Content analysis is a research technique for the objective, systematic, and quantitative description of the manifest content of communication.” 1
Gibt es ein Problem mit diesem Tweet?
Manifester vs. latenter Inhalt
- Manifest: Elemente, die physisch vorhanden und zählbar sind
- Latent: Konstrukte, die nicht direkt gemessen werden können
- Messung durch die Bewertung der Codierer:in…
- …oder mehrere manifeste Indikatoren
“Content analysis is a research technique for making replicable and valid inferences from texts (or other meaningful matter) to the contexts of their use.” 1
“Content analysis is a summarizing, quantitative analysis of messages that follows the standards of the scientific method (including attention to objectivity–intersubjectivity, a priori design, reliability, validity, generalizability, replicability, and hypothesis testing based on theory) and is not limited as to the types of variables that may be measured or the context in which the messages are created or presented.” 2
Die Mythen der Inhaltsanalyse 1
- Die Inhaltsanalyse beschränkt sich auf einfache Analysen
- Jeder kann eine Inhaltsanalyse durchführen; sie erfordert keine besondere Vorbereitung
- Der Begriff Inhaltsanalyse bezieht sich auf alle Untersuchungen von Nachrichten (z.B. was ist mit “qualitativer Inhaltsanalyse”?)
- Die Inhaltsanalyse ist nur für den akademischen Gebrauch bestimmt
Kann man nur das analysieren, was “im” Text ist? (wie der Inhalt eines Containers)
“The term ‘content’ in content analysis is something of a misnomer because verbal materials may be examined for content, for form (e.g., style, structure), function, or sequence of communications” 2
Ziele der Inhaltsanalyse
- Beschreibung des Nachrichteninhalts
- im Allgemeinen nicht problematisch - aber siehe Problem latenter vs. manifester Inhalt
- z.B. “Inwieweit kommen populistische Kommunikationsstrategien in extremistischen Propagandavideos vor?”
- Die Untersuchung der Qualität von Botschaften
- erfordert einen (normativen) Rahmen
- z.B. “Gibt es einen Unterschied zwischen rechtsextremen und islamistischen Propagandavideos in Bezug auf den Einsatz populistischer Kommunikationsstrategien?”
- Inferenz
- erfordert zusätzliche Daten oder tiefgreifende theoretische Annahmen
- prognostische Inferenz (z.B. “Welchen Einfluss haben populistische Kommunikationsstrategien in extremistischen Propagandavideos auf die Zuschauer?”)
- diagnostische Inferenz (z.B. “Welche Elemente der Diskursarchitektur fördern die Verwendung bestimmter populistischer Kommunikationsstrategien?”)
Forschungsobjekte
- Private Kommunikation, z.B. Briefe, Privatgespräche, private Nachrichten
- Öffentliche Kommunikation, z.B. öffentliche Reden, Medienberichte von Print-, Online-, TV- und Radiosendern, Protokolle von Parlamentsdebatten, Beiträge in sozialen Medien, Anzeigen, …
- Visuelle Objekte (Fotos, Diagramme usw.) vs. geschriebener Text vs. gesprochener Text (muss vor der Analyse transkribiert werden)
Potenziale der Inhaltsanalyse
- Quantitative Beschreibung von großen Mengen von Nachrichten
- Ermöglicht retrospektive Längsschnittstudien
- Keine Verweigerungen oder Aussteiger
- Nicht-Reaktivität
- Anwendbar auf alle Formen der Kommunikation
Einheiten
- Population: Gesamtheit der Medienbotschaften, über die die Studie Schlussfolgerungen ziehen soll
- Untersuchungseinheiten: Formal definierte Einheiten (im Codebuch), die die Grundlage für eine Analyse bilden, z.B. Zeitungsausgaben, Twitter-Posts von bestimmten Accounts innerhalb eines bestimmten Zeitraums usw.
- Analyseeinheiten: Einheiten, die kodiert werden und auf denen die Ergebnisse beruhen sollen (z.B. Tweets, Artikel, Fotos, Absätze, Sätze, Wörter usw.)
Welche möglichen Analyseeinheiten sehen Sie hier?
Artikel-Ebene, Absatz-Ebene, Satz-Ebene, Bild-Ebene, Wort-Ebene
Design-Entscheidungen
Aus welchen Quellen?
Artikel-, Satz-, Bild- oder Akteursebene
Wie soll er abgedeckt werden?
(z. B. „natürliche“ vs. „künstliche Woche“)
Wie werden die Botschaften ausgewählt?
Welche Botschaften gehören zum Korpus, welche nicht?
(Einschlusskriterien)
Welche Variablen sollen abgedeckt werden?
Wie sollen sie codiert werden?
Codebuch-Design
Materialien für die manuelle Kodierung
- Codebuch: System von Regeln und Anweisungen für die Auswahl und Kodierung von Nachrichten
- Grundlegende Definitionen von theoretischen Begriffen
- Untersuchungseinheiten und Analyseeinheiten
- Kriterien für die Aufnahme
- System der zu kodierenden Kategorien
- Detaillierte Kodierungsanweisungen
- Kodierschema: Heutzutage typischerweise eine Datendatei im Tabellenformat
- Kodiererschulungen und anschließende Reliabilitätstests
Beispiel für ein Codebuch hier: https://osf.io/2z3dk/
beispielhaftes Paper hier: https://doi.org/10.1177/2056305118823358
Inhaltsanalyse nach den Standards der wissenschaftlichen Methode
“Content analysis is a summarizing, quantitative analysis of messages that follows the standards of the scientific method (including attention to objectivity–intersubjectivity, a priori design, reliability, validity, generalizability, replicability, and hypothesis testing based on theory) and is not limited as to the types of variables that may be measured or the context in which the messages are created or presented.” 1
Objektivität-Intersubjektivität
- Objektivität: Vermeidung von Voreingenommenheit des Beobachters
- Aber: Soziale Konstruktion der Wirklichkeit
- Nicht: “Ist es wahr?”, sondern “Sind wir uns einig, dass es wahr ist?”.
- Intersubjektivität
A priori design
- Wird bei Inhaltsanalysen oft verletzt
- Alle Entscheidungen müssen getroffen werden, bevor der Messprozess beginnt!
- Variablen
- ihre Messung
- Kodierregeln
- Menschliche Kodierung: das Kodierbuch und das Kodierformular müssen im Voraus erstellt werden
- Automatisierte Kodierung: das Wörterbuch, der Promt, oder ein anderes Kodierungsprotokoll sollte im Voraus erstellt werden
Darüber hinaus…
- Verallgemeinerbarkeit: siehe “The Computational Niche” in der übernächsten Sitzung
- Replizierbarkeit: werden wir am Rande besprechen
- Hypothesenprüfung auf der Grundlage von Theorie: gute Problemstellung entwickeln
- Reliabilität und Valdität: Wird in einer eigenen Sitzung behandelt
Fragen?
Projektarbeit
Aufgabe bis zur nächsten Sitzung
Arbeiten Sie in Ihrer Gruppe an den beiden Fragen aus der heutigen Diskussion weiter:
- Wie lässt sich Herausforderung als Merkmal des Inhalts erfassen? Nutzen Sie dabei, was Sie heute über die Grundlagen der Inhaltsanalyse gelernt haben (z. B. manifeste vs. latente Inhalte, Einheiten, Inferenz).
- Welche Medieninhalte möchten Sie im Hinblick auf Herausforderung untersuchen? Recherchieren Sie bei Bedarf weitere Literatur.
Zur Orientierung sind die Anforderungen an das Proposal (Abgabe 15.11.) bereits jetzt in den Aufgaben zu Sitzung 04 online. Sie müssen noch nicht alle Punkte beantworten können!
Details: siehe Aufgaben zu Sitzung 02
Vorbereitung auf die kommende Sitzung
Siehe Aufgaben zu Sitzung 02
Sitzung 04: Chancen & Risiken automatisierter Methoden
Ressourcen für diese Sitzung
Agenda
- Chancen, Herausforderungen und Fallstricke der CCS
- Open Science
- Projektarbeit
Seminarübersicht & anstehende Deadlines
| Datum | Thema | Ziele |
|---|---|---|
| 09.11.26 | Chancen & Risiken automatisierter Methoden | |
| 16.11.26 | Automatisierte Inhaltsanalyse 1: Datenerhebung* | |
| 23.11.26 | Automatisierte Inhaltsanalyse 2: Zero-Shot Klassifikation* | Finale Problemstellung |
| 30.11.26 | Projekt-Sitzung: Codebuch-Entwicklung | Codebuch-Entwurf |
| 07.12.26 | Codebuch & Goldstandard (Anwesenheitspflicht) | Finales Codebuch |
Anschließend Empirische Umsetzung / Durchführung Inhaltsanalyse
| Anforderung | Abgabe | Deadline |
|---|---|---|
| Gruppen-Abgabe eines Proposals für das Forschungsprojekt | E-Mail an den Dozenten | Sonntag, 15.11., 23:59 Uhr |
Theoretischer Rahmen, Zentrale Problemstellung, Hypothesen, …
(siehe “Aufgabe” zur heutigen Sitzung)
Chancen, Herausforderungen und Fallstricke der computergestützten Kommunikationswissenschaft1
- Wie können Sie die Möglichkeiten von CCS im Hinblick auf Ihr Forschungsinteresse nutzen?
- Wie können Sie mögliche Fallstricke in Bezug auf Ihr Forschungsinteresse vermeiden?
- Vom Selbstbericht zum tatsächlichen Verhalten
- Von Laborexperimenten zu Studien über das echte soziale Umfeld
- Von Small-N zu Large-N
- Von solitärer zu kollaborativer Forschung
- Wie können wir Forschungsdaten zugänglich machen?
- Sind “Big Data” immer gute Daten?
- Sind computergestützte Messmethoden valide und reliabel?
- Was ist verantwortungsvolles und ethisches Vorgehen in der computergestützten Kommunikationsforschung?
- (Wie erhalten wir die erforderlichen Fähigkeiten und Infrastrukturen?)
The Computational Niche1
- Wie passt Ihr Forschungsinteresse in die “Computational Niche”?
- Wie könnten Sie die von Margolin (2019) vorgeschlagenen Empfehlungen umsetzen?
Relationship between comparative advantages (rows) and recommendations (columns)
| Provide Multi-Causal Inventories | Report Informative Findings | Measure Important Variables “As Is” | Use Purposive Samples | |
|---|---|---|---|---|
| Test External Validity | Fully articulate state of prior knowledge | Give “null finding” equal importance | Converts construct validity concerns to evaluations of theoretical boundary conditions | Guides field to deploy systematic, controlled variation across studies |
| Explore Theoretical Relevance | Identify when prior expectations are weak for relevant variables | Identifies theories that do and do not explain real world phenomena | ||
| Audition Hypotheses for Field | Provide all hypotheses that fit the data | Show that an effect holds in a specific, defined, sub-group and so may be generalizable | ||
| Create Unimaginable Hypotheses | Researchers must go beyond “most intuitive” explanation and acknowledge competing alternatives | Encourages theoretical interrogation of unexpected predictors | Reduce reliance on face valid comparisons that disguise counterintuitive differences |
Sinnvolle Fragen stellen1
- Nutzung neuer Daten, um bestehende Theorien zu überprüfen, aber vor allem, um neue Theorien zu entwickeln, die auf neuen Erkenntnissen beruhen, die mit den bisherigen Forschungsinstrumenten nicht hätten gewonnen werden können
- Entwicklung neuer Konzepte und Messmethoden, die uns in Kombination dabei helfen können, besser zu verstehen, wie die von dieser neuen Datenquelle erfassten Einstellungen und Verhaltensweisen nicht nur auf größere Phänomene, sondern auch auf unser bestehendes Verständnis abgebildet werden, wodurch klarer wird, welche Schlüsse wir bei der Untersuchung komplexer sozialer und politischer Prozesse ziehen können - und welche nicht.
- Unsere erkenntnistheoretischen Instrumente und Methoden neu bewerten und durch interdisziplinäre Zusammenarbeit neu abstimmen, so dass sie synergisieren, anstatt miteinander zu konkurrieren
- Sicherstellen, dass das gesamte Forschungsprogramm im Einklang mit wissenschaftlichen Werten, Ethik und Praktiken steht
Fragen?
Open Science
Ressourcen
Dienlin, T., Johannes, N., Bowman, N. D., Masur, P. K., Engesser, S., Kümpel, A. S., Lukito, J., Bier, L. M., Zhang, R., Johnson, B. K., Huskey, R., Schneider, F. M., Breuer, J., Parry, D. A., Vermeulen, I., Fisher, J. T., Banks, J., Weber, R., Ellis, D. A., … De Vreese, C. (2021). An Agenda for Open Science in Communication. Journal of Communication, 71(1), 1–26. https://doi.org/10.1093/joc/jqz052
Open Science Collaboration (2015). Estimating the Reproducibility of Psychological Science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716
Open Science: Warum?
- Replikationskrise, v.a. in der Psychologie: Ein Großteil psychologischer Studien können nicht repliziert werden (Open Science Collaboration, 2015)
- Prominente Fälle von grobem wissenschaftlichem Fehlverhalten wie fabrizierten Daten (z.B. Diederik Stapel)
- Problem: fehlende Transparenz: Was wurde erhoben, manipuliert, ausgewertet?
- Bevorzugung signifikanter Ergebnisse im Veröffentlichungsprozess
- fragwürdige Forschungspraktiken (QRP – questionable research practices), um solche Ergebnisse zu erzielen
Beispiele für QRPs
- HARKing: Hypothesizing After Results are Known
- Hypothesen erst dann aufstellen, wenn die Ergebnisse bekannt sind
- p-Hacking
- Ergebnisdarstellung oder Datenanalysen so verändern, dass am Ende ein signifikantes Ergebnis herauskommt (z.B. durch selektives Berichten, Ausschluss bestimmter Teilnehmer:innen, Modelspezifizierungen, …)
- Menschliche Fehler
- Verschiedene Entscheidungen, die in der Studienkonzeption und Analyse getroffen werden (müssen)
- “Honest mistakes” in Datenanalysen
Ist das Vertrauen in die Wissenschaft in Gefahr?
- Was können wir tun?
- In der Kommunikationswissenschaft, siehe Dienlin et al. (2021)
Was können wir tun?
- Open Science als fachübergreifende Bewegung, um den wissenschaftlichen Forschungsprozess und seine Ergebnisse transparenter zu machen
- Grundprinzipien: Transparenz, Reproduzierbarkeit, Replizierbarkeit
- Open Science Praktiken:
- Präregistrierung: Vor dem Durchführen der Studie Hypothesen, Stichprobenziehung, Datenanalyseschritte etc. detailliert festhalten
- Teilen von Materialien: z.B. Fragebögen, Stimulusmaterial, Code der Datenauswertung, …
- Teilen der Daten
siehe auch siehe Dienlin et al. (2021) und https://osf.io/wpc8b
Fragen?
Projektarbeit
Aufgabe bis Sonntag, 15.11., 23:59 Uhr
Erarbeiten Sie in Ihrer Gruppe das Proposal für Ihr Forschungsprojekt und schicken Sie es per E-Mail an den Dozenten. Nutzen Sie dabei, was Sie heute gelernt haben:
- Welche Schritte Ihrer Inhaltsanalyse sollen manuell, welche computergestützt erfolgen?
- Welche Chancen und welche Fallstricke ergeben sich daraus für Ihr Projekt?
Offene Punkte dürfen Sie benennen, wir klären sie nach und nach.
Details: siehe Aufgaben zu Sitzung 04
Literaturangaben
