Methodendiskussion - Mehr Lesen
Mit den folgenden Beiträgen möchten wir unsere Erfahrungen und einige Betrachtungen mit Ihnen teilen.
Was können offene Fragen bei unterschiedlichen Methoden leisten?
Insights gewinnen über offene Fragen
Offene Fragen geben dem Befragten viel Raum zur freien Beantwortung. Im Online-Interview hat er dazu die neutral formulierte Anweisung und die Freiheit, wenig oder auch ausführlich zu schreiben. Im Face-to-Face-Interview (F2F) sitzt er in einer sozialen Umgebung, die die Antworten beeinflussen kann, aber auch die Möglichkeit zum Nachfragen und Vertiefen gibt. In einer vergleichenden Studie konnte das Antwortverhalten auf identische Fragen in den beiden Interviewformen verglichen werden.
Das Vorgehen: Vergleich zwischen Online-Panels und Face-to-Face-Interviews
In einer von T.I.P. Marktforschung durchgeführten Studie zur Wahl von Einkaufsstätten wurden die Antworten zu drei offenen Fragen (Kriterien bei der Wahl der Einkaufsstätte (ToM, weitere), spontane Konnotationen sowie positive und negative Assoziationen zum Händler) vergleichend analysiert. Die Online-Befragung wurde mit je N= 400 Befragten mit drei Panelanbietern und die F2F-Befragung mit N=1150 in 10 deutschen Teststudios durchgeführt.
Die Unterschiede: mehr Aussagen bei F2F
Dabei zeigte sich deutlich, dass die beiden Methoden bei offenen Fragen quantitative Unterschiede zeigen. Die Anzahl der Wörter in den face-to-face-Interviews ist mehr als doppelt so hoch wie bei der Online-Befragung. Dies resultiert sicher aus der persönlichen, direkten Interaktion mit Interviewern, die geschult sind, „alles“ aufzuschreiben und ggf. nochmal nachzufragen. Zumindest in der Quantität der Äußerungen erscheint F2F somit im Vorteil gegenüber Online. Im Online-Interview wurde keine besondere Motivationssteigerung – wie z.B. Fortschrittsbalken – eingesetzt. Zusätzlich sei bemerkt, dass sich die Wortzahlen auch zwischen den drei Panels unterschieden (die Ergebnisse dazu wurden bei Research & Results berichtet).
Inhalt: Gleiche Kernaussagen in beiden Verfahren
Nach der Kodierung der offenen Fragen zeigen sich die Kernthemen in einer vergleichbaren Reihenfolge der Häufigkeit. Im F2F sind Mehrfachnennungen häufiger und folglich kann man von einer etwas besseren Differenzierung bei den selteneren Themen ausgehen.
Analyse: F2F gibt mehr Spielraum
Interpretatorisch ist das „Zwischenverhältnis“, die Konnotation und Sinngebung zu den zentralen Themen wichtiger. Hierbei kann das F2F-Interview seine Vorteile zeigen: Die umfangreicheren F2F – Aussagen geben mehr Raum für die Wahrnehmung der Qualitäten der Kernthemen und damit für qualitative Analysen und Insights. Das wird allerdings erst deutlich, wenn man hinter die Kodierung blickt und die offenen Antworten als Verbatim oder über Schlüsselwortanalysen betrachtet. Unterschiede, die z.B. durch soziale Erwünschtheit im F2F zustande kommen könnten (z.B. Vertuschen von Preissensibilität), sind nicht sichtbar geworden.
Empfehlung: Das Analyseinteresse entscheidet
Im hier gezeigten Beispiel lag das Verhältnis der Feldkosten Online / F2F bei fast 1:4. Hinsichtlich der offenen Fragen können die höheren Kosten also nur dann sinnvoll sein, wenn eine tiefgehende Analyse durchgeführt wird. Wer sich auf den prozentualen Vergleich einer kodierten Analyse begrenzen möchte, sollte im Online-Panel zu ähnlichen Ergebnissen kommen.
In einem weiteren Methodenvergleich konnte gezeigt werden, dass das Antwortverhalten im Online-Interview deutlich umfangreicher wird, wenn die offenen Fragen mit einem Fortschrittsbalken (mehr Info dazu über das Institut) versehen sind. So lässt sich auch über Online-Befragungen eine bessere Basis für Insights schaffen.
Mehrwert durch Methodenmix
Die Aufgabe – Bessere Abbildung der Wohnbevölkerung in einer repräsentativen Studie
T.I.P. führt bereits seit 1997 quartärlich eine bevölkerungsrepräsentative Befragung zum Reiseverhalten in Luxemburg durch.
Umsetzung: Bis 2016 wurde die Studie als CATI durchgeführt.
Basis der Stichprobenziehung: Das Telefonbuch.
Im Laufe der Jahre hatten sich verschiedene Faktoren verändert, die Durchführung der Studie stand stets vor neuen Herausforderungen und letztlich standen Erwägungen im Raum, Stichprobengewinnung und Repräsentativität der Ergebnisse auf ein neues Fundament zu stellen.
Die Situation: CATI-Stichprobe – Alt
Schlechte Abbildung der Wohnbevölkerung in der Stichprobe; Überrepräsentanz von Frauen und älteren Personen. Infolge hohe Kosten für das Screening der Probanden und zusätzlicher Bedarf an Gewichtung nach Alter und Geschlecht notwendig. Zudem die Befürchtung, dass die stetig abnehmende Zahl von Telefonbucheinträgen die Stichprobe systematisch verzerrt.
Die Lösung: Ein Methodenmix
Eine Kombination aus CATI und Online-Befragung erschien hierbei vielversprechend. Um auch Probanden für das Online-Interview zu gewinnen, wird für jede Erhebungsrunde eine Stichprobe auf Basis der Einwohnerregister gezogen und mit Teilnahmeinfo angeschrieben. Parallel wird die Stichprobe mit Telefonnummern angereichert (ca. für ein Drittel umsetzbar). Alle anrufbaren Personen, die nicht Online teilnehmen, werden wiederholt telefonisch kontaktiert, dann befragt oder zum Online-Interview verwiesen. Alle Nicht-Teilnehmer erhalten einen Reminder. Mit dem Maßnahmenbündel wird die Stichprobe erweitert.
Das Verfahren führt zu einer Reihe positiver Stichprobeneffekte
1. Die Ausschöpfung der gezogenen Grundstichprobe steigt von 18% auf 30%, was bedeutet, dass systematische Verzerrungen reduziert werden.
2. Mit dem Mixed-Mode-Ansatz wird die Bevölkerung in ihrer Struktur genauer abgebildet – vor allem hinsichtlich Alter.
Über die Online-Variante können deutlich mehr Jüngere in die Stichprobe geführt werden (Online: Ø 43 Jahre – CATI Ø 57Jahre).
Die Gesamtstichprobe ist damit „aufgefrischt“ (10 Jahre jünger).
Inhaltliche Effekte: Reisemerkmale werden genauer abgebildet – Jüngere reisen anderes
Die Reisetätigkeit – das Studienthema – ist erwartungsgemäß abhängig vom Alter. So zeigt sich hinsichtlich der erhobenen Reisearten bei der verjüngten Stichprobe z.B. der Trend zu mehr Kurzreisen und typischen Reiseformen wie Bekannten-Besuche und Sporturlaub. Die Teilnehmer aus den reinen CATI-Stichproben zeigen kein verändertes Verhalten, was zeigt, dass es sich dabei um einen Stichprobeneffekt und nicht um geändertes Reiseverhalten handelt. Weiterer Effekt: Online nehmen stärker auch mobile Personen teil. Nicht-Reisende füllen evtl. keinen Online-Fragebogen aus, können aber wiederum über CATI erreicht werden.
Empfehlung: Mixed Mode
Mixed Mode heisst: Nutzung der Vorteile beider Ansätze und Vermeidung der Nachteile.
Resultat: Verbesserung in Stichprobe und Ergebnisabbildung.
Konkret bedeutet das:
- Auffrischung der älteren, weniger mobilen CATI-Stichprobe
- Keine Limitierung durch Haushalte mit Telefonbucheintrag – erweiterte Grundgesamtheit
- Persönliches Motivieren zur Teilnahme über Reminder und CATI möglich – verbesserte Ausschöpfung
- Schnellere, unkompliziertere Online-Teilnahme
- Kosteneinsparung durch Online kann für motivierende Maßnahmen eingesetzt werden (Verlosung, postalisches Anschreiben)
Mit dem Mixed-Mode Ansatz CATI / Online (hier realisiert über eine Einwohnermeldestichprobe) kann im Vergleich zur CATI-Kaltaquise die bessere Ausschöpfung mit einer jüngeren Zielgruppe und insgesamt ausgewogeneren Stichprobe generiert werden.
Potenziale zur Steigerung der Qualität von Online-Umfragen
Die Aufgabe: Verbesserung der Antwortqualität bei offenen Fragen im Online-Interview
Offene Antworten sind bei Online-Befragungen von jeher ein Problem: Neben sinnlosen Antworten – die man aber leicht breinigen kann – lässt die Ausführlichkeit der Beantwortung oft zu wünschen übrig. Nicht selten hat man es mit den berüchtigten ‚Einwort-Antworten‘ zu tun, denen das qualifizierende Element, dass man nämlich jetzt in einem F2F- Interview nachfragen würde, fehlt. Ein Vorkommnis, das gerade für ein qualitativ orientiertes Institut wie T.I.P. bedauerlich ist. Um dies zu vermeiden, wurde in einer Studie z. B. mit Erfolg ein erhöhtes Incentiv für eine umfangreiche Beantwortung ausgelobt. Seit einiger Zeit werden zudem Fortschrittsbalken neben dem Eingabefeld eingesetzt, um Befragte zu längeren Antworten zu animieren. Der Wert dieser kostenneutralen Maßnahme wurde in einer aktuellen Studie experimentell untersucht. Je der Hälfte der Befragten wurde eine offene Frage mit und ohne Fortschrittsbalken vorgelegt, um den Effekt vergleichend zu prüfen.
Die Umsetzung: Stimulus Unterstützung mit Fortschrittszählung
Während des Ausfüllens der offenen Frage wird entsprechend der Textlänge eine sich aufbauende Farbskala von rot nach grün als Motivation zum weiteren Ausfüllen signalisiert. Der Fortschrittsbalken wird im vorliegenden Fall über die Wortzahl (ohne die 100 häufigsten Wörter) aufgebaut.
Das Ergebnis: Mehr geschrieben – besserer Content
- Mehr Worte: Von Probanden mit Stimulus werden fast doppelt so viele Worte geschrieben. Im konkreten Fall einer Touristik-Befragung liegt das Verhältnis von ‚ohne‘ zu ‚mit‘ bei 4,2 zu 8,5 bei den Likes und 3,4 zu 7,7 bei den Dislikes. Somit bleibt die Frage, was dieses „Mehr“ bedeutet.
- Mehr Argumente: Mit Stimulus – Unterstützung wird vielfältiger geantwortet. In der Kodierung der Antworten zeigt sich, dass es sich häufiger um Mehrthemen-Antworten handelt, die die inhaltlichen Schwerpunkte der Antworten durch größere Unterschiede noch besser erkennen lassen. Somit bleibt die Frage: Wurde nicht nur mehr und vielfältiger, sondern auch inhaltlich interessanter geantwortet?
- Mehr Detailinformationen: Ohne Stimulus werden eher nur Top-of-Minds genannt (hier: Landschaft, freundliche Menschen, Atmosphäre). Mit Stimulus werden auch die positiven sekundären Eigenschaften (z.B. Weinfeste, schöne Radwege) ergänzt, aber vor allem werden Themen emotional aufgeladen (toll, einzigartig,..) und mit Vergleichen und konkreten Beispielen erläutert.
Bei der Kodierung und Visualisierung der offenen Antworten mit Unterstützung der Caplena-Software konnte auch gezeigt werden, wie sich das Beziehungsgeflecht der genannten Themen über die längeren Antworten in der Variante mit Stimulus ausweitet (rechts). Dort sieht man z.B. dass sich das Thema ‚Feste‘ vor allem über Personen und Atmosphäre und weniger über Essen definiert, während das Thema ‚Wein‘ als Zielgruppenthema eigenständig bleibt. .
Empfehlung: Deutlich wertvollere offene Antworten mit Stimulusunterstützung
Die Stimulusunterstützung bei offenen Fragen fördert die Vielfalt und Detailliertheit der Antworten und muss als echte Informations- und Qualitätssteigerung beim Online-Interview angesehen werden. T.I.P. hat auch verschiedene weitere Formen der Stützung, die Gamification-Charakter haben, in Erprobung, um Ermüdungseffekte in längeren Interviews zu vermeiden.