Wissensplattform Eins

Leitfaden für Umfrage-Tools

24. Juni 2026

Einführung: Konzeption

Bevor der erste Fragebogen entworfen wird, braucht es eine solide Grundlage: Was genau wollt ihr herausfinden, und warum? Die Konzeptionsphase ist der wichtigste und am häufigsten übersprungene Schritt im Umfrageprozess.

In dieser Phase klärt ihr:

Welches Problem ihr lösen oder welche Entscheidung ihr mit Daten unterstützen wollt
Welche Forschungsfragen sich daraus ableiten lassen
Welches Studiendesign zu eurem Vorhaben passt
Welche Konzepte und Konstrukte ihr messen müsst
Wen ihr befragen wollt und könnt
Welche datenschutzrechtlichen Rahmenbedingungen gelten

Der häufigste Fehler in der Praxis: Man beginnt direkt mit dem Fragebogen, ohne sich vorher klar zu machen, welche Informationen man eigentlich braucht. Das führt zu Fragen, die zwar interessant klingen, aber am Ende keine verwertbaren Ergebnisse liefern. Investiert lieber etwas mehr Zeit in die Konzeption. Das spart euch später viel Arbeit bei der Auswertung und Interpretation.

Studiendesign & Umfragetypen

Bevor ihr mit dem Fragebogen anfangt, solltet ihr euch Gedanken über das Studiendesign machen: Welche Art von Umfrage passt zu eurer Fragestellung? Wie oft und wann wollt ihr befragen? Und was könnt ihr aus den Ergebnissen überhaupt ableiten?

Das Studiendesign bestimmt, welche Schlüsse ihr am Ende ziehen könnt, und welche nicht. Ein Fragebogen kann noch so gut formuliert sein: Wenn das Design nicht zur Forschungsfrage passt, sind die Ergebnisse begrenzt aussagekräftig.

Umfragetypen nach Zweck

Bedarfserhebung

Ihr wollt herausfinden, was eure Zielgruppe braucht, bevor ihr ein Angebot entwickelt oder anpasst. Typische Forschungsfragen: Welche Themen sind relevant? Welche Formate werden bevorzugt? Wo gibt es ungedeckte Bedarfe?

Wirkungsmessung

Ihr wollt verstehen, ob und wie euer Angebot etwas verändert hat. Das ist methodisch am anspruchsvollsten, weil ihr im Grunde Ursache und Wirkung nachweisen müsst.

Eine einmalige Befragung kann Wirkungen nicht kausal belegen, aber sie kann Hinweise liefern, z.B. durch subjektive Einschätzungen der Teilnehmenden („Durch den Kurs fühle ich mich sicherer im Umgang mit …”) oder durch Vorher-Nachher-Vergleiche.

Studiendesigns

Querschnittsbefragung

Die Querschnittsbefragung ist der einfachste und häufigste Fall: Ihr befragt eine Gruppe von Personen einmalig zu einem Zeitpunkt. Die meisten Zufriedenheitsbefragungen und Bedarfserhebungen sind Querschnittsbefragungen.

Vorteil: Einfach durchzuführen, geringe Kosten und Aufwand.

Einschränkung: Ihr könnt Zusammenhänge beschreiben (Personen, die häufiger teilnehmen, sind zufriedener), aber keine Kausalität belegen (Häufige Teilnahme führt zu mehr Zufriedenheit, oder kommen zufriedene Personen einfach häufiger?).

Längsschnittbefragung

Bei einer Längsschnittbefragung befragt ihr dieselben Personen zu mehreren Zeitpunkten, z.B. vor und nach einer Maßnahme. Das erlaubt Vorher-Nachher-Vergleiche und gibt Hinweise auf Veränderungen.

Vorteil: Veränderungen werden sichtbar, Aussagen über Entwicklung sind möglich.

Einschränkung: Höherer Aufwand, Teilnehmende fallen zwischen den Befragungen weg (Panel-Mortalität), und ihr braucht eine Möglichkeit, die Antworten derselben Person zu verknüpfen, was datenschutzrechtlich sorgfältig gelöst werden muss (→ Datenschutz).

Wiederholte Querschnittsbefragung

Eine Mischform: Ihr führt dieselbe Befragung regelmäßig durch (z.B. jährlich), befragt aber nicht zwingend dieselben Personen. Das erlaubt Vergleiche über die Zeit auf Gruppenebene, aber keine individuellen Verläufe.

Typischer Einsatz: Jährliche Mitgliederbefragungen, regelmäßige Feedbackrunden nach Veranstaltungsreihen.

Studiendesign und Forschungsfragen zusammenbringen

Euer Studiendesign sollte sich direkt aus euren Forschungsfragen ableiten:

Forschungsfrage zielt auf …	Geeignetes Design
Aktuelle Meinungen, Bedarfe, Bewertungen	Querschnittsbefragung
Veränderungen durch eine Maßnahme	Längsschnittbefragung (Vorher-Nachher)
Trends über die Zeit	Wiederholte Querschnittsbefragung
Kausale Wirkungen	Experimentelles Design (für NPOs selten praktikabel)

Seid realistisch: Wählt ein Design, das ihr mit euren Ressourcen auch umsetzen könnt. Eine sorgfältig durchgeführte Querschnittsbefragung ist besser als eine ambitionierte Längsschnittstudie, die an der Umsetzung scheitert.

Zum Abschluss: Studiendesign ist eine Dimension der Belastbarkeit eurer Erkenntnisse. Je nach Design könnt ihr unterschiedliche Arten von Aussagen treffen (vgl. auch World Health Organization (2021⤴)):

Design	Mögliche Aussage
Querschnittsbefragung	„X Prozent der Befragten gaben an, dass …”
Längsschnittbefragung	„Im Vergleich zu vorher hat sich … verändert”
Experimentelles Design	„Das Programm hat bewirkt, dass …”

Eine Querschnittsbefragung kann keine Kausalität belegen, aber sie kann valide beschreiben, was eure Zielgruppe denkt, braucht oder bewertet. Problematisch wird es, wenn Ergebnisse mit mehr Gewissheit kommuniziert werden, als das Design erlaubt: „Unser Programm hat die Zufriedenheit erhöht” lässt sich aus einer einmaligen Befragung nicht ableiten; „Die Teilnehmenden schätzen ihre Zufriedenheit nach dem Programm als hoch ein” schon.

Forschungsfragen formulieren

Jede Umfrage beginnt mit einer Frage, aber nicht mit einer Fragebogenfrage, sondern mit einer Forschungsfrage. Die Forschungsfrage beschreibt, was ihr mit eurer Umfrage herausfinden wollt. Sie ist der rote Faden, an dem sich alles Weitere orientiert: das Studiendesign, die Operationalisierung, die Frageformulierung und am Ende auch die Auswertung.

Warum Forschungsfragen so wichtig sind

Ohne klare Forschungsfragen passiert in der Praxis häufig Folgendes: Man sammelt Fragen, die „irgendwie interessant” klingen, baut daraus einen Fragebogen, und stellt bei der Auswertung fest, dass die Ergebnisse sich nicht zu einem klaren Bild zusammenfügen. Der Grund: Es fehlt die Klammer, die die einzelnen Fragen zusammenhält.

Forschungsfragen helfen euch:

Fokus zu setzen: Nicht alles abfragen, was man fragen könnte, sondern das, was man wissen muss
Relevanz zu prüfen: Für jede Fragebogenfrage könnt ihr prüfen, ob sie zur Beantwortung einer Forschungsfrage beiträgt
Auswertung vorzubereiten: Gute Forschungsfragen legen schon fest, welche Art von Analyse ihr braucht

Vom Informationsbedarf zur Forschungsfrage

Der Ausgangspunkt ist meist kein wissenschaftliches Interesse, sondern ein ganz praktischer Informationsbedarf: Eure Organisation möchte etwas wissen, um eine Entscheidung zu treffen oder ein Angebot zu verbessern. Dieser Informationsbedarf muss in eine oder mehrere konkrete, beantwortbare Fragen übersetzt werden.

Schritt 1: Informationsbedarf klären

Fragt euch: Welche Entscheidung soll auf Basis der Umfrageergebnisse getroffen werden? Oder: Welches Problem wollen wir besser verstehen?

Schritt 2: Forschungsfragen formulieren

Eine gute Forschungsfrage ist:

Konkret: Sie benennt klar, was untersucht werden soll
Beantwortbar: Man kann sich vorstellen, welche Daten man bräuchte, um sie zu beantworten
Abgegrenzt: Sie ist nicht so breit, dass man einen ganzen Forschungsbericht bräuchte
Relevant: Die Antwort hat praktische Konsequenzen für eure Organisation

Schritt 3: Forschungsfragen priorisieren

In der Regel habt ihr mehr Fragen als Platz im Fragebogen. Priorisiert nach:

Entscheidungsrelevanz: Welche Fragen haben direkte Konsequenzen für eure nächsten Schritte?
Machbarkeit: Lässt sich die Frage mit einer Umfrage überhaupt beantworten?
Bestehendes Wissen: Wissen wir die Antwort vielleicht schon aus anderen Quellen?

Typische Fehler

Zu breit formuliert

„Wie zufrieden sind die Teilnehmenden?” Zufriedenheit womit? Mit dem Inhalt, der Organisation, der Atmosphäre, den Öffnungszeiten? Eine zu breite Frage führt entweder zu einem überladenen Fragebogen oder zu einer einzelnen Frage, deren Antwort nicht interpretierbar ist.

Besser: „Wie bewerten die Teilnehmenden die inhaltliche Qualität der Workshops?” oder „Welche organisatorischen Aspekte des Angebots werden als verbesserungswürdig wahrgenommen?”

Suggestiv oder wertend

„Sind die Teilnehmenden mit unserem hervorragenden Angebot zufrieden?” Die Forschungsfrage selbst sollte neutral sein. Wertungen gehören weder in die Forschungsfrage noch in die Fragebogenfrage.

Nicht mit einer Umfrage beantwortbar

„Wirkt unser Programm langfristig auf die Berufschancen der Teilnehmenden?” Kausale Langzeitwirkungen lassen sich mit einer einmaligen Querschnittsbefragung nicht belegen. Die Frage ist spannend, aber das Instrument passt nicht. Hier müsste man entweder die Frage anpassen (z.B. auf die subjektive Einschätzung der Teilnehmenden eingrenzen) oder ein anderes Studiendesign wählen.

Zu viele Forschungsfragen

Jede Forschungsfrage erzeugt mehrere Fragebogenfragen. Wenn ihr mit zehn Forschungsfragen startet, wird euer Fragebogen schnell so lang, dass die Abbruchquote steigt und die Datenqualität sinkt. Konzentriert euch auf drei bis fünf zentrale Forschungsfragen.

Von der Forschungsfrage zum Fragebogen

Die Forschungsfragen bilden die Brücke zwischen eurem Informationsbedarf und dem Fragebogen. Für jede Forschungsfrage müsst ihr im nächsten Schritt klären:

Welche Konzepte und Konstrukte stecken dahinter? → Messtheorie & Konstrukte
Wie lassen sich diese Konstrukte in messbare Items übersetzen? → Operationalisierung
Welche Antwortformate eignen sich? → Antworttypen

Wenn ihr bei der Operationalisierung merkt, dass eine Forschungsfrage nicht sinnvoll in Fragebogenfragen übersetzbar ist, geht zurück und überarbeitet die Forschungsfrage. Das ist kein Scheitern, sondern Teil des Prozesses.

Messtheorie & Konstrukte

Viele Dinge, die euch in einer Umfrage interessieren, lassen sich nicht direkt beobachten: Zufriedenheit, Motivation, Kompetenz, Zugehörigkeitsgefühl. In der Sozialforschung spricht man hier auch von latenten Variablen, also Größen, die nicht direkt messbar sind, sondern nur indirekt über beobachtbare Hinweise (Indikatoren) erschlossen werden können. Im Gegensatz dazu stehen manifeste Variablen wie Alter, Postleitzahl oder Anzahl der Besuche, die direkt abgefragt werden können.

Um latente Variablen per Fragebogen zu erfassen, braucht ihr ein Grundverständnis davon, wie Messung in Umfragen funktioniert.

Konstrukte, Dimensionen und Indikatoren

Konstrukt

Ein Konstrukt ist ein theoretisch definiertes, nicht direkt beobachtbares Phänomen, das ihr messen wollt. Es geht über eine vage Alltagsidee hinaus: Wenn ihr „Zufriedenheit” genauer definiert, z.B. als die subjektive Bewertung der Passung zwischen Erwartungen und Erfahrungen, habt ihr ein Konstrukt. Es beschreibt präzise, was ihr messen wollt und grenzt es von verwandten Phänomenen ab.

Dimension

Die meisten Konstrukte sind mehrdimensional, sie bestehen aus mehreren Teilaspekten. Diese Dimensionen zu identifizieren ist ein wichtiger Zwischenschritt, weil er bestimmt, welche Bereiche euer Fragebogen abdecken muss. Das Konstrukt „Zufriedenheit mit einem Workshop” könnte z.B. die Dimensionen inhaltliche Qualität, Organisation/Ablauf, Atmosphäre und Praxisrelevanz umfassen.

Indikator

Ein Indikator ist ein beobachtbarer Hinweis auf eine Dimension eines Konstrukts, also etwas, das ihr tatsächlich abfragen könnt. Für die Dimension „inhaltliche Qualität” könnte ein Indikator sein: Zustimmung zur Aussage „Die behandelten Themen waren für meine Arbeit relevant.”

Die Kette sieht also so aus:

Konstrukt (präzise Definition) → Dimensionen (Teilaspekte) → Indikatoren (messbare Fragen)

Praxisbeispiel

Eine Umweltschutzorganisation möchte das „Engagement” ihrer Freiwilligen messen. Aber was ist Engagement? Ist es die Häufigkeit der Teilnahme? Die emotionale Verbundenheit? Die Bereitschaft, neue Aufgaben zu übernehmen?

Wenn das nicht vorab geklärt wird, entsteht ein Fragebogen mit Fragen, die verschiedene Aspekte von „Engagement” vermischen, und am Ende weiß man nicht, was die Ergebnisse aussagen.

Eine saubere Vorgehensweise: Das Konstrukt „Engagement” wird in zwei Dimensionen aufgeteilt: Verhaltensengagement (beobachtbare Aktivitäten wie Häufigkeit der Teilnahme, übernommene Aufgaben) und affektives Engagement (emotionale Bindung, Identifikation mit der Organisation). Für jede Dimension werden dann eigene Indikatoren entwickelt. So können die Ergebnisse getrennt ausgewertet werden. Vielleicht sind die Freiwilligen emotional stark verbunden, aber können zeitlich weniger einbringen.

Warum das wichtig ist

Klarheit bei der Auswertung

Wenn ihr wisst, welches Konstrukt eine Frage misst, könnt ihr die Ergebnisse sinnvoll interpretieren. Ohne diese Zuordnung bleibt unklar, was eine Zahl eigentlich bedeutet.

Vermeidung von Fehlinterpretation

Wenn eine einzelne Frage ein vielschichtiges Konstrukt abbilden soll, sind die Ergebnisse mehrdeutig. Eine hohe Zustimmung zur Aussage „Ich bin zufrieden” kann vieles bedeuten, und ohne Konstruktdefinition wisst ihr nicht, was genau.

Grundlage für die Operationalisierung

Die Konstruktdefinition ist die direkte Vorstufe zur Operationalisierung: Erst wenn ihr wisst, was ihr messen wollt (Konstrukt), könnt ihr entscheiden, wie ihr es messen wollt (Items).

Gütekriterien: Validität und Reliabilität

Validität und Reliabilität sind eine Dimension der Belastbarkeit eurer Erkenntnisse. Zwei zentrale Fragen solltet ihr im Hinterkopf behalten:

Validität: Messen wir das Richtige?

Eine Messung ist valide, wenn sie tatsächlich das misst, was sie messen soll. Wenn ihr „Zufriedenheit mit dem Angebot” messen wollt, aber eure Fragen eigentlich die allgemeine Stimmung am Tag der Befragung erfassen, dann ist die Messung nicht valide.

Für die Praxis heißt das: Überlegt bei jeder Frage, ob die Antworten wirklich Rückschlüsse auf euer Konstrukt zulassen, oder ob sie auch durch andere Faktoren erklärt werden können.

Reliabilität: Messen wir zuverlässig?

Eine Messung ist reliabel, wenn sie bei Wiederholung unter gleichen Bedingungen ähnliche Ergebnisse liefert. Unreliabel wäre z.B. eine Frage, die so unklar formuliert ist, dass dieselbe Person sie je nach Tagesform unterschiedlich versteht.

In der NPO-Praxis verbessert ihr die Reliabilität vor allem durch klare, eindeutige Formulierungen und durch Pretesting des Fragebogens.

Von der Theorie zur Praxis

Die Messtheorie klingt vielleicht abstrakt, aber die praktische Konsequenz ist einfach: Definiert vor dem Fragebogendesign, was genau ihr messen wollt. Schreibt für jedes Konstrukt eine kurze Definition auf. Ein bis zwei Sätze reichen. Das hilft euch:

Bei der Operationalisierung die richtigen Indikatoren zu finden
Bei der Auswertung zu wissen, was die Zahlen bedeuten
Bei der Kommunikation der Ergebnisse präzise zu sein

Dieser Schritt wird oft übersprungen, weil er „theoretisch” wirkt, aber er spart euch erheblich Arbeit in den späteren Phasen.

Stichprobenauswahl

Bevor man eine Umfrage startet, lohnt es sich kurz zu reflektieren: “Wen erreichen wir eigentlich mit unserer Umfrage und insbesondere wen erreichen wir nicht?” Die Antwort auf diese Frage beeinflusst, welche Schlüsse man am Ende ziehen kann.

Stellt euch vor, eine offene Jugend-Werkstatt möchte wissen, wie ihr Angebot bei den Teilnehmenden ankommt. Sie erstellt einen Fragebogen mit Fragen zur Zufriedenheit, zu gelernten Fähigkeiten und zur beruflichen Orientierung. Aber wer füllt den Fragebogen tatsächlich aus? Und was bedeutet das für die Ergebnisse? Genau darum geht es in diesem Text.

Zwei zentrale Begriffe dafür:

Grundgesamtheit: alle Personen, über die ihr am Ende Aussagen treffen wollt. In der NPO-Praxis ist das meist eure Zielgruppe.
Repräsentativität: Eine Stichprobe ist repräsentativ, wenn sie die Grundgesamtheit in den relevanten Merkmalen (z.B. Alter, Geschlecht, Mitgliedsdauer) widerspiegelt. Nur dann lassen sich Aussagen aus der Stichprobe auf die Grundgesamtheit übertragen. In der Praxis ist vollständige Repräsentativität selten erreichbar, aber je näher ihr ihr kommt, desto belastbarer sind eure Ergebnisse.

Zufallsstichprobe vs. Gelegenheitsstichprobe

In der Theorie wäre das Ideal eine Zufallsstichprobe: Jede Person aus der Zielgruppe hat die gleiche Chance, befragt zu werden. Das ist der Goldstandard, weil die Ergebnisse dann exemplarisch die gesamte Zielgruppe repräsentieren. In der Praxis ist das für NPOs aber selten machbar — es gibt oft keine vollständige Liste aller Personen in der Zielgruppe, und selbst wenn, lassen sich nicht alle erreichen.

Was stattdessen meistens passiert, ist eine Gelegenheitsstichprobe (englisch: Convenience Sample): Befragt werden die Personen, die gut erreichbar sind und mitmachen wollen. Bei unserer Jugend-Werkstatt wären das vermutlich Teilnehmende, die aktuell regelmäßig in die Werkstatt kommen und daher leicht zu erreichen sind. Das ist völlig normal und oft der einzig gangbare Weg — aber es ist wichtig, sich der Konsequenzen bewusst zu sein.

Typische Verzerrungen

Wenn unsere Stichprobe nicht zufällig ist, können verschiedene Verzerrungen (englisch: Biases) auftreten. Hier die wichtigsten:

Abdeckungsproblem (Coverage Bias)

Nicht alle Personen der Zielgruppe haben überhaupt die Möglichkeit, an der Umfrage teilzunehmen. In unserem Beispiel: Wer die Werkstatt nach kurzer Zeit wieder verlassen hat, bekommt die Umfrage wahrscheinlich gar nicht zu sehen — dabei wäre gerade deren Feedback besonders wertvoll. In Fall einer anderen NPO könnte eine reine Online-Umfrage die Teile der Zielgruppe ausschließen, die keinen Internet Zugang haben oder weniger fit mit Computern sind.

Antwortverzerrung (Response Bias)

Selbst unter den Personen, die die Umfrage erhalten, antworten nicht alle — und die, die antworten, sind oft nicht repräsentativ für die Gesamtgruppe. Wer sich in der Werkstatt wohlfühlt, kommt vermutlich häufiger und nimmt sich evtl. eher die Zeit für den Fragebogen. Jugendliche, die unzufrieden sind oder nur selten vorbeischauen, haben vielleicht weniger Motivation den Fragebogen auszufüllen. Es könnte also sein, dass die Zufriedenheit durch diese Art der Antwortverzerrung überschätzt wird.

Ein weiterer Effekt, der die Frage nach der Zufriedenheit beeinflussen kann, ist die Tendenz sozial erwünschte Antwortoptionen zu präferieren. Menschen neigen dazu, so zu antworten, wie sie glauben, dass es erwartet wird. Insbesondere wenn die Teilnehmenden wissen, dass die Werkstatt selbst die Umfrage durchführt, fällt es schwerer, bei einer Frage wie “Ich fühle mich wohl und akzeptiert” ehrlich “Stimme nicht zu” anzukreuzen. Auch bei sensiblen Themen wie der beruflichen Situation kann dieser Effekt auftreten.

Stichprobengröße

Je kleiner die Stichprobe, desto größer die Unsicherheit. Mit 30 Antworten lassen sich keine feinen Unterschiede zwischen Untergruppen belegen, auch wenn die Prozentzahlen verlockend aussehen.

Prozentzahlen vs. absolute Zahlen: Bei kleinen Stichproben sind Prozentangaben irreführend. „100% der Befragten waren sehr zufrieden” klingt beeindruckend, bedeutet aber wenig, wenn nur drei Personen geantwortet haben. Faustregel: Bei n < 30 (oder bei Untergruppen mit n < 30) immer auch absolute Zahlen nennen, z.B. „3 von 3 Befragten waren sehr zufrieden”. Das ist ehrlicher und lässt Lesende selbst einschätzen, wie viel Gewicht die Aussage hat.

Auch bei größeren Stichproben gilt: Untergruppenvergleiche („Frauen sind zufriedener als Männer”) brauchen pro Gruppe ausreichend Antworten. Wenn nur 5 Männer geantwortet haben, sagt der Unterschied wenig aus, egal wie groß die Gesamtstichprobe ist.

Was bedeutet das für die Aussagekraft der Umfrage?

Repräsentativität und Stichprobengröße sind eine Dimension der Belastbarkeit eurer Erkenntnisse: Sie bestimmen, für wen die Ergebnisse gelten und wie sicher Aussagen sein können.

Durch diese Verzerrungen gelten die Ergebnisse der Umfrage streng genommen nur für die Personen, die tatsächlich geantwortet haben. Trotzdem kann man versuchen Schlüsse auf die gesamte Zielgruppe zu schließen. Es ist dabei allerdings wichtig, die Einschränkungen bei der Stichprobenzusammensetzung ehrlich zu kommunizieren. Auch statistische Auswertungen, wie sie im Abschnitt zur schließenden Statistik beschrieben werden, gehen von einer Zufallsstichprobe aus. Wenn diese nicht gegeben ist, solltet ihr statistische Schlüsse mit besonderer Vorsicht interpretieren.

Diese Einschränkungen treten in der Umfragearbeit bei NPOs sehr häufig auf. Es ist wichtig sich derer bewusst zu sein und zu verstehen wie sie die Ergebnisse beeinflussen können. Trotzdem ist es sehr viel besser eine Umfrage mit Einschränkungen durchzuführen als gar keine und es gibt auch Schritte mit denen ihr die Aussagekraft eurer Umfrage erhöhen könnt.

Was könnt ihr tun?

Transparent berichten

Das Wichtigste: Seid ehrlich darüber, wie eure Stichprobe zustande kam. Ein Satz wie “Von ca. 80 aktiven Teilnehmenden haben 30 die Umfrage ausgefüllt. Ehemalige Teilnehmende wurden nicht erreicht.” stärkt eure Glaubwürdigkeit und zeigt, dass ihr euch mit den Konsequenzen einer Gelegenheitsstichprobe auseinandergesetzt habt. Wenn ihr noch sagen könnt welche Maßnahmen ihr zusätzlich ergriffen habt um die Repräsentativität eurer Stichprobe zu erhöhen, zeichnet euch das noch zusätzlich aus.

Rücklaufquote erhöhen

Je mehr Personen aus eurer Zielgruppe antworten, desto aussagekräftiger werden die Ergebnisse. Erinnerungen versenden, den Fragebogen kurz halten und einen einfachen Zugang (z.B. QR-Code vor Ort) bieten — das alles hilft.

Demografische Merkmale erfassen

Wenn ihr grundlegende Merkmale wie Alter, Geschlecht oder Länge der Mitgliedschaft abfragt (aber siehe Datenschutz), könnt ihr im Nachhinein einschätzen, ob bestimmte Gruppen in euren Antworten über- oder unterrepräsentiert sind. Wenn ihr z.B. wisst, dass eure Teilnehmenden zu 60% weiblich sind, aber 80% der Umfrageantworten von weiblichen Teilnehmenden kommen, ist das ein Hinweis auf eine Verzerrung. Es gibt sogar statistische Verfahren, die solche Unterschiede nachträglich korrigieren können.

Datenschutz

Bei Online-Umfragen im zivilgesellschaftlichen Bereich, z.B. in der Wirkungsmessung, werden meist personenbezogene Daten mit erhoben. Sobald ein Interesse an demografischen Daten besteht oder offene Texteingabe dabei ist, muss damit gerechnet werden, dass bei Kombination von verschiedenen Antworten oder durch eingegebene persönliche Details auf die Identität von Einzelpersonen geschlossen werden kann, auch wenn Teilnehmende keine Namen oder Kontaktdaten angeben. In diesen Fällen greift die Datenschutzgrundverordnung (DSGVO; bzw. entsprechende Regelungen im kirchlichen Bereich wie das KDG und das DSG-EKD) und die Verarbeitung der Daten im Rahmen der Umfrage braucht eine Rechtsgrundlage. Das ist meist eine Einwilligung der Teilnehmenden.

Wir können an dieser Stelle natürlich keine umfassende Rechtsberatung geben, sondern stellen Erfahrungswerte und Best-Practices zusammen. Sprecht potenzielle Verarbeitung personenbezogener Daten im Rahmen von Online-Umfragen bitte immer mit den Datenschutzbeauftragten Eurer Organisation ab und plant dafür Zeit ein.

Dennoch stellen wir Euch hier verbreitete Arten von Vorkommen personenbezogener Fragen bei Online-Umfragen zusammen, führen die wichtigsten Maßnahmen, die ihr ergreifen könnt und weisen euch auf häufige Fehler bei der Konzeption hin.

Wenn ihr euch umfassender mit dem Thema befassen wollt, empfehlen wir auch die Bildungsmaterialien aus dem passenden Bereich in der CDL Academy.

Typen von Online-Umfragen in Bezug auf ihren Umgang mit Personenbezug

Diese Typen helfen, den Personenbezug in Sinne der DSGVO etwas besser zu verstehen. Sie sind jedoch nicht trennscharf, d.h. in der Realität können Umfragen Eigenschaften aus mehreren Typbeschreibungen haben. Wichtig ist, dass die DSGVO immer dann greift, wenn Daten nicht vollständig anonym sind.

Offen personenbezogene Umfrage (Klardatenverarbeitung)

Die Umfrage wird bewusst mit Namen, E-Mail-Adresse, Personalnummer oder anderen direkt identifizierenden Angaben durchgeführt. Das kann passend sein, wenn innerhalb einer Organisation Teilnahmepflicht besteht, Rückfragen gestellt, individuelle Auswertungen über längere Zeiträume angefertigt oder Teilnahmebescheinigungen ausgegeben werden sollen. Dann braucht es aber eine klare Rechtsgrundlage, transparente Information, Zweckbindung, Datensparsamkeit und angemessene Schutzmaßnahmen.

Indirekt identifizierbare Umfrage

Zwar werden keine direkten Identifikationsmerkmale wie Name oder E-Mail-Adresse erhoben. Trotzdem kann unter Umständen ein Rückschluss auf einzelne Personen möglich sein, zum Beispiel durch die Kombination mehrerer Angaben wie Alter, Geschlecht und Wohnort oder durch Inhalte in offenen Textfeldern. Besonders bei Umfragen zur Evaluation unter persönlich bekannten Teilnehmenden mit eher kleineren Teilnehmendengruppen kommt dies vor. Die Umfrage ist deshalb nicht als anonym anzusehen und die erhobenen Daten sind weiterhin als personenbezogene Daten zu behandeln, weil eine Person direkt oder indirekt identifizierbar sein kann. Für die Verarbeitung gelten daher die Anforderungen der DSGVO.

Nur aggregierte Veröffentlichung bei personenbezogener Rohdatenverarbeitung

Die Rohdaten können intern personenbezogen sein, nach außen werden aber nur zusammengefasste Ergebnisse veröffentlicht. Das ersetzt keine datenschutzkonforme Verarbeitung der Rohdaten, senkt aber das Risiko für die betroffenen Personen bei der Weitergabe oder Publikation.

Pseudonymisierte Umfrage

Bei einer pseudonymisierten Umfrage werden die Antworten nicht direkt mit Namen oder anderen unmittelbar identifizierenden Angaben gespeichert. Stattdessen wird ein Code oder eine Kennnummer verwendet. Die Angaben können also nicht ohne Weiteres einer bestimmten Person zugeordnet werden. Eine Zuordnung wäre nur mit zusätzlichen Informationen möglich, die getrennt aufbewahrt und besonders geschützt werden müssen. Auch pseudonymisierte Daten gelten weiterhin als personenbezogene Daten. Deshalb bleibt die DSGVO anwendbar. Genau wie die aggregierte Veröffentlichung ist die pseudonymisierte Speicherung eine Schutzmaßnahme, weil sie das Risiko für die betroffenen Personen verringert.

Getrennte Erhebung ohne Verknüpfung

Es gibt Fälle, in denen personenbezogene Daten entstehen, aber nicht mit den Antworten verknüpft sein müssen und daher getrennt verarbeitet werden können, z.B. wenn eine Verlosung unter den Teilnehmenden stattfindet oder über das Versenden personalisierter Links eine mehrfache Umfrageteilnahme verhindert werden soll. Die eigentlichen Antworten werden in einem Formular erhoben, Kontaktdaten in einem zweiten, getrennten Formular. Wenn es keine Verknüpfung zwischen beiden Datensätzen gibt, können die Antworten faktisch anonym sein, obwohl daneben noch personenbezogene Kontaktdaten verarbeitet werden. Datenschutzrechtlich sind dann die Kontaktliste und die Antworten getrennt zu bewerten und für die personenbezogenen Anteile sind Rechtsgrundlage und Information erforderlich.

Zunächst personenbezogen, später anonymisiert

Die Umfrage startet mit Personenbezug. Nach Abschluss werden Identifikatoren gelöscht und nur noch anonymisierte oder rein aggregierte Ergebnisse weiterverwendet. Das ist oft ein praktikabler Mittelweg, wenn echte Anonymität während der Erhebung noch nicht möglich ist. Häufige Methoden sind die Entfernung der Identifikatoren und Re-Identifikatoren, Randomisierung und Generalisierung. Auch die o.g. Aggregation kann ein Weg sein. In der praktischen Umsetzung führt dies insbesondere bei Freitextfeldern dennoch oft zu viel Arbeitsaufwand. In zivilgesellschaftlichen Arbeitsfeldern, in denen nur ab und zu eine Umfrage durchgeführt ist besteht oft kein Zugang zu DSGVO-konformen Tools, die dies übernehmen können. Eine Rechtsgrundlage und transparente Information für die Erhebung und die Verarbeitungsschritte bis zur Anonymisierung ist natürlich dennoch erforderlich.

Vollständig anonyme Umfrage

Es werden von Anfang an keine Angaben erhoben, mit denen einzelne Personen identifiziert werden können. Das ist die datenschutzärmste Variante, aber nur dann tragfähig, wenn eine Re-Identifizierung nicht möglich ist. Bei Online-Umfragen ist wichtig zu beachten, dass auch IP-Adressen, Cookie-IDs und ähnliches als personenbezogene Daten gelten. Einige Tools ermöglichen serverseitige Nicht-Speicherung oder sofortige Kürzung von IP-Adressen. Hierbei ist es wichtig, die Einstellungen der geplanten Tools genau unter die Lupe zu nehmen.

Die Grundsätze des Datenschutzes gelten für anonyme Daten nicht, d.h. anonyme Daten dürfen jederzeit beispielsweise für statistische oder für Forschungszwecke auch als Rohdaten weitergegeben werden. Auch eine Veröffentlichung als Open Data wäre ohne weitere Einverständniserklärungen von Teilnehmenden möglich. Beispiele für anonyme Umfragen sind einfache offene Online-Umfragen auf großen Veranstaltungen, bei denen ohne Speichern von IP-Adressen oder anderem nur wenig gefragt wird, z.B. „Wie zufrieden bist du heute mit der Veranstaltung“ als Ranking auf einer Skala. Ähnlich funktionieren auch Terminals mit Smiley-Buttons am Ausgang von Gebäuden oder in öffentlichen Toiletten.

Maßnahmen

Es wird deutlich, dass in den meisten Fällen zumindest für einen Teil der Erhebung Personenbezug schwer auszuschließen ist. Dann finden die Regelungen der DSGVO Anwendung. Das bedeutet, dass zum einen passende Schutzmaßnahmen für die Daten zu ergreifen sind, damit sie nur gemäß dem vorab kommunizierten Zweck verarbeitet werden. Zum anderen ist eine Rechtsgrundlage für die Verarbeitung erforderlich, verbunden mit transparenten Informationen für die Teilnehmenden. Bei Online-Umfragen wird das meistens eine Einwilligungserklärung der Teilnehmenden sein, ggf. auch durch ihre Teilnahme an der Umfrage.

Datenschutzinformation

Alle Teilnehmenden an der Umfrage sollten nach Art.13 DSGVO vorab über ihre Rechte sowie über den Umfang und Zweck der Umfrage aufgeklärt werden – dafür gibt es eine Datenschutzerklärung oder auch Datenschutzinformation mit klar definierten Inhalten. Wir haben für die verschiedenen Typen Vorlagen im .docx-Format mit markierten Platzhaltern erstellt, die alle Informationen beinhalten, die in den meisten Fällen benötigt werden. Diese könnt ihr frei weiternutzen und mit den Informationen für Eure Organisation und jeweilige Umfrage befüllen.

Die Download-Links findet ihr in der Toolbox unter „Datenschutzvorlagen”.

Rechtsgrundlage

Für jede Verarbeitung personenbezogener Daten benötigt Ihr eine Rechtsgrundlage. Die Vorlagen für die Datenschutzinformation gehen davon aus, dass ihr eine Einwilligung nach Art. 6 Abs. 1 lit. a DSGVO einholt. Als Einwilligung kann bei Online-Umfragen auch gelten, dass Teilnehmende nach Wahrnehmung der Datenschutzinformation willentlich entscheiden, teilzunehmen – es braucht nicht immer ein Feld zum Anhaken. Dann braucht Ihr aber gut sichtbare Formulierungen wie z.B. „Durch Klicken auf Start willigst Du ein…“, denn eine Einwilligung muss „unmissverständlich durch eine bestätigende Handlung“ erfolgen. Ihr müsst jedoch auch mit einbeziehen, dass Teilnehmende ihre Einwilligung jederzeit widerrufen können und Ihr die mit ihrer Person verbundenen Daten wieder löschen müsst – egal an welchem Zeitpunkt der Auswertung ihr Euch befindet.

Eine belastbare Einwilligung für die Verarbeitung für einen oder mehrere vorab festgelegte Zwecke braucht Ihr aber auf jeden Fall, wenn besonders schützenswerte Daten verarbeitet werden. Das könnt ihr in Art. 9 DSGVO nachlesen. Darunter fallen Daten, aus denen die rassische und ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen oder die Gewerkschaftszugehörigkeit hervorgehen. Es betrifft auch die Verarbeitung von genetischen Daten, biometrischen Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung.

Wichtig ist auch, das Verhältnis der Antwortenden zu den Fragenden zu bewerten – so kann bei Mitarbeitenden im Arbeitskontext oft nicht von einer freiwilligen Einwilligung gesprochen werden. Besser wäre es hier, eine Rechtsgrundlage aus dem Arbeitsrecht oder aus Kollektivvereinbarungen zu finden.

In manchen Fällen könnte auch argumentiert werden, dass es um berechtigte Interessen nach Art. 6 Abs. 1 lit. f DSGVO geht. Zum Beispiel könnte eine Mitgliederzufriedenheitsumfrage eines Vereins oder Verbands in Betracht kommen, da sie innerhalb der bestehenden Beziehung erwartbar sind – aber nur, wenn die Fragen nicht unnötig tief in die Privatsphäre eingreifen und Widerspruchsmöglichkeiten bestehen.

Auch für die Wahl der Rechtsgrundlage ist es sinnvoll, sich mit dem Datenschutzbeauftragten Eurer Organisation abzustimmen. Im Zweifelsfall entscheiden sich viele für die Einwilligung.

Aufnahme ins Verzeichnis von Verarbeitungstätigkeiten

Nach Art. 30 DSGVO müssen alle Organisationen ein Verzeichnis von Verarbeitungstätigkeiten führen – hier solltet Ihr auch Eure Umfrage aufnehmen.

Schutzmaßnahmen

Außerdem solltet Ihr technische und organisatorische Maßnahmen („TOM“) ergreifen, um die Verarbeitung der Daten so zu schützen, dass sie tatsächlich nur in dem Rahmen stattfinden, der von den Teilnehmenden erlaubt worden ist. Hier einige beispielhafte Maßnahmen:

Datensparsamkeit oder Datenminimierung – Stellt nur Fragen, die für den Zweck der Umfrage wirklich erforderlich sind. Geht besonders kritisch mit Freitextfeldern um.

Wahl und Konfiguration der Umfragetools – Aus der DSGVO ergeben sich Vorgaben bzgl. der Auswahl der verwendeten Tools. Besonders wichtig sind dabei der Verzicht auf Weiterverarbeitung von Daten, z.B. beim Tracking, sowie ein Serverstandort innerhalb der EU. Außerdem braucht Ihr einen passenden Auftragsverarbeitungsvertrag. Es gibt in der DSGVO definierte Voraussetzungen wie ein Angemessenheitsbeschluss oder andere geeignete Garantien, unter denen auch Anbieter außerhalb der EU genutzt werden können. Hierbei braucht es aber besondere Sorgfalt, da es nicht ausreicht, dass das Unternehmen „auch“ Server in der EU hat. Unsere Bewertungsmatrix zur Auswahl eines passenden Online-Umfragetools zeigt auch Angaben der Vertreiber zur DSGVO Konformität der aufgeführten Tools. Die Übermittlung von Daten in Drittländer muss auch in den Datenschutzinformationen offengelegt werden.

Sichere Speicherung der Daten – Auch die verwendeten Tools zur Ablage der Daten müssen diesen Kriterien entsprechen. Außerdem muss über ein geeignetes Rechte- und Rollenkonzept sichergestellt sein, dass nur berechtigte Personen Zugriff haben. Schließlich braucht Ihr geeignete Löschfristen, die Ihr ebenfalls bereits in den Datenschutzinformationen hinterlegt. Sobald die Daten für den Zweck nicht mehr nötig sind, sind sie zu löschen oder zu anonymisieren, sofern keine Aufbewahrungspflichten entgegenstehen. Zur Sicherheit gehören aber auch eine Transportverschlüsselung (HTTPS/TLS) und starke Passwörter sowie regelmäßige Updates Eurer Systeme. Auch die oben in den Typen schon berücksichtigte Maßnahmen wie getrennte Speicherung von Kontraktdaten und Antworten, Pseudonymisierung und Anonymisierung sind Maßnahmen zum Schutz personenbezogener Daten.

Interne Prozesse - Um im Falle von Nachfragen und Löschanforderungen handeln zu können, braucht Ihr intern einen praktikablen Prozess, um Auskunft, Berichtigung, Löschung, Einschränkung, Datenübertragbarkeit, Widerspruch und Widerruf einer Einwilligung bearbeiten zu können. Bei Online-Umfragen ist das nur realistisch, wenn Ihr schon vorab wisst, ob und wie einzelne Datensätze einer Person zugeordnet werden können. Interne Prozesse müssen auch vorab für den Fall einer Datenpanne verabredet sein. Diese tritt ein, wenn Antworten versehentlich offengelegt, falsch versendet oder unbefugt abgerufen werden.

Viele dieser Maßnahmen werden in Organisationen zentral durch die Datenschutzbeauftragten, die IT Administration und andere Akteur*innen eingerichtet und müssen nicht für jede Umfrage neu geklärt werden. Dennoch solltet Ihr sicherstellen, dass Ihr diesbezüglich gut informiert seid, wenn Ihr eine Online-Umfrage startet.

Datenschutzfolgeabschätzung

Wenn die Umfrage voraussichtlich ein hohes Risiko für Rechte und Freiheiten der Betroffenen mit sich bringt, müsst Ihr mithilfe Eures Datenschutzbeauftragten vorab eine Datenschutz-Folgenabschätzung durchführen. Das kann z. B. eher relevant werden bei sensiblen Daten, sehr großen Datensätzen, Profiling, besonders schutzbedürftigen Gruppen oder systematischer Auswertung. Ein Beispiel könnte eine bundesweite Online-Befragung einer Opferhilfe-Organisation zu häuslicher oder sexualisierter Gewalt sein – oder eine Umfrage unter Minderjährigen zu Suizidalität, Selbstverletzung oder Missbrauchserfahrungen. Viele zivilgesellschaftliche Themen fallen unter die besonders schutzwürdigen Daten.

Häufige Fehler

Bei Umfrageprojekten, die wir im Civic Data Lab als Datenvorhaben oder in der Datensprechstunde kennengelernt haben, kam es oft zu ähnlichen Stolpersteinen. Dies sind keine „großen“ Rechtsverstöße, sondern liegen in mangelndem Verständnis bei der Konzeption. Wir haben daher ein paar zusammengestellt, damit Ihr in Euren Projekten darauf achten könnt.

###Über Datenschutz erst nach der Erhebung nachdenken Es kommt immer wieder vor, dass Online-Umfragen in der Zivilgesellschaft durchgeführt werden und versehentlich als anonym eingestuft sind, obwohl beispielsweise eine Re-Identifizierung möglich ist. Im Nachgang ist es dann zu spät, um eine Rechtsgrundlage für die Verarbeitung personenbezogener Daten zu schaffen und die Teilnehmenden zu informieren. Oft wird einfach gestartet, ohne klar festzulegen, ob die Umfrage auf Einwilligung, Vertrag, gesetzlicher Pflicht oder berechtigten Interessen beruht. Gerade bei „berechtigten Interessen“ ist der Fehler häufig, dass keine echte Abwägung gemacht wird und die vernünftigen Erwartungen der Teilnehmenden nicht geprüft werden. Transparenz allein ersetzt diese Abwägung nicht. Das kann dazu führen, dass die Antworten, die die Identifizierung von Einzelpersonen ermöglichen, unausgewertet gelöscht werden müssen. Daher gehört die Thematisierung des Datenschutzes zur Konzeption einer Umfrage.

Fälschlich von „anonym“ sprechen

Viele Online-Umfragen werden als anonym bezeichnet, obwohl das Tool technische Zusatzdaten verarbeitet oder die Antworten über seltene Merkmalskombinationen bzw. Freitexte doch einzelnen Personen zugeordnet werden könnten. Der praktische Fehler ist also weniger das Wort selbst als die fehlende ehrliche Risikoanalyse.

Keine Zeit für Überarbeitung einplanen

Die Absprachen mit den Datenschutzbeauftragten und die notwendigen Überarbeitungen innerhalb des Fragebogens sowie bei den Prozessen und sonstigen Schutzmaßnahmen können unter Umständen den Zeitplan für die Umfragedurchführung durcheinanderbringen und haben schon viele in Stress versetzt. Hier hilft nur, genau Zeit einzuplanen.

Zu viele Fragen und unnötige Daten

Häufig werden mehr Daten erhoben als für den Zweck nötig sind: genaue Geburtsdaten statt Altersgruppen, genaue Orte statt Regionen, Freitextfelder ohne Not, Kontaktdaten „vorsorglich“ oder weil es schon immer so gemacht wurde. Hier besteht aber auch immer eine Abwägung, da zu starke Generalisierung zu schwieriger Vergleichbarkeit mit anderen Datensätzen führt. Gemeinsame Standards können hier Abhilfe schaffen.

Später entstehen weitere Ideen für die Nutzung von Daten, diese sind aber nicht im Zweck der Datenverarbeitung enthalten, über den die Nutzer*innen informiert worden sind.

Daten nicht für jeden Zweck neu zu erheben, ist grundsätzlich sinnvoll – schon allein, um die zeitlichen Ressourcen der Befragten zu schonen. Oft entstehen Ideen für weitere Anwendungen aber erst, wenn die Daten vorliegen. Dann ist eine weitere Verwendung jedoch nicht mehr zulässig. Eine Idee könnte sein, in Pre-Test mithilfe von KI synthetische Daten zu erzeugen, die ebenfalls helfen, Ideen zu entwickeln. Außerdem sollten Auswertungsmethoden vorab schon ins Auge gefasst werden. Auch Maßnahmen zur Anonymisierung können helfen, um Daten dann weiterverwenden zu dürfen.

Datenschutzinformationen zu kompliziert

Häufig basieren die veröffentlichten Datenschutzerklärungen auf Texten von Jursitinnen in komplizierter Sprache, die jede Eventualität absichern. Diese Informationen werden jedoch nur von wenigen Menschen wirklich gelesen und erfasst. Gerade bei Umfragen, mit denen sich zivilgesellschaftliche Organisationen an Klientinnen wenden, ist es ihre Verantwortung die begleitenden Informationen niedrigschwellig zu gestalten.

Zugriff auf Daten durch gemeinsame Toolnutzung ungeklärt

In vielen Organisationen kommt es zu Unsicherheiten, wenn Tools gemeinsam administriert werden oder Zugänge zum Kostensparen geteilt werden. Wichtig ist, über verschiedene Nutzerkonten und eine Administrierung mit klaren Rollenkonzepten sicherzustellen, dass nur diejenigen auf die Daten zugreifen dürfen, die die Berechtigung haben. Für die genauere Definition ist hilfreich zu klären:

Wer ist Verantwortlicher?
Wer ist Auftragsverarbeiter?
Gibt es gemeinsame Verantwortliche (Art. 26 DSGVO)?

Bei organisationsinternen Tools innerhalb der Cloudumgebung wird der Absender mitgespeichert

Wer die Forms-Anwendungen innerhalb der eigenen Organisationsumgebung bei Google oder Microsoft verwendet, sollte sicherstellen, dass keine Daten über eingeloggte Absender*innen der Formulare mitgespeichert werden.

Löschen wird vergessen oder die Frist erst gar nicht festgelegt

Für viele ist das Online-Umfrageprojekt abgeschlossen, wenn die Ergebnisse kommuniziert wurden. Das Löschen der Rohdaten wird in der Praxis daher oft vergessen oder aufgeschoben. Schon bei der Planung kann eine Kalendererinnerung zum Ablauf der Frist helfen.

Kein Abschluss passender Auftragsverarbeitungsverträge

Anbietende von Tools, die Ihr für Online-Umfragen einsetzt, sind Auftragsverarbeiter, mit denen Ihr nach Art. 28 DSGVO einen Vertrag abschließen müsst. Daher seid Ihr dafür verantwortlich, dass sie im Sinne der gesetzlichen Regelegungen agieren und Euer Bemühen darum wird durch einen stimmigen Auftragsverarbeitungsvertrag dokumentiert. Viele Anbieter bieten Verträge zum Download an, die Ihr nur noch prüfen und bei Passung unterzeichnen müsste. Kirchliche Organisationen, deren Datenschutzbestimmungen in KDG oder DSG-EKD benötigen dazu oft noch Ergänzungsvereinbarungen, die sich auf die entsprechenden Paragrafen beziehen.

Disclaimer

Noch einmal der Hinweis: Wir geben hier keine Rechtsberatung, sondern stellen Grundlagenwissen und Best Practices zusammen. Wir möchten euch außerdem darauf hinweisen, dass wir zur Erstellung dieser Seite KI genutzt haben und zwar für diese Aufgaben: Verallgemeinerung einer Vorlage für die Datenschutzinformation bei der Online-Umfrage eines unserer Datenvorhaben sowie Vervielfältigung auf verschiedene Typen sowie Sparring für die Inhalte.

Einführung: Fragebogendesign

Wenn die Konzeption steht, ihr also wisst, was ihr herausfinden wollt und welche Konstrukte ihr messen müsst — geht es ans eigentliche Fragebogendesign. Hier wird aus dem theoretischen Rahmen ein konkretes Erhebungsinstrument.

Das Fragebogendesign umfasst mehrere eng verzahnte Schritte:

Operationalisierung: Abstrakte Konzepte in messbare Fragebogenitems übersetzen
Frageformulierung: Verständliche, neutrale und eindeutige Fragen schreiben
Antwortformate: Die richtigen Antworttypen wählen (Skalen, Mehrfachauswahl, offene Fragen etc.)
Fragebogenaufbau: Eine sinnvolle Reihenfolge und Struktur festlegen
Pretesting: Den Fragebogen vor dem Einsatz testen und verbessern

Ein guter Fragebogen zeichnet sich nicht durch möglichst viele Fragen aus, sondern dadurch, dass jede einzelne Frage einen klaren Bezug zu euren Forschungsfragen hat und verwertbare Daten liefert. Weniger ist hier fast immer mehr.

Operationalisierung

Operationalisierung bedeutet, ein theoretisches Konzept so in konkrete Fragebogenitems zu übersetzen, dass die Antworten das Konzept tatsächlich abbilden. Dabei geht es nicht nur um die Formulierung einzelner Fragen, sondern um eine vorgelagerte Entscheidung: Was genau will ich messen, und welche beobachtbaren Indikatoren eignen sich dafür?

Viele Fragebogenprobleme, die auf den ersten Blick wie Formulierungsfehler aussehen, sind im Kern Operationalisierungsprobleme. Die Frage ist nicht schlecht formuliert, es ist unklar, was sie messen soll.

Vom Konstrukt zum Item

Ein Item ist die konkrete einzelne Interaktion der Teilnehmer:innen mit eurem Fragebogen, also eine einzelne Frage oder Aussage, die beantwortet wird oder zu der Stellung bezogen werden soll. Mehrere Items können eine Frage oder ein Konstrukt erfassen. Der Weg vom Konstrukt zum Item folgt einer klaren Logik:

Konstrukt definieren: Was genau wollt ihr messen? (→ Messtheorie & Konstrukte)
Dimensionen identifizieren: Aus welchen Teilaspekten besteht das Konstrukt? Zufriedenheit kann z.B. die Dimensionen Inhalt, Organisation und Atmosphäre umfassen.
Indikatoren festlegen: Welche beobachtbaren Merkmale zeigen an, ob eine Dimension hoch oder niedrig ausgeprägt ist?
Items und Fragen formulieren: Wie fragt ihr nach den Indikatoren, z.B. als Bewertung, als Häufigkeit, als Zustimmung zu einer Aussage? (→ Fragen formulieren)
Antwortformat wählen: Welche Skala oder welches Format passt? (→ Antworttypen)

Vorhandene Skalen nutzen

Für viele Konstrukte existieren bereits erprobte und validierte Fragebogenskalen aus der Forschung. Bevor ihr eigene Items entwickelt, prüft, ob es passende Instrumente gibt. Vorteile:

Die Items sind bereits auf Verständlichkeit und Messgenauigkeit getestet
Eure Ergebnisse lassen sich mit anderen Studien vergleichen
Ihr spart euch Entwicklungsaufwand

Allerdings: Viele wissenschaftliche Skalen sind für den NPO-Kontext zu lang oder zu abstrakt. Es ist legitim, Skalen zu kürzen oder anzupassen. Dokumentiert aber, was ihr verändert habt, damit die Ergebnisse eingeordnet werden können.

Typische Fehler

Konstrukt nicht definiert

Ohne eine klare Konstruktdefinition formuliert ihr Items ins Blaue. Das Ergebnis: Fragen, die „irgendwie” zum Thema passen, aber nicht systematisch ein Konstrukt abbilden.

Zu wenig Indikatoren

Ein einzelnes Item pro Konstrukt ist riskant: Wenn die Frage missverstanden wird oder unglücklich formuliert ist, habt ihr keine Möglichkeit, das in der Auswertung zu erkennen. Mindestens zwei bis drei Items pro Konstrukt erhöhen die Messgenauigkeit.

Indikatoren und Konstrukt verwechselt

Manchmal wird ein Indikator mit dem Konstrukt gleichgesetzt. „Wie oft besuchen Sie unsere Veranstaltungen?” misst Besuchshäufigkeit. Das ist ein möglicher Indikator für Engagement, aber nicht dasselbe wie Engagement.

Praxisbeispiel

Die Frage „Würden Sie Ihre Erfahrungen oder Ihr Wissen mit anderen Organisationen teilen und sich mit anderen Organisationen austauschen?” lässt auf ein Operationalisierungsproblem schließen: Das eigentliche Konzept (Relevanz bestimmter Austauschformate) ist in der Frage nicht erkennbar. Stattdessen wird pauschal nach Austauschbereitschaft gefragt. Die Frage ist zudem suggestiv: Wissen und Erfahrungen zu teilen ist sozial erwünscht, kaum eine Organisation würde hier offen mit Nein antworten. Auch wenn alle Befragten zustimmen, weiß man nicht, was dieses Ja bedeutet.

Eine saubere Operationalisierung beginnt mit dem Konzept und fragt: Welche beobachtbaren Indikatoren bilden es ab? Wenn das Konzept Relevanz bestimmter Austauschformate ist, benötigt man keine Ja/Nein-Frage zur allgemeinen Bereitschaft, sondern eine Frage, die konkrete Formate zur Auswahl stellt. Deshalb wurde die Multiple-Choice-Frage „Welche dieser Formate des Austauschs mit anderen Organisationen sind für Sie grundsätzlich relevant?” gewählt. So wird statt einer hypothetischen Bereitschaft die konkrete Relevanz einzelner Formate erfragt, und die Antworten sind direkt interpretierbar. Diese Frage findet sich auch in unserer Fragendatenbank.

Fragebogenaufbau

Die Reihenfolge der Fragen und ihre logische Verknüpfung beeinflussen, wie Teilnehmer:innen antworten – und damit die Qualität eurer Daten. Ein guter Fragebogen führt die Befragten klar durch das Thema und vermeidet, dass die Struktur selbst zu Verzerrungen führt.

Grundstruktur

Ein typischer Fragebogen folgt einem klaren Aufbau, manchmal auch “Dramaturgie” (Porst, 2014, p. 42⤴) genannt:

Einleitung/Titelseite: Zweck der Befragung, Datenschutz, geschätzte Dauer. Die Einleitung sollte “Werbewirksamkeit” (Porst, 2014, p. 34⤴) haben, um Aufmerksamkeit zu wecken und die Bereitschaft zum Ausfüllen zu erhöhen.
Aufwärmfragen: Einfache, niedrigschwellige, aber auch spannende Fragen zum Einstieg. Sie sollen die Teilnehmenden binden und Abbrüche verhindern.
Hauptteil: Kernfragen, thematisch gruppiert und logisch geordnet.
Sensible Fragen: Heikle oder persönliche Themen erst, wenn Vertrauen auf
Soziodemografie: Alter, Geschlecht etc. meist am Ende.
Abschluss/letzte Seite: Ein Dankeschön und die Möglichkeit, sich in einem offenen Format zur Umfrage zu äußern.

Antwortverzerrungen

Position und Formulierung von Fragen können das Antwortverhalten systematisch beeinflussen. Solche Verzerrungen lassen sich nicht vollständig vermeiden, aber durch bewussten Aufbau reduzieren.

Ermüdungseffekte

Mit zunehmender Länge sinkt die Antwortqualität: Teilnehmer:innen klicken schneller, weniger differenziert oder brechen ab. Wichtige Fragen daher nicht ans Ende stellen und die Gesamtlänge realistisch halten.

Reihenfolgeeffekte

Die Position einer Frage beeinflusst, wie sie beantwortet wird. In Befragungen ziehen Teilnehmer:innen frühere Fragen und Antworten heran, um spätere zu interpretieren und zu beantworten. Dies hat kognitive und normative Ursachen (vgl. Dillman et al. (2014⤴)):

Kognitive Ursachen:

Priming: Frühere Fragen aktivieren bestimmte Inhalte, die beim Beantworten späterer Fragen leichter abrufbar sind.
Carryover: Frühere Bewertungen werden in spätere übertragen.
Anchoring: Eine erste Frage setzt einen Maßstab. Das kann zu Assimilation oder Kontrast führen – je nachdem, ob Befragte Ähnlichkeiten oder Unterschiede zwischen den Themen wahrnehmen.
Subtraction: Argumente, die für die erste Antwort genutzt wurden, werden bei der zweiten ausgeklammert.

Normative Ursachen:

Fairness/Evenhandedness: Wer eine Gruppe streng beurteilt hat, wendet denselben Maßstab auch auf andere an.
Konsistenz: Befragte wollen konsistent erscheinen und passen spätere Antworten an frühere an.

Praxisbeispiel

Ein klassisches Beispiel stammt aus einer Studie, in der Reihenfolgeeffekte erstmals systematisch beobachtet wurden:

[Hyman und Sheatsley stellten] einer Reihe Personen die Frage, ob es einem kommunistischen Reporter gestattet sein sollte, über seinen Besuch in den Vereinigten Staaten zu berichten. Platzierten sie einen entsprechenden Indikator, nachdem Auskunft darüber eingeholt wurde, ob es denn einem amerikanischen Reporter erlaubt sein sollte, über die Sowjetunion zu berichten, so antworteten 73 Prozent der Befragten mit Ja. Wurde die Fragereihenfolge jedoch verändert, so betrug die Zustimmung nur noch 37 Prozent. (Häder & Kühne, 2009, p. 207⤴)

Wurde also zuerst nach dem amerikanischen Reporter gefragt, fühlten sich die Befragten offenbar einer gewissen Konsistenz verpflichtet: Wer dem US-Reporter Berichterstattung zugestand, konnte sie dem sowjetischen schlecht verweigern.

Was ihr beachten solltet

Generelle Fragen gehören meist vor spezifische, und thematisch zusammenhängende Fragen sollten gebündelt werden; aber nicht so, dass eine Frage die nächste inhaltlich vorwegnimmt.

Filterführung

Filterführung sorgt dafür, dass Teilnehmer:innen nur die Fragen sehen, die für sie relevant sind. Das verkürzt den Fragebogen, erhöht die Datenqualität und vermeidet Frust. Eine Filterfrage entscheidet, welche Folgefragen angezeigt werden.

Fragen formulieren

Eine sehr gute Anleitung des Ministeriums für Digitales mit den häufigsten Fehlern beim Formulieren von Fragen und Beispielen wie man es besser machen kann findet ihr in den Servicestandards.

Als generelle Regeln gelten bei der Formulierung von Fragebogenfragen nach Porst et al. (2019⤴) folgende Punkte:

Einfache, unzweideutige Begriffe verwenden, die von allen Befragten gleich verstanden werden. Was „einfach” bedeutet, hängt stark von der Zielgruppe ab.
Kurze, einfache Fragen formulieren. Lange Fragen verwirren und enthalten oft überflüssige Informationen.
Keine hypothetischen Fragen stellen. Befragte können sich oft nicht zuverlässig in Situationen versetzen, in denen sie nicht sind.
Doppelte Stimuli und Verneinungen vermeiden. Eine Frage sollte immer nur einen Sachverhalt abfragen.
Keine Unterstellungen oder suggestive Formulierungen. Diese schränken den Antwortspielraum der Befragten ein.
Keine Fragen zu Informationen, über die Befragte mutmaßlich nicht verfügen. Fehlendes Wissen senkt die Motivation und verschlechtert die Datenqualität.
Eindeutigen zeitlichen Bezug herstellen. Vage Zeitangaben wie „in den letzten Wochen” sind zu vermeiden; konkrete Anker wie „im September 2018” sind besser.
Antwortkategorien erschöpfend und disjunkt gestalten. Jede Person muss sich eindeutig einer Kategorie zuordnen können.
Kontexteffekte kontrollieren. Vorherige Fragen können die Beantwortung späterer Fragen beeinflussen. Dies lässt sich am besten durch Pretests prüfen.
Unklare Begriffe definieren. Wenn Vereinfachung nicht möglich ist, sollten Fachbegriffe erklärt werden.

Bei der Frageformulierung spielt auch das Antwortformat eine Rolle: Offene Fragen ohne vorgegebene Antworten müssen möglicherweise genauer formuliert werden als geschlossene Fragen, da vorgegebene Antwortoptionen zum Kontext beitragen und somit das Verständnis erleichern (Porst, 2014⤴) .

Antworttypen

Der grundlegendste Unterschied beim Umfragedesign besteht zwischen geschlossenen Fragen, bei denen die Befragten aus vordefinierten Optionen auswählen, und offenen Fragen, bei denen sie frei in eigenen Worten antworten. Beide dienen unterschiedlichen Erkenntniszielen und sind mit spezifischen Tradeoffs verbunden.

Geschlossene Fragen sind kognitiv weniger anspruchsvoll und für Befragte, insbesondere in Online-Umfragen, einfacher zu beantworten, da sie lediglich einen Tastendruck oder Mausklick erfordern. Allerdings können vorgegebene Antwortoptionen den Teilnehmenden implizit signalisieren, welche Antworten als vernünftig oder erwünscht gelten, und dadurch die Antworten in eine bestimmte Richtung lenken. Offene Fragen umgehen diesen Effekt, bringen jedoch eigene Herausforderungen hinsichtlich Datenqualität, Vollständigkeit und Analyseaufwand mit sich (Connor Desai & Reimers, 2019⤴) .

Offene Fragen sind das zentrale Instrument der qualitativen Forschungstradition in den Sozialwissenschaften. In dieser Wissenssammlung wird jedoch vorrangig ein quantitativer Ansatz verfolgt; offene Fragen werden daher vor allem als Ergänzung zu geschlossenen Formaten behandelt.

Eine weitere Unterscheidung betrifft den Unterschied zwischen einzelnen Fragen und Fragebatterien: Werden mehrere thematisch zusammenhängende Fragen als Gruppe eingesetzt, spricht man üblicherweise von Items. Dieser Begriff ist in der deutschsprachigen Methodenliteratur etabliert und wird im Folgenden entsprechend verwendet.

Für alle nachfolgend beschriebenen Fragetypen werden exemplarisch Umsetzungsmöglichkeiten in xlsform und DDI Codebook, sowie Darstellungsmöglichkeiten in zwei gängigen Umfragetools vorgestellt.

Geschlossene Fragetypen

1. Single Choice

Bei Single-Choice-Fragen wählt die befragte Person genau eine Option aus einer vorgegebenen, abgeschlossenen Liste aus.

Wann sollte Single Choice verwendet werden?

Single Choice eignet sich, wenn die Antwortkategorien erschöpfend und trennscharf formuliert werden können, d. h. alle relevanten Ausprägungen des Merkmals abdecken, ohne sich zu überschneiden (z. B. Altersgruppen, Bildungsabschluss, Beschäftigungsstatus), (Holbrook & Lavrakas, 2008⤴)

Layout für wenige Antwortoptionen

Bei Fragen mit einer einzigen Antwortmöglichkeit sollten in den meisten Fällen vertikale Radio Buttons verwendet werden. In Kobo Toolbox und in Lime Survey ist die vertikale Darstellung Standard.

survey

type	name	label
select_one bildungsgrad	bildungsgrad	Was ist Ihr höchster Bildungsabschluss?

choices

list_name	name	label
bildungsgrad	1	Kein Abschluss
bildungsgrad	2	Haupt- oder Realschulabschluss
bildungsgrad	3	Fachhochschulreife / Abitur
bildungsgrad	4	Abgeschlossene Berufsausbildung
bildungsgrad	5	Hochschulabschluss

Layout für viele Antwortoptionen (Single Choice)

Das Layout für lange Auswahllisten sollte anders sein als bei kurzen Listen: 100 Radio Buttons überladen das gesamte Umfrage-Layout.

Eine Option sind Dropdowns, durch die die Nutzer:in zu der Antwortoption scrollen kann. Bei langen Listen im Web/auf dem Desktop (wie z. B. Ländern oder Berufen) kann ein Dropdown geeignet sein, um Platz auf dem Bildschirm zu sparen. Dropdowns können jedoch bei sehr langen Listen (z. B. 100+ Optionen) ebenfalls unübersichtlich sein. Experimentelle Studien zeigen, dass ein Autocomplete-Feld (bei dem Befragte die ersten Buchstaben eingeben und passende Optionen gefiltert angezeigt werden) bei langen Listen mehr verwertbare Antworten liefert als ein einfaches Textfeld und schneller ist als ein klassisches Dropdown (Couper & Zhang, 2016⤴) .

Bei Autocomplete ist jedoch zu beachten, dass sich die kognitive Aufgabe verändert: Während geschlossene Fragen mit sichtbarer Optionsliste einer Wiedererkennungsaufgabe (Recognition) ähneln, funktionieren offene Eingabeformate eher wie Aufgaben des freien Abrufs (Recall), die auf kontrollierten Gedächtnisprozessen basieren. Empirische Befunde legen nahe, dass offene und geschlossene Antwortformate auf unterschiedlichen kognitiven und mnestischen Prozessen beruhen und daher zu unterschiedlichen Ergebnissen führen können (Connor Desai & Reimers, 2019⤴) . Autocomplete eignet sich daher vor allem für Fragen, bei denen die Befragten die Antwort bereits kennen (z. B. das eigene Herkunftsland oder eingenommene Medikamente), weniger für Fragen, bei denen Optionen erst durch Ansehen der Liste erkannt werden (z. B. „Welche dieser Marken kennen Sie?”).

Kobo Toolbox erlaubt für Single Choice eine Autocomplete-Option, während bei LimeSurvey nur ein Dropdown möglich ist. Über die appearance-Spalte in XLSForm kann die Darstellung über den Wert minimal zu einem Dropdown geändert werden.

Beim Fragebogendesign bietet es sich an viele Antwortoptionen über eine seperate Datei oder in einem separaten Sheet, dass dann über eine Formel eingebunden wird, abzubilden.

In DDI Codebook führen wir die Konvention ein, über den concepttag ein vocabular zu referenzieren.

survey

type	name	label
select_one_from_file iso_3166_1.csv	geburtsland	In welchem Land wurden Sie geboren?

2. Multiple-Choice

Bei Multiple-Choice-Fragen können Befragte alle zutreffenden Optionen auswählen. Jede Option wird als eigene binäre Variable kodiert (0 = nicht genannt, 1 = genannt). Strukturell entspricht eine Multiple-Choicefrage einer Batterie aus ebenso vielen Ja/Nein-Fragen, wie Antwortoptionen vorhanden sind.

Wann sollte Multiple Choice verwendet werden?

Single Choice ist das methodisch robustere Antwortformat (Smyth et al., 2006⤴) . Multiple Choice sollte nur verwendet werden, wenn Antwortoptionen sich nicht gegenseitig ausschließen (z.B. genutzte Medien, gesprochene Sprachen oder berufliche Tätigkeitsfelder).

Layout für wenige Antwortoptionen

Hier gilt das gleiche wie bei Single Choice.

survey

type	name	label
select_multiple wochenendtage	wochenende	An welchen Tagen des Wochenendes sind Sie erreichbar?

choices

list_name	name	label
wochenendtage	sa	Samstag
wochenendtage	so	Sonntag

Layout für viele Antwortoptionen

Die Probleme von Dropdowns und vielen Radio Buttons sind ähnlich zu Single Choice, verschärfen sich hier jedoch: sie können dazu führen, dass nur bestimmte oder nicht alle relevanten Optionen ausgewählt werden. Es gibt weder in Kobo Toolbox, noch in Lime Survey gibt es gute und einfach umsetzbare Alternativen. Kobo Toolbox erlaubt einen Mutiple Choice Dropdown, aber kein Multiple Choice Autocomplete. Lime Survey erlaubt beides nicht für Mutiple Choice, es gibt jedoch ein Question Theme, das autocomplete für Multiple Choice ermöglicht.

In Limesurvey gibt es die option das dropdown fpr multiple chocie zu nehmen, oder ein repoeat vom autocompomplet zu nutzen. Leider ist letzteres eher führ mehrer fragen in einer sich wiederholdenden Gruppe gedacht, sodass die Wiederholungen bei vielen ausgewählten Optionen schnell zu viel Platz wegnehmen.

survey

type	name	label
select_multiple_from_file iso_3166_1.csv	besuchte_laender	Welche dieser Länder haben Sie bereits besucht? Mehrere Antworten möglich.

Halb-Offene Antwortformate

Halb-offene Antwortformate nehmen eine Zwischenposition zwischen vollständig geschlossenen und vollständig offenen Frageformaten ein (Soliman, 2024⤴) . Sie stellen eine vordefinierte, geschlossene Antwortliste bereit (Single oder Multiple Choice) und ergänzen diese um ein optionales Freitextfeld — typischerweise gelabeled als „Sonstiges (bitte angeben)”. Dadurch entstehen zwei verschiedene Datentypen innerhalb einer Frage: kategoriale, quantitativ auswertbare Antworten aus der geschlossenen Liste sowie Freitexteingaben, die qualitativ aufbereitet und gesondert analysiert werden müssen.

Der konzeptionelle Vorteil dieses Formats — Erschöpfungsgrad ohne vollständige Offenheit — ist in der Praxis jedoch begrenzt: Befragte nutzen die „Sonstiges”-Option selten und interpretieren die vorgelegte Liste als vollständig, selbst wenn ihre tatsächliche Antwort außerhalb der Kategorien läge (Krosnick et al., 2018⤴) .

Das „Sonstiges”-Feld sollte stets am Ende der Antwortkategorien platziert werden, um Primacy-Effekte zu vermeiden.

Themen, die wiederholt genannt werden, deuten auf eine Lücke im Kategoriensystem hin und sollten in künftigen Erhebungen als eigenständige Kategorien aufgenommen werden (O'Cathain & Thomas, 2004⤴) .

1. Single Choice mit „Sonstiges”-Antwortmöglichkeit

Bei Single-Choice-Fragen ist ein „Sonstiges (bitte angeben)“-Feld nur dann gerechtfertigt, wenn das erhobene Merkmal einen offenen Wertebereich hat, der sich nicht vollständig vorspezifizieren lässt — etwa Geschlecht, Berufsbezeichnung oder Religionszugehörigkeit. Bei Merkmalen mit klar begrenztem Wertebereich (z. B. Altersgruppe, Bildungsabschluss, Beschäftigungsstatus) sollte auf das Feld verzichtet werden, da die Kategorien so formuliert werden können, dass sie erschöpfend und trennscharf sind (Holbrook & Lavrakas, 2008⤴) .

Layout

survey

type	name	label	relevant
select_one quelle	aufmerksam	Wie sind Sie auf unser Angebot aufmerksam geworden?
text	aufmerksam_other	Sonstiges (bitte angeben)	${aufmerksam} = 'other'

choices

list_name	name	label
quelle	suchmaschine	Suchmaschine
quelle	empfehlung	Persönliche Empfehlung
quelle	soziale_medien	Soziale Medien
quelle	other	Sonstiges

2. Multiple Choice mit „Sonstiges”-Antwortmöglichkeit

Bei Multiple-Choice-Fragen ist ein „Sonstiges”-Feld häufiger gerechtfertigt, weil der Antwortraum — also die Menge aller möglichen Auswahlen — im Voraus schwerer vollständig zu antizipieren ist als bei Single-Choice-Fragen.

Layout

survey

type	name	label	relevant
select_multiple geraete	geraetebesitz	Welche dieser Geräte besitzen Sie?
text	geraetebesitz_other	Sonstiges (bitte angeben)	${geraetebesitz} = 'other'

choices

list_name	name	label
geraete	smartphone	Smartphone
geraete	laptop	Laptop
geraete	tablet	Tablet
geraete	other	Sonstiges

Geschlossene, gruppierte Antwortformate

1. Matrix / Likert-Skala (Grid)

Matrix-Fragen fassen mehrere Items zusammen, die dieselbe Antwortskala und denselben Einleitungstext teilen. In DDI 2.5 müssen die Antwortkategorien bei jedem Item wiederholt werden.

survey

type	name	label	appearance
begin_group	institutionsvertrauen	Vertrauen in Institutionen	table-list
select_one skala5	vertrauen_parlament	Das Parlament
select_one skala5	vertrauen_polizei	Die Polizei
end_group

choices

list_name	name	label
skala5	1	Gar nicht
skala5	2	2
skala5	3	3
skala5	4	4
skala5	5	Vollständig

Offene Antwortformate

1. Offene Zahl (Integer)

Offene numerische Fragen erfassen Zahlenwerte ohne vorgegebene Antwortkategorien — z.B. Alter, Haushaltsgröße oder Anzahl.

Einfachauswahl mit vorgegebene Antwortkategorien (z.B. Intervalle) sind bei numerischen Fragen problematisch, weil Befragte die mittlere Kategorie als implizite Norm interpretieren und ihre Antwort entsprechend anpassen — ein Effekt, der in Online-Befragungen auch außerhalb sensitiver Themen nachweisbar ist (Baur et al., 2014⤴) . Weiterhin: Vage Quantoren wie „manchmal”, „häufig” oder „selten” werden von verschiedenen Befragten sehr unterschiedlich interpretiert und erzeugen dadurch systematische Messfehler. (Krosnick et al., 2018⤴) . Für numerische Fragen — etwa zur Häufigkeit eines Verhaltens — empfiehlt sich daher grundsätzlich die direkte Abfrage eines konkreten Wertes anstelle vorgegebener Kategorien.

survey

type	name	label
integer	alter	Wie alt sind Sie?

2. Offener Text

Freitextfragen ermöglichen den Befragten, eigene Antworten in Textform zu formulieren — z.B. für Kommentare oder offene Rückmeldungen.

Wann eignet sich eine offene Texteingabe?

Nach Züll et al. (2019⤴) eignen sich die offene Texteingabe:

Wenn der Befragungsgegenstand noch nicht eingegrenzt werden kann oder neue, unerwartete Aspekte erwartet werden (explorative Fragebogenentwicklung)
Wenn das Spektrum möglicher Antworten zu groß für vorgegebene Kategorien ist
Wenn eine Lenkung des Befragten in Richtung vorgegebener Kategorien vermieden werden soll — vorgegebene Antwortoptionen riskieren, Nennungen zu erzeugen, die Präferenzen des Fragebogenentwicklers statt echte Meinungen widerspiegeln
Wenn Wissen abgefragt wird — offene Fragen minimieren die Wahrscheinlichkeit, durch Raten eine richtige Antwort zu erzielen, und führen häufig zu reliableren und valideren Angaben als geschlossene Fragen

survey

type	name	label
text	anmerkungen	Haben Sie weitere Anmerkungen?

Weitere Antwortformate

Endpunkt-verankerte Ratingskalen

Endpunkt-verankerte Ratingskalen verwenden eine numerische Skala, bei der nur die Endpunkte (und ggf. der Mittelpunkt) verbal beschriftet sind. Im Gegensatz zu Likert-Batterien, bei denen jeder Skalenpunkt eine verbale Kategorie trägt und mehrere Items zu einem Gesamtwert aggregiert werden, sind endpunkt-verankerte Skalen typischerweise Einzelitem-Maße: Der einzelne Zahlenwert ist die interessierende Variable. Gängige Formate sind Feeling Thermometer (0–100), Cantril-Leiter (0–10), NPS-Skala (0–10), Schulnoten-Skala (1–6) und Wahrscheinlichkeitseinschätzungen (0–100%).

Semantisches Differential

Semantische Differentiale präsentieren zwei gegensätzliche Adjektive (z.B. „modern – traditionell”) an den Enden einer typischerweise 5- oder 7-stufigen Skala. Befragte verorten sich zwischen den Polen. Das Format wird häufig in der Marken- und Einstellungsforschung eingesetzt.

Ranking

Ranking-Fragen fordern Befragte auf, eine Menge von Items in eine Reihenfolge zu bringen (z.B. nach Wichtigkeit). Sie erzwingen Differenzierung — im Gegensatz zu Ratingskalen, bei denen alle Items gleich bewertet werden können. Ranking-Daten sind jedoch ipsativ (die Ränge sind nicht unabhängig voneinander), was die anwendbaren statistischen Verfahren einschränkt. Ab etwa 5–7 Items steigt die kognitive Belastung deutlich, und die Datenqualität sinkt.

Datum / Uhrzeit

Datums- und Uhrzeitfragen erfassen temporale Angaben direkt (z.B. Geburtsdatum, Zeitpunkt eines Ereignisses). In XLSForm entspricht dies den Typen date und time. Zentrale Designentscheidungen betreffen das Eingabeformat (DD.MM.YYYY vs. Datepicker) und die Mobilfreundlichkeit der gewählten Eingabemethode.

Weitere Empfehlungen für Antwortformate

„Weiß nicht” und „Keine Angabe”

Eine explizite „Weiß nicht”-Option erhöht den Anteil fehlender Antworten, ohne die Reliabilität zu verbessern. Der Anstieg ist nur teilweise auf echte Meinungslosigkeit zurückzuführen — die Option wird auch als Satisficing-Strategie genutzt und kann suggerieren, dass Expertenwissen zur Beantwortung nötig sei. Ihr Einsatz ist daher kritisch zu sehen (Baur et al., 2014⤴) .

„Keine Angabe” / „Möchte ich nicht beantworten” ist konzeptionell von „Weiß nicht” zu trennen: Hier wird nicht Unfähigkeit signalisiert, sondern bewusste Antwortverweigerung. Diese Option sollte bei sensiblen Themen angeboten werden — also bei Fragen, die soziale Erwünschtheit auslösen, als intrusiv empfunden werden oder bei denen Befragte negative Konsequenzen einer Offenlegung befürchten (Tourangeau & Yan, 2007⤴) . Typische Anwendungsbereiche sind Einkommen, Gesundheit, Sexualität und politische Zugehörigkeit. Wird bei solchen Fragen stattdessen eine Antwort erzwungen (Forced Answering), steigen die Abbruchquoten — insbesondere bei hochsensiblen Items — und die Antwortqualität sinkt (Décieux et al., 2015⤴) .

Bei Multiple-Choice-Fragen sollten “Weiß nicht” und “Keine Angabe” als exklusive Optionen implementiert werden: Sobald eine inhaltliche Option gewählt wird, ist eine gleichzeitige Angabe von „Weiß nicht” logisch widersprüchlich und sollte technisch unterbunden werden.

In XLSForm wird die Exklusivität einer Option über die Spalte exclusive in der choices-Tabelle gesteuert:

survey

type	name	label
select_multiple angebotsnutzung	angebotsnutzung	Welche Angebote Ihrer Organisation nutzen Sie?

choices

list_name	name	label	exclusive
angebotsnutzung	beratung	Beratung
angebotsnutzung	bildung	Bildungsangebote
angebotsnutzung	freizeit	Freizeitangebote
angebotsnutzung	keine_angabe	Keine Angabe	yes

Nicht empfohlene Antwortformate

Schieberegler/Slider sollten zugunsten von Radio Buttons vermieden werden. Sie benötigen mehr Zeit zum Ausfüllen, führen zu mehr fehlenden Daten (Funke, 2016⤴) und sind insbesondere auf Mobilgeräten problematisch (Antoun et al., 2017⤴) . Entscheidend ist, dass sie keine zuverlässigen kontinuierlichen Daten liefern, denn ein Schieberegler von 0 bis 100 täuscht Präzision nur vor. Radio Buttons sind schneller, besser zugänglich und funktionieren auf allen Geräten gleich.

Pretesting

Bevor ein Fragebogen an die eigentliche Zielgruppe geht, sollte er mit einer kleinen Gruppe getestet werden. Das nennt man Pretest. Ziel ist, Probleme zu finden, solange sie sich noch beheben lassen, und nicht erst, wenn die ersten 50 Antworten unbrauchbar sind.

Ein Pretest hilft dabei,

Fehler im Fragebogen zu entdecken (Tippfehler, kaputte Filter, falsche Antwortoptionen),
die Verständlichkeit der Fragen aus Sicht der Zielgruppe zu überprüfen,
die Ausfülldauer realistisch abzuschätzen,
technische Probleme zu identifizieren (Mobile-Darstellung, Browser, Ladezeiten),
die Akzeptanz zu prüfen: Wirken Fragen zu lang, zu invasiv, zu kompliziert?

Das Grundvorgehen ist immer dasselbe: kleine Stichprobe testen lassen, Feedback einholen, Anpassungen vornehmen. Bei größeren Änderungen lohnt sich eine zweite Runde. Wichtig: Auch ein sehr kleiner Pretest, etwa mit zwei oder drei Personen, ist immer besser als gar keiner.

Methoden

Es gibt verschiedene Pretest-Methoden, die unterschiedliche Arten von Problemen aufdecken. In der Praxis lassen sie sich gut kombinieren.

Expert*innen-Review

Personen mit Fachwissen zum Thema, zur Zielgruppe oder zu Methodik prüfen den Fragebogen, zum Beispiel Kolleg*innen aus dem Team, methodisch erfahrene Partner*innen oder Personen, die die Zielgruppe gut kennen.

Stark bei: methodischen Schwächen, problematischen Formulierungen, Logikfehlern.
Schwach bei: Wie eine 60-jährige Ehrenamtliche aus dem Sportverein die Frage tatsächlich versteht, lässt sich so nicht beurteilen.
Aufwand: gering. Schneller erster Check, sollte immer gemacht werden.

Kognitive Pretests

Beim kognitiven Pretest füllt eine Person aus der Zielgruppe den Fragebogen aus, während ihr daneben sitzt (oder per Video-Call zuschaut) und beobachtet, wie sie zu ihren Antworten kommt. Es gibt drei Varianten, die sich gut kombinieren lassen:

Lautes Denken (Think-Aloud): Testpersonen sprechen beim Ausfüllen laut aus, was sie gerade denken. So wird sichtbar, an welchen Stellen sie stocken, rätseln oder die Frage anders verstehen als gemeint.
Probing: Gezielte Nachfragen während oder nach dem Ausfüllen, zum Beispiel „Was haben Sie unter ‘regelmäßig’ verstanden?”, „Wie sind Sie zu der Antwort ‘eher zufrieden’ gekommen?” oder „Gab es Fragen, bei denen Sie sich unsicher gefühlt haben?”. Probing fängt auch Aspekte ein, die im reinen Think-Aloud oft untergehen: ob Fragen als zu invasiv, zu lang oder unangenehm wahrgenommen wurden. Damit deckt diese Methode neben dem Verständnis auch die Akzeptanz des Fragebogens ab (Lenzner et al., 2015⤴) .
Verhaltensanalyse: Beobachten und Notieren von Zögern, Zurückspringen, Korrekturen oder unsicherer Körperhaltung. Funktioniert auch remote über geteilten Bildschirm oder Bildschirmaufnahmen. Findet unbewusste Schwierigkeiten, die Testpersonen selbst nicht benennen würden.

Stark/Schwach/Aufwand zusammengefasst:

Stark bei: Verständnisproblemen, Mehrdeutigkeiten, unklaren Antwortoptionen, ungewohnten Frageformaten (→ Antworttypen), Akzeptanz und unbewussten Schwierigkeiten.
Schwach bei: sensiblen Themen (laut über Einkommen sprechen ist unangenehm). Die Situation ist außerdem künstlich.
Aufwand: höher. Pro Person intensiver plus eine Person, die durchs Interview führt.

Pilottest

Beim Pilottest geht der Fragebogen an eine kleine Stichprobe aus der Zielgruppe. Im Unterschied zu den anderen Methoden bekommt ihr hier echte Daten unter realistischen Bedingungen.

Wie groß die Stichprobe sein muss, hängt davon ab, was ihr herausfinden wollt, und ist im NPO-Kontext oft durch das begrenzt, was überhaupt machbar ist. Schon 5–10 Personen reichen, um die Ausfülldauer realistischer einzuschätzen und offensichtliche technische Probleme zu finden. Für aussagekräftige Antwortverteilungen oder Abbruchquoten bräuchte es eigentlich mehr. Das ist für die meisten kleinen Organisationen unrealistisch, aber kein Grund, ganz auf einen Pilottest zu verzichten.

Worauf achten:

Ausfülldauer im Median: oft wird unterschätzt, wie lange das Ausfüllen wirklich dauert.
Abbrüche: An welcher Frage steigen Leute aus?
Antwortverteilungen: Klumpen alle auf einer Skalenstufe? Wählt niemand bestimmte Optionen?
Filterlogik: Landen Leute in den richtigen Zweigen?
„Sonstiges”-Freitexte: Welche Themen tauchen wiederholt auf? Hinweis auf fehlende Kategorien.

Welche Methode wann?

Die richtige Methode hängt ab von:

Zeit und Ressourcen: Habt ihr ein paar Stunden oder mehrere Tage?
Komplexität und Sensibilität des Themas: Bei heiklen Fragen sind kognitive Pretests schwierig.
Digital vs. analog: Pilottest deckt nur bei digitalen Umfragen technische Probleme auf.
Zielgruppe und Erreichbarkeit: Wenn ihr nur schwer an Befragte herankommt, ist ein großer Pilottest unrealistisch.

Was tun mit den Ergebnissen?

Pretesting bringt nur etwas, wenn die Ergebnisse auch in den Fragebogen einfließen. Hilfreich ist eine kurze Tabelle mit Frage / gefundenes Problem / Änderung / Entscheidung. Das hilft beim Überblick und später bei der Methodendokumentation. Nicht jeder Hinweis muss umgesetzt werden, aber jede bewusste Entscheidung gegen eine Änderung sollte dokumentiert und im besten Fall kurz begründet sein. Nach größeren Anpassungen lohnt sich eine zweite, kurze Runde mit ein paar neuen Testpersonen.

Wenn gar kein Pretest möglich ist

Auch das Feedback von ein, zwei Kolleg*innen findet zuverlässig Tippfehler, ungeeignete Fragen (→ Fragen formulieren) und technische Probleme wie kaputte Mobile-Darstellung oder lange Ladezeiten.

Wenn wirklich kein Test möglich ist, hilft es auf bereits getestete Fragen und Skalen zurückgreifen. In unserer Fragendatenbank QWAC findet ihr Fragen, die im NPO-Kontext bereits erprobt wurden.

KI für Pretesting

Sprachmodelle können einen echten Pretest nicht ersetzen, aber als zusätzlicher Check sind sie nützlich, vor allem, wenn ihr keinen Zugang zu Testpersonen habt.

Zwei pragmatische Anwendungen:

Generelles Feedback: Den Fragebogen einem Sprachmodell vorlegen und nach Klarheit, Neutralität, Reihenfolge und Verständlichkeit fragen. Findet oft offensichtliche Formulierungsprobleme.
Personas: Sprachmodelle können realistische Profile eurer Zielgruppe generieren („ehrenamtlicher Kassenwart, 64 Jahre, städtischer Sportverein”) und den Fragebogen aus deren Perspektive durchgehen. Hilft, blinde Flecken zu finden, ersetzt aber keine echten Stimmen.

Wichtig: KI-Antworten sind systematisch zu positiv und zu homogen. Studien zeigen, dass persona-basierte LLM-Antworten zwar Mittelwerte von menschlichen Antworten brauchbar approximieren, aber einen deutlichen Positivitäts-Bias und eine zu geringe Varianz aufweisen (Kaiser et al., 2025⤴) (Bisbee et al., 2024⤴) . Sie taugen, um grobe Probleme zu finden, nicht, um die Zustimmung in der echten Zielgruppe abzuschätzen.

XLSForm Standard

Hinweis: Diese Seite wurde (abgesehen von einigen Beispielen) maschinell aus dem Englischen übersetzt und gekürzt. Die Originalversion findet ihr unter xlsform.org/en/. Wegen der Kürzung sollten für forgeschrittene Vorhaben immer diese Website zu Rate gezogen werden.

Was ist eine XLSForm?

XLSForm ist ein Umfragestandard, der entwickelt wurde, um die Erstellung von Umfragen in Excel zu vereinfachen. Die Erstellung erfolgt in einem für Menschen lesbaren Format unter Verwendung eines vertrauten Tools, das fast jeder kennt - Excel. XLSForms bieten einen praktischen Standard für den Austausch und die Zusammenarbeit bei der Umfrageerstellung. Der Einstieg ist einfach, ermöglicht aber die Erstellung komplexer Umfragen durch Personen, die mit der unten beschriebenen Syntax vertraut sind.

Hinweis des CDL: XLSForm kann man in allen Spreadsheet-Tools erstellen, zum Beispiel auch in Google Sheets, LibreOffice Calc oder Grist.

Die XLSForm wird anschließend in ein ODK XForm konvertiert, einen gängigen offenen Umfragestandard, der es dir ermöglicht, eine Umfrage mit komplexen Funktionen, wie z.B. Sprunglogik, auf einheitliche Weise über eine Reihe von Web- und mobilen Datenerfassungsplattformen hinweg zu erstellen.

Grundlegendes Format

Jede Excel-Arbeitsmappe enthält in der Regel zwei Arbeitsblätter: „survey” (Umfrage) und „choices” (Auswahlmöglichkeiten). Ein drittes, optionales Arbeitsblatt mit dem Namen „settings” (Einstellungen), kann deiner Umfrage zusätzliche Angaben hinzufügen und wird im Folgenden beschrieben.

Das Arbeitsblatt „survey”

Dieses Arbeitsblatt gibt deiner Umfrage die Gesamtstruktur vor und enthält den Großteil des Umfrageinhalts. Es enthält die vollständige Liste der Fragen sowie Informationen darüber, wie diese in der Umfrage angezeigt werden sollen. Jede Zeile steht in der Regel für eine Frage; es gibt jedoch bestimmte weitere Funktionen, die im Folgenden beschrieben werden und die du der Umfrage hinzufügen kannst, um die Benutzerfreundlichkeit zu verbessern.

Das Arbeitsblatt „choices”

Dieses Arbeitsblatt dient dazu, die Antwortmöglichkeiten für Multiple-Choice-Fragen festzulegen. Jede Zeile steht für eine Antwortmöglichkeit. Antwortmöglichkeiten mit demselben Listennamen werden als Teil einer zusammengehörigen Auswahlgruppe betrachtet und erscheinen gemeinsam in einer Frage. Auf diese Weise kann eine Auswahlgruppe auch für mehrere Fragen wiederverwendet werden (z. B. Ja/Nein-Fragen).

Einrichten deiner Arbeitsblätter

Beide Arbeitsblätter enthalten eine Reihe von Pflichtspalten, die vorhanden sein müssen, damit die Umfrage funktioniert. Darüber hinaus verfügt jedes Arbeitsblatt über eine Reihe von optionalen Spalten, die eine weitere Steuerung des Verhaltens der einzelnen Einträge in der Umfrage ermöglichen, jedoch nicht zwingend erforderlich sind. Jeder Eintrag muss Werte für jede der Pflichtspalten enthalten, die optionalen Spalten können jedoch leer gelassen werden.

Das survey-Arbeitsblatt verfügt über 3 obligatorische Spalten: type, name und label.
- Die Spalte type gibt den Typ des Eintrags an, den du für die Frage erwartest.
- Die Spalte name gibt den eindeutigen Variablennamen für diese Eingabe an. Keine zwei Eingaben dürfen denselben Namen haben. Namen müssen mit einem Buchstaben oder einem Unterstrich beginnen. Namen dürfen nur Buchstaben, Ziffern, Bindestriche, Unterstriche und Punkte enthalten. Bei Namen wird zwischen Groß- und Kleinschreibung unterschieden.
- Die Spalte label enthält den tatsächlichen Text, den du für die Frage in der Umfrage sehen. Alternativ können Spalten für die Übersetzung der Beschriftungen verwendet werden.

survey

type	name	label
heute	heute
select_one Bildungsabschluss	Bildungsabschluss	Höchster Bildungsabschluss?
integer	Alter	Alter des Befragten?

Das Arbeitsblatt choices enthält ebenfalls drei Pflichtspalten: list_name, name und label.
- In der Spalte list_name kannst du eine Reihe miteinander verbundener Antwortmöglichkeiten gruppieren, d. h. Antwortmöglichkeiten, die unter einer Frage gemeinsam angezeigt werden sollen.
- Die Spalte name gibt den eindeutigen Variablennamen für diese Antwortoption an.
- Die Spalte label zeigt die Antwortoption genau so an, wie sie in der Umfrage erscheinen soll. Alternativ können Spalten für die Übersetzung der Label verwendet werden.

choices

list_name	name	label
Bildungsabschluss	kein_abschluss	Kein Abschluss
Bildungsabschluss	hauptschule	Hauptschulabschluss
Bildungsabschluss	realschule	Mittlere Reife
Bildungsabschluss	abitur	Abitur
Bildungsabschluss	studium	Hochschulabschluss

Die Spalten, die du deiner Excel-Arbeitsmappe hinzufügst, können in beliebiger Reihenfolge erscheinen, unabhängig davon, ob sie obligatorisch oder optional sind. Optionale Spalten können vollständig weggelassen werden. Zeilen oder Spalten können zur besseren Lesbarkeit leer gelassen werden, jedoch werden Daten nach 20 aufeinanderfolgenden leeren Spalten oder Zeilen auf einem Blatt nicht verarbeitet. Die gesamte Formatierung der .xlsx-Datei wird ignoriert, sodass du Trennlinien, Schattierungen und andere Schriftformatierungen verwenden kannst, um die Umfrage übersichtlicher zu gestalten.

Beim Erstellen von Umfragen in Excel ist zu beachten, dass die verwendete Syntax präzise sein muss. Wenn du beispielsweise „Choices” oder „choice” anstelle von „choices” eingibst, funktioniert die Umfrage nicht.

Fragetypen

XLSForm unterstützt eine Reihe von Fragetypen. Dies sind nur einige der Optionen, die du in die Spalte type im survey-Arbeitsblatt deiner XLSForm eingeben kannst:

Fragetyp	Antwort-Eingabe
integer	Eingabe einer ganzen Zahl.
decimal	Eingabe einer Dezimalzahl.
range	Bereichseingabe (einschließlich Bewertung)
text	Freitextantwort.
select_one [Optionen]	Multiple-Choice-Frage; es kann nur eine Antwort ausgewählt werden.
select_multiple [Optionen]	Multiple-Choice-Frage; es können mehrere Antworten ausgewählt werden.
select_one_from_file [Datei]	Multiple-Choice-Frage aus einer Datei; es kann nur eine Antwort ausgewählt werden.
select_multiple_from_file [Datei]	Multiple-Choice-Frage aus Datei; es können mehrere Antworten ausgewählt werden.
rank [Optionen]	Rangfrage; eine Liste ordnen.
note	Zeigt eine Notiz auf dem Bildschirm an, benötigt keine Eingabe. Abkürzung für type=text mit readonly=true.
date	Datumsangabe.
time	Zeitangabe.
calculate	Eine Berechnung durchführen; siehe den Abschnitt „Berechnung” weiter unten.

Eine vollständige Liste der Fragetypen und der Elemente, die diese in der Vorlage und im Verweis anpassen können, findest du hier.

Mehrfachauswahl

XLSForm unterstützt sowohl „select_one”-Fragen (nur eine Antwort auswählen) als auch „select_multiple”-Fragen (mehrere Antworten auswählen). Du kannst die Antwortmöglichkeiten für Multiple-Choice-Fragen direkt in der Umfrage festlegen oder, bei sehr langen Auswahllisten oder solchen, die durch einen externen Prozess aktualisiert werden müssen, in angehängten Dateien.

Um Auswahlmöglichkeiten in deiner Umfrage zu definieren, musst du deiner Excel-Arbeitsmappe ein Arbeitsblatt mit den Auswahlmöglichkeiten hinzufügen. Hier ist ein Beispiel für eine „select_one”-Frage:

survey

type	name	label
select_one ja_nein	mag_Pizza	Magst du Pizza?

choices

list_name	name	label
ja_nein	ja	Ja
ja_nein	nein	Nein

Beachte, dass das Feld ja_nein im Arbeitsblatt survey mit dem Feld ja_nein in der Spalte list_name des Arbeitsblatts choices übereinstimmen muss. Dadurch wird sichergestellt, dass die Umfrage die richtige Liste mit Antwortmöglichkeiten für eine bestimmte Frage anzeigt. Wir können auch Multiple-Choice-Fragen hinzufügen, bei denen mehrere Antworten ausgewählt werden können, und zwar so:

survey

type	name	label
select_multiple pizza_toppings	favorite_toppings	Was sind deine Lieblingsbeläge für Pizza?

choices

list_name	name	label
Pizzabeläge	Käse	Käse
Pizzabeläge	Peperoni	Peperoni
Pizzabeläge	Wurst	Wurst

Klicke auf den Link, um den vollständigen Pizza-Fragebogen anzusehen.

Namen von Auswahlmöglichkeiten (choices)

Die name Spalte des Auswahlblatts definiert die Werte, die gespeichert werden, wenn die jeweilige Auswahl während der Datenerfassung ausgewählt wird. Antwortnamen für select_multiple-Fragen dürfen keine Leerzeichen enthalten, da Leerzeichen als Trennzeichen verwendet werden, wenn eine Antwort mit mehreren ausgewählten Antworten gespeichert wird. Antwortnamen für „select_one”-Fragen dürfen Leerzeichen enthalten. Wir empfehlen jedoch, diese zu vermeiden, um die Analyse zu vereinfachen. Außerdem ermöglicht dies die Umwandlung der Frage in eine select_multiple-Frage in einer zukünftigen Umfrageversion.

Im Allgemeinen sollten die Namen der Auswahlmöglichkeiten innerhalb einer Auswahlliste eindeutig sein. Wenn zwei Auswahlmöglichkeiten derselben Liste denselben Namen haben, lassen sie sich bei der Auswertung nicht voneinander unterscheiden. Bei doppelten Namen der Auswahlmöglichkeiten wird eine Fehlermeldung angezeigt, und deine Umfrage wird nicht konvertiert. In manchen Fällen kann es jedoch sinnvoll sein, doppelte Namen für Auswahlmöglichkeiten zu verwenden. Ein Beispiel hierfür wäre die Verwendung einer kaskadierenden Auswahl, bei der die gleichnamigen Auswahlmöglichkeiten durch eine vorangestellte Frage voneinander unterschieden werden. Wenn du doppelte Auswahlnamen verwenden musst, kannst du die Fehler bei der Verwendung der choice_duplicates Einstellung:

settings

allow_choice_duplicates
yes

Werte in einer Auswahlliste nachschlagen

Du kannst dem Auswahlblatt zusätzliche Spalten hinzufügen und dann mithilfe der Instanzfunktion Werte für diese Spalten nachschlagen.

„Anderes angeben”

Warnung: Wir empfehlen generell, die Spalte relevant zu verwenden, um deine eigene „Sonstiges”-Option festzulegen. Die in diesem Abschnitt beschriebene Abkürzung funktioniert nur bei Auswahlfeldern ohne Übersetzungen oder choice_filters. Sie verwendet Englisch für die Option „Sonstiges”, die nicht angepasst werden kann.

Bei Multiple-Choice-Fragen bieten Umfragen oft die Möglichkeit, „Sonstiges” anzukreuzen, wenn die gewünschte Antwortoption nicht aufgeführt ist. In diesem Fall werden die Befragten in der Regel gebeten, die sonstige Option näher zu beschreiben. XLSForm bietet hierfür eine Abkürzung: Füge im Umfrage-Arbeitsblatt hinter dem Namen der Antwortauswahlliste „or_other” ein. Das Arbeitsblatt mit den Antwortoptionen bleibt unverändert. Siehe unten:

survey

type	name	label
select_multiple pizza_toppings or_other	Lieblingsbelag	Was sind deine Lieblings-Pizzabeläge?

Mehrfachauswahl aus Datei

Wenn du die Antwortmöglichkeiten für eine Multiple-Choice-Frage in einer separaten Datei bereitstellen möchtest, verwende den Fragetyp select_one_from_file oder select_multiple_from_file. Die Verwendung separater Dateien kann die Verwaltung längerer Antwortlisten vereinfachen und die Wiederverwendung von Antwortlisten in verschiedenen Umfragen erleichtern. Es werden drei Dateiformate unterstützt: CSV-, XML- und GeoJSON-Dateien. Siehe Anwendungsbeispiele unten:

survey

type	name	label	Auswahlfilter
select_multiple_from_file country.csv	liv	In welchen Ländern hast du gelebt?
select_one_from_file countries.xml	cou	In welchem Land lebst du jetzt?
select_one_from_file cities.xml	cit	Was ist die nächstgelegene Stadt?	country=${cou}
select_one_from_file households.csv	hh	Wähle die Haushaltsnummer aus

Die Dateien müssen ein bestimmtes Format aufweisen. Eine CSV-Datei muss Spalten enthalten, die den Wert und die Bezeichnung der Optionen. Wenn du die Spaltennamen Name und die Bezeichnung verwendest, werden diese automatisch verwendet. Du kannst auch die zu verwendenden Spalten angeben.

Eine XML-Datei muss die folgende Struktur aufweisen:

<root>
    <item>
        <name/>
        <label/>
        ...
    </item>
</root>

Ein GeoJSON erfordert, dass jedes Feature über eine ID und eine Titel-Eigenschaft verfügt. Das GeoJSON muss durch eine einzige FeatureCollection auf oberster Ebene definiert sein. Weitere Informationen findest du in der ODK-Dokumentation.

CSV-, XML- und GeoJSON-Dateien können zusätzliche Spalten, XML-Knoten oder Merkmale und benutzerdefinierte Eigenschaften enthalten, solange die oben genannten grundlegenden Anforderungen erfüllt sind.

Dieser Fragetyp ist im Allgemeinen die bevorzugte Methode zum Erstellen von Auswahlfragen aus externen Daten, da er am vielseitigsten ist und anwendungsübergreifend funktioniert. Allerdings können Auswahlen aus Dateien mit Zehntausenden von Optionen die Reaktionsgeschwindigkeit der Umfrage beeinträchtigen. Wenn du lange Auswahllisten hast, prüfe, ob deine Umfrage auf dem Gerät mit der geringsten Leistung, das dein Datenerfassungsteam verwenden wird, ausreichend reaktionsschnell ist. Wenn es zu langsam ist, solltest du die Verwendung von dynamischen Auswahlen aus vorgeladenen Daten in Betracht ziehen, sofern deine Datenerfassungsanwendung dies unterstützt.

Rang

Mit dem Rang-Widget können die Befragten eine Liste von Optionen ordnen. Die Antwort wird als geordnete, durch Leerzeichen getrennte Liste von Optionswerten, wobei alle Optionen immer enthalten sind. Die Syntax ist der von Multiple-Choice-Fragen sehr ähnlich.

survey

type	name	label
Rang pizza_toppings	Beläge	Bestelle Pizza-Beläge mit deinem Lieblingsbelag

Auswahl

list_name	name	label
Pizzabeläge	Käse	Käse
Pizzabeläge	Peperoni	Peperoni
Pizzabeläge	Wurst	Wurst

Um Verzerrungen zu vermeiden, wird oft empfohlen, die Zufallsfunktion in Verbindung mit diesem Widget zu verwenden.

Bereich

Um die Eingabe von ganzen Zahlen oder Dezimalzahlen auf einen bestimmten Bereich zu beschränken, kannst du die Bereichsfrage verwenden. Diese Frage kann mit drei optionalen, durch Leerzeichen getrennten Parametern verwendet werden: Start, Ende und Schritt in einer Parameterspalte. Die Standardwerte sind jeweils 1, 10 und 1.

Das folgende Beispiel erstellt eine Frage, die Eingaben von 0 bis 17 mit einem Schritt von 1 zulässt. Die Verwendung eines Dezimalschritts führt dazu, dass Dezimalwerte erfasst werden.

survey

type	name	label	parameters
range	amount	Wie alt ist das Kind?	start=0 end=17 step=1

Um eine Bereichsfrage als Bewertungs-Widget mit Sternen anzuzeigen, kannst du das Bewertungs-Layout wie unten gezeigt hinzufügen:

survey

type	name	label	appearance	parameters
range	rating	Welche Bewertung gibst du?	rating	start=1 end=5 step=1

Metadaten

XLSForm bietet eine Reihe von Datentypoptionen für die Metadatenerfassung:

Metadatentyp	Bedeutung
start	Startdatum und -zeit der Umfrage.
end	Enddatum und -zeit der Umfrage.
today	Tag der Umfrage.
deviceid	Eindeutige Client-Kennung. Kann vom Benutzer zurückgesetzt werden.
phonenumber	Telefonnummer (falls vorhanden).
username	Konfigurierter Benutzername (falls vorhanden).
email	Konfigurierte E-Mail-Adresse (falls vorhanden).
audit	Verhalten des Enumerators während der Dateneingabe protokollieren

Beachte, dass einige Metadatenfelder nur für Umfragen auf Mobiltelefonen gelten.

Wenn du beispielsweise alle diese Arten von Metadaten erfassen möchtest, füge Folgendes in deine Umfrage ein (in der Regel am Anfang, es kann jedoch an einer beliebigen Stelle in der Umfrage stehen):

survey

type	name	parameters
start	Start
end	end
today	heute
deviceid	Geräte-ID
phonenumber	Telefonnummer
username	Benutzername
email	E-Mail
audit	Audit	[optional, siehe unten]

Beachte, dass den Metadaten-Fragearten keine Beschriftungen zugeordnet sind. Das liegt daran, dass das Telefon diese Variablen automatisch erfasst. Diese Fragen werden nicht auf dem Bildschirm des Telefons angezeigt, aber du siehst sie, wenn du deine übermittelten Umfragedaten einsehen. Das Tutorial XLSForm zeigt, wie Metadaten in einer Umfrage verwendet werden.

Hinweise (hints)

Allgemeine Hinweise

Manchmal möchtest du einer Frage in deiner Umfrage einen kleinen Hinweis hinzufügen, der dem Benutzer erklärt, wie er die Frage beantworten soll, aber du möchtest nicht, dass der Hinweis Teil der Frage selbst ist. In XLSForms ist es ganz einfach, Fragen mit Hinweisen zu versehen. Füge einfach eine Hinweisspalte hinzu und gib deine Hinweismeldung ein. Ein Beispiel findest du unten.

survey

type	name	label	hint
text	name	Wie heißt dieses Geschäft?	Schau auf das Schild, falls das Geschäft ein Schild hat.
geopoint	geopoint	Erfasse die GPS-Koordinaten dieses Ladens.

Das Tutorial XLSForm enthält weitere Beispiele für Fragen mit Hinweisen.

Formeln

Formeln werden in den Spalten „Einschränkung”, „Relevant”, „Berechnung” und „Auslöser” sowie optional auch in den Spalten „Standard” und „Erforderlich” verwendet. Mit Formeln kannst du deinen Umfragen zusätzliche Funktionen und Maßnahmen zur Datenqualität hinzufügen.

Formeln bestehen aus Funktionen und Operatoren (+, *, div usw.). Eine gut dokumentierte vollständige Liste der Operatoren und Funktionen findest du in der ODK-Dokumentation. Für technisch Interessierte ist die zugrunde liegende XForms-Spezifikation das eigentliche Quelldokument für die unterstützten Funktionen.

Werte in Auswahllisten oder angehängten Dateien nachschlagen

Du kannst Werte aus Listen abrufen, die im Auswahlblatt, in angehängten CSV-Dateien, in angehängten GeoJSON-Dateien und angehängten XML-Dateien abfragen, indem du die Instanzfunktion verwendest. Du verwendest dabei folgende allgemeine Struktur:

instance('list_name')/root/item[Filterausdruck]/gewünschte_Eigenschaft

Die Instanzfunktion benötigt den Namen der Liste, in der du nach einem Wert suchen möchtest. Bei Listen, die im Auswahlblatt angegeben sind, ist dies der list_name. Bei angehängten Dateien verwendest du den Dateinamen ohne die Erweiterung. Zum Beispiel:

Um Werte in einer im Auswahlblatt definierten Obstliste nachzuschlagen, verwende instance('fruits')
Um Werte in einer participants.csv-Datei nachzuschlagen, verwendest du instance('participants')
Um Werte in einer „places.geojson”-Datei nachzuschlagen, verwendest du instance('places')

Der nächste Teil des Ausdrucks lautet /root/item[Filterausdruck]. /root/item bedeutet, dass jedes Element in die Liste, und der angegebene Filterausdruck wird verwendet, um Elemente einzubeziehen, für die der Ausdruck wahr und Elemente auszuschließen, für die der Ausdruck falsch ist. Es handelt sich um denselben Ausdruck, der auch in der Spalte „choice_filter” verwendet wird. Die gängigste Art von Filterausdruck sucht nach einer exakten Übereinstimmung in der name Spalte eines Elements:

Um das Element in participants.csv mit dem Namen eines gescannten Barcodes abzurufen: instance('participants')/root/item[name=${barcode_id}]
Um das Element in participants.csv mit dem Namen eines Werts, der aus einer Auswahl stammt, abzurufen: instance('participants')/root/item[name=${participant}]

Der letzte Teil des Ausdrucks ist ein Eigenschafts- oder Spaltenname, auf den zugegriffen wird, um die Elemente abzurufen, die dem Filterausdruck entsprechen:

Um das Alter eines Teilnehmers abzurufen, dessen Ausweis gescannt wurde: instance('participants')/root/item[name=${barcode_id}]/age
Um den Vornamen eines aus einer Liste ausgewählten Teilnehmers abzurufen: instance('participants')/root/item[name=${participant}]/fname

Dies ist in der Regel die bevorzugte Methode zum Abrufen von Werten aus angehängten Dateien, da sie am vielseitigsten ist und anwendungsübergreifend funktioniert. Das Abrufen von Werten aus Dateien mit mehreren Zehntausend Optionen kann jedoch die Reaktionsgeschwindigkeit der Umfrage beeinträchtigen. Wenn du lange Auswahllisten hast, prüfe, ob deine Umfrage auf dem Gerät mit der geringsten Leistung, das dein Datenerfassungsteam verwenden wird, ausreichend reaktionsschnell ist. Sollte es zu langsam sein, ziehe die Verwendung von pulldata() in Betracht, sofern deine Datenerfassungsanwendung dies unterstützt.

Diese Ausdrücke verwenden eine Teilmenge von XPath 1.0. Der Filterausdruck in eckigen Klammern kann ein beliebiger Ausdruck sein, der zu „wahr” oder „falsch” ausgewertet wird, einschließlich der Verwendung von Funktionen.

Externe CSV-Daten

Wenn du eine CSV-Datei an deine Umfrage anhängen möchtest, um darin Werte nachzuschlagen, hast du mehrere Möglichkeiten. Wenn du eine Auswahl aus den Werten dieser CSV erstellen musst, kannst du select_one_from_file verwenden. Dadurch wird die CSV an deine Umfrage angehängt und du kannst darin Werte nachschlagen, wie oben beschrieben.

Wenn du keine Auswahl aus den Werten in deiner CSV-Datei erstellen musst, kannst du den Typ csv-external verwenden und den Namen der Datei ohne Dateiendung angeben:

survey

type	name	label	calculation
csv-external	Teilnehmer
barcode	ID	ID scannen
calculate	Vorname		instance('participants')/root/item[participant_id=${id}]/fname

Das obige Beispielformular fügt die participants.csv Liste an die Umfrage an. Anschließend wird nach einem Barcode-Scan gefragt und verwendet den gescannten Wert, um den Teilnehmer mit der passenden ID in der participant_id Spalte. Der Wert in der Vorname Spalte wird in der Vorname berechnen.

Einschränkungen (constraint)

Eine Möglichkeit, die Datenqualität sicherzustellen, besteht darin, den Datenfeldern in deiner Umfrage Einschränkungen hinzuzufügen. Wenn du beispielsweise nach dem Alter einer Person fragst, möchtest du unmögliche Antworten wie -22 oder 200 vermeiden. Das Hinzufügen von Datenbeschränkungen in deiner Umfrage ist ganz einfach. Füge einfach eine neue Spalte namens constraint hinzu und gib die Formel ein, die die Grenzen für die Antwort festlegt. Im folgenden Beispiel muss die Antwort für das Alter der Person kleiner oder gleich 150 sein. Beachte, wie das . in der Formel auf die Fragevariable verweist.

survey

type	name	label	constraint
integer	Alter	Wie alt bist du?	. <= 150

In diesem Beispiel besagt die Formel . <= 150, dass der eingegebene Wert . Die Antwort auf die Frage muss kleiner oder gleich 150 sein. Wenn der Benutzer 151 oder mehr als Antwort eingibt, darf er nicht zur nächsten Frage übergehen oder die Umfrage absenden.

Weitere nützliche Ausdrücke für die Spalte constraint findest du hier. Schau unter dem Abschnitt Operatoren nach.

Einschränkungsmeldung

Wenn du deiner Einschränkung eine Meldung hinzufügen möchtest, die dem Benutzer erklärt, warum die Antwort nicht akzeptiert wird, kannst du deiner Umfrage eine Spalte constraint_message hinzufügen. Siehe das folgende Beispiel.

survey

type	name	label	constraint	constraint_message
integer	Alter des Befragten	Alter des Befragten	. >=18	Der Befragte muss mindestens 18 Jahre alt sein, um an der Umfrage teilzunehmen.

Wenn der Benutzer in diesem Beispiel ein Alter unter 18 Jahren eingibt, wird die Fehlermeldung in der Spalte constraint_message angezeigt. Weitere Beispiele zu Einschränkungen sind in diesem XLSForm dargestellt.

Relevant

Eine großartige Funktion von XLSForm ist die Möglichkeit, eine Frage zu überspringen oder eine zusätzliche Frage anzuzeigen, je nach Antwort auf eine vorherige Frage. Nachfolgend findest du ein Beispiel dafür, wie dies durch Hinzufügen einer Spalte relevant für eine „select_one”-Frage umgesetzt werden kann, wobei wir unser vorheriges Beispiel mit den Pizzabelägen verwenden:

survey

type	name	label	relevant
select_one ja_nein	mag_Pizza	Magst du Pizza?
select_multiple Pizzabeläge oder_anderes	Lieblingsbelag	Lieblingsbelag	${mag_Pizza} = 'ja'

In diesem Beispiel wird der Befragte gefragt: „Magst du Pizza?” Wenn die Antwort Ja lautet, erscheint unten die Frage nach dem Pizzabelag. Beachte die ${ } Klammern um die Variable mag_Pizza. Diese sind erforderlich, damit die auf die Variable aus der vorherigen Frage verweisen kann.

Die Festlegung der Relevanz basierend auf dem Wert einer select_multiple-Frage unterscheidet sich geringfügig von dem Beispiel im obigen Beispiel:

survey

type	name	label	relevant
select_one ja_nein	mag_Pizza	Magst du Pizza?
select_multiple Pizzabeläge	Lieblingsbelag	Was sind deine Lieblings-Pizzabeläge?	${mag_Pizza} = 'ja'

choices

list_name	name	label
Pizzabeläge	Käse	Käse
Pizzabeläge	Peperoni	Peperoni
Pizzabeläge	Wurst	Wurst

Da bei der Frage nach dem Pizzabelag mehrere Antworten möglich sind, müssen wir die Funktion selected(${Lieblingsbelag}, 'Käse') verwenden, da die Frage nach dem Käse jedes Mal erscheinen soll, wenn der Benutzer Käse als eine der Antworten auswählt (unabhängig davon, ob weitere Antworten ausgewählt werden).

Im Abschnitt „Sonstiges angeben” wird erwähnt, dass die Funktion „relevance” verwendet werden kann, um bei Multiple-Choice-Fragen eine Freitext-Option „Sonstiges” anzugeben. Die Vorteile dieser Vorgehensweise gegenüber der Verwendung der Abkürzung or_other bestehen darin, dass du die Kontrolle über den Namen der Auswahlmöglichkeit hast, den Text festlegen kannst, den der Benutzer sieht, und dass dies auch bei mehrsprachigen Umfragen funktioniert. Hier ist ein Beispiel:

survey

type	name	label	relevant
select_multiple pizza_toppings	Lieblingsbeläge	Was sind deine Lieblings-Pizzabeläge?
text	Lieblingsbeläge_Sonstiges	Welche anderen Beläge magst du?	selected(${Lieblingsbeläge}, 'Sonstiges')

choices

list_name	name	label
Pizzabeläge	Käse	Käse
Pizzabeläge	Peperoni	Peperoni
Pizzabeläge	Wurst	Wurst
Pizzabeläge	Sonstiges	Sonstiges

Beachte, dass du Sonstiges als Antwortmöglichkeit in das Arbeitsblatt Antwortmöglichkeiten aufnehmen musst.

Berechnung

Deine Umfrage kann Berechnungen anhand der Werte aus den vorhergehenden Fragen durchführen. In den meisten Fällen ist die Verwendung einer Frage vom Typ Berechnung angemessen. In der folgenden Umfrage haben wir beispielsweise das Trinkgeld für eine Mahlzeit berechnet und es dem Benutzer angezeigt:

survey

type	name	label	calculation
decimal	Betrag	Wie viel hat das Essen gekostet?
calculate	Trinkgeld		${Betrag} * 0,18
note	Anzeigen	18 % Trinkgeld für deine Mahlzeit beträgt: ${Trinkgeld}

Beachte, dass das ${Trinkgeld} in der letzten Zeile beim Anzeigen und Ausfüllen der Umfrage durch den tatsächlichen Trinkgeldbetrag ersetzt wird.

Der Berechnungstyp dient zur Berechnung von Text, Berechnungen können jedoch auch zu jedem anderen Fragetyp hinzugefügt werden. Nicht-Text-Typen können für die Datenanalyse nützlich sein, z. B. wenn ein Datum oder eine Datums- und Zeitangabe berechnet wird. Wenn keine Beschriftung und kein Hinweis angegeben sind, wird die Berechnung ausgeblendet. Siehe das folgende Beispiel, das dem vorherigen Formular entspricht:

survey

type	name	label	calculation
decimal	Betrag	Wie viel hat das Essen gekostet?
text	Trinkgeld		${Betrag} * 0,18
note	Anzeige	18 % Trinkgeld für deine Mahlzeit beträgt: ${Trinkgeld}

Und dies ist ein Beispiel dafür, wann aufgrund von Anforderungen an die Datenanalyse ein Nicht-Text-Typ benötigt wird:

survey

type	name	label	hint	calculation
date	Tag			today()

Beachte, dass die Verwendung von Berechnungstypen, die kein Text sind, keinen Einfluss auf die Verwendung des Berechnungsergebnisses innerhalb der Umfrage selbst hat. Dies ist ein häufiges Missverständnis.

Wenn eine Beschriftung oder ein Hinweis angegeben wird, wird die Frage in der Umfrage angezeigt und der berechnete Wert erscheint im Eingabefeld oder Widget. Dies wird im Allgemeinen nur für schreibgeschützte Fragen empfohlen, um eine Neuberechnung (und damit das Löschen) eines vom Benutzer eingegebenen Werts zu vermeiden. Siehe das folgende Beispiel:

survey

type	name	label	readonly	calculation
decimal	Betrag	Wie viel hat das Essen gekostet?
note	Anzeige	18 % Trinkgeld für dein Essen betragen:		${Betrag} * 0,18
date	heute	Das heutige Datum ist:	true	today()

Beachte den Unterschied zum ersten Formular in diesem Abschnitt: Der berechnete Trinkgeldbetrag wird hier anders angezeigt. Im ersten Beispiel wurde er in der Beschriftung angezeigt, im letzten Beispiel hingegen in einem schreibgeschützten Eingabefeld.

Erforderlich

Es ist ganz einfach, bestimmte Fragen in deiner Umfrage als Pflichtfelder zu kennzeichnen. Wenn du sie als Pflichtfelder kennzeichnest, kann der Benutzer nicht zur nächsten Frage übergehen oder die Umfrage absenden, ohne eine Antwort auf diese Frage eingegeben zu haben.

Um Fragen als Pflichtfelder zu kennzeichnen, füge deinem Umfrage-Arbeitsblatt eine Spalte erforderlich hinzu. Markiere die Fragen in dieser Spalte als Pflichtfelder, indem du ja eintragst. Siehe das folgende Beispiel:

survey

type	name	label	constraint	erforderlich
integer	Alter	Wie alt bist du?	. <= 150	ja

Erforderliche Meldung

Wenn du die Meldung anpassen möchtest, die Benutzern angezeigt wird, wenn sie eine Pflichtfrage leer lassen, kannst du deiner Umfrage eine Spalte required_message hinzufügen. Siehe das Beispiel unten.

survey

type	name	label	required	required_message
integer	Alter des Befragten	Alter des Befragten	ja	Entschuldigung, diese Antwort ist erforderlich.

Gruppierung von Fragen

Um eine Gruppe von Fragen in deiner Umfrage zu erstellen, verwende die Syntax begin_group…end_group.

survey

type	name	label
begin_group	Befragter	Befragter
text	name	Gib den Namen des Befragten ein
text	Position	Gib die Position des Befragten innerhalb der Schule ein.
end_group

Dies ist eine gute Möglichkeit, verwandte Fragen für den Datenexport und die Analyse zu gruppieren. Beachte, dass end_group keinen Namen oder keine Bezeichnung benötigt, da sie in der Umfrage ausgeblendet ist.

In deiner Umfrage kannst du die Darstellung als Feldliste für eine Gruppe verwenden, um mehrere Fragen auf demselben Bildschirm anzuzeigen.

Gruppen innerhalb von Gruppen verschachteln

Fragengruppen können ineinander verschachtelt werden:

survey

type	name	label
begin_group	Krankenhaus	Krankenhaus
text	name	Wie heißt dieses Krankenhaus?
begin_group	hiv_medication	HIV-Medikamente
select_one Ja_Nein	have_hiv_medication	Verfügt dieses Krankenhaus über HIV-Medikamente?
end_group
end_group

Du musst immer zuerst die zuletzt erstellte Gruppe beenden. Die erste end_group, die du siehst, schließt beispielsweise die Gruppe „HIV-Medikamente”, und die zweite schließt die Gruppe „Krankenhaus”. Wenn du mit Gruppen arbeitest und beim Hochladen deiner Umfrage immer wieder Fehlermeldungen erhältst, überprüfe bitte, ob du für jede begin_group eine end_group hast.

Überspringen

Eine praktische Funktion von XLSForm ist die Möglichkeit, eine Gruppe von Fragen zu überspringen, indem man die Gruppenfunktion mit der entsprechenden Syntax kombiniert. Wenn du eine Gruppe von Fragen auf einmal überspringen möchtest, setze das entsprechende Attribut wie folgt an den Anfang einer Gruppe:

survey

type	name	label	relevant
integer	Alter	Wie alt bist du?
begin_group	Kind	Kind	${Alter} <= 5
integer	MUAC	Erfasse den Oberarmumfang dieses Kindes.
select_one ja_nein	mrdt	Ist der Schnelltest des Kindes positiv?
end_group

Im obigen Beispiel werden die beiden Fragen zur Untergruppe (muac und mrdt) nur angezeigt, wenn das Alter des Kindes aus der ersten Frage fünf Jahre oder weniger beträgt.

Unterstützung mehrerer Sprachen

Es ist ganz einfach, eine Umfrage um mehrere Sprachen zu erweitern. Du musst lediglich deine Beschriftungen wie folgt benennen: label::language1 (Code), label::language2 (Code) usw., und schon sind deine Umfragen in mehreren Sprachen verfügbar. Siehe das folgende Beispiel. Wähle im Pulldown-Menü der Datenerfassungsanwendung (dieses befindet sich möglicherweise unter der Menütaste) eine andere Umfragesprache aus. Für das untenstehende Formular werden Englisch und Spanisch als mögliche Optionen angezeigt.

survey

type	name	label::English (en)	label::Español (es)	constraint
integer	Alter	Wie alt bist du?	¿Cuántos años tienes?	. <= 150

Du kannst auch verschiedene Sprachspalten für Hinweise und Mediendateien hinzufügen, indem du die ::language (Code) Syntax verwendest. Siehe auch die XLSForm-Referenz, die eine Liste aller Spaltenüberschriften enthält, bei denen eine Sprachänderung vorgenommen werden kann.

survey

hint::Englisch (en)	hint::Niederländisch (nl)	image::Englisch (en)	image::Niederländisch (nl)
ein Hinweis	een hint	old_person_cartoon.png	ouwe_strip.png

Die Sprache der Umfrage und die Sprache der Benutzeroberfläche können von der Anwendung separat festgelegt werden und stimmen möglicherweise nicht überein. Um (in Zukunft) eine Übereinstimmung beider Sprachen zu erleichtern, wird empfohlen – wenn auch optional –, einen zweistelligen Sprachcode hinter dem Sprachnamen anzufügen. Die offiziellen zweistelligen Sprachcodes, sogenannte Subtags, sind hier veröffentlicht (durchsuchen Sie die Seite mit Strg-F oder Cmd-F).

Wenn deine Umfrage mehrere Sprachen definiert und du eine Sprache für die Datenerfassung festlegen möchtest, lege eine explizite Standardsprache fest. Dies geschieht im Einstellungsblatt des XLSForms, indem du die Sprache in der Spalte default_language angibst. Im folgenden Beispiel ist die Standardsprache Französisch.

settings

form_id	version	default_language
test_form	101	French (fr)

Standard (Default)

Das Hinzufügen eines Standardfelds bedeutet, dass eine Frage beim ersten Anzeigen für den Benutzer bereits mit einer Antwort vorbelegt ist. Dies kann Zeit sparen, wenn es sich um eine häufig ausgewählte Antwort handelt, oder dem Benutzer zeigen, welche Art von Antwort erwartet wird. Siehe das Beispiel unten.

survey

type	name	label	default
date	Umfragedatum	Erhebungsdatum?	15.06.2010
decimal	Gewicht	Gewicht des Befragten? (in kg)	51,3

Der Befragte kann die Antwort ganz einfach ändern, indem er auf das Antwortfeld tippt und eine andere Antwort eingibt.

Du kannst auch eine Standardberechnung hinzufügen, die nur einmal berechnet wird, wenn die Umfrage geladen wird oder – falls sich die Frage innerhalb einer Wiederholung befindet – wenn die Wiederholung hinzugefügt wird.

survey

type	name	label	default
date	d	Gib das Datum ein, an dem das Ereignis stattfand?	today()

Darstellung

In der Spalte appearance kannst du das Erscheinungsbild der Fragen in deiner Umfrage ändern. Die folgende Tabelle listet die möglichen Darstellungsattribute auf und zeigt, wie die Frage in der Umfrage angezeigt wird.

Erscheinungsbild-Attribut	Fragetyp	Beschreibung
multiline	text	Am besten für Webclients geeignet, macht das Textfeld mehrere Zeilen lang.
minimal	select_one, select_multiple	Antwortmöglichkeiten erscheinen in einem Dropdown-Menü.
quick	select_one	Nur für mobile Clients relevant, springt automatisch zur nächsten Frage nach Auswahl einer Antwort.
no-calendar	date	Nur für mobile Geräte, unterdrückt die Kalenderanzeige.
month-year	date	Ermöglicht die Auswahl von Monat und Jahr für das Datum.
year	date	Ermöglicht die Auswahl nur eines Jahres für das Datum.
horizontal-compact	select_one, select_multiple	Nur für Webclients, zeigt Antwortmöglichkeiten horizontal an.
horizontal	select_one, select_multiple	Nur für Webclients, zeigt Antwortmöglichkeiten horizontal in Spalten an.
likert	select_one	Am besten für Webclients geeignet, zeigt Antwortmöglichkeiten als Likert-Skala an.
compact	select_one, select_multiple	Zeigt Antwortmöglichkeiten nebeneinander mit minimalem Abstand und ohne Radiobuttons oder Checkboxen an. Besonders nützlich bei Bildauswahlen.
quickcompact	select_one	Wie vorher, springt aber automatisch zur nächsten Frage (nur für mobile Clients).
field-list	groups	Die gesamte Gruppe von Fragen erscheint auf einem Bildschirm (nur für mobile Clients).
label	select_one, select_multiple	Zeigt die Beschriftungen der Antwortmöglichkeiten an (nicht die Eingabefelder).
list-nolabel	select_one, select_multiple	Wird in Kombination mit dem Label-Attribut verwendet, zeigt die Antwort-Eingabefelder ohne Beschriftungen an (bei mobilen Clients die Felder label und list-nolabel in eine Gruppe mit dem Attribut field-list setzen).
table-list	groups	Einfacherer Weg, um das gleiche Erscheinungsbild wie oben zu erreichen; wende dieses Attribut auf die gesamte Gruppe von Fragen an (kann die Umfrage etwas verlangsamen).
signature	image	Ermöglicht das Zeichnen einer Unterschrift in die Umfrage (nur für mobile Clients).
draw	image	Ermöglicht das Skizzieren einer Zeichnung mit dem Finger auf dem Bildschirm des mobilen Geräts.
map, quick map	select_one, select_one_from_file	Ermöglicht die Auswahl einer Option aus vielen Merkmalen auf einer Karte.

Eine XLSForm mit allen Darstellungsattributen in dieser Tabelle ist hier verfügbar.

Einstellungs-Arbeitsblatt

Das Einstellungs-Arbeitsblatt ist optional, es wird jedoch dringend empfohlen, zumindest form_title, form_id und version anzugeben. Mit weiteren Einstellungen kannst du deine Umfrage noch individueller anpassen, beispielsweise durch Festlegen eines allgemeinen Stilthemas oder durch Verschlüsseln deiner Datensätze.

Nachfolgend findest du ein Beispiel für ein Einstellungsblatt:

settings

form_title	form_id	version	instance_name	default_language	public_key
Beispiel	ex_id	2017021501	concat(${Vorname}, ' ', ${Nachname})	English (en)	IIBIjANBg...

Die verfügbaren Spaltenüberschriften für die Einstellungen sind:

form_title: Der Titel der Umfrage, der den Benutzern angezeigt wird. Der Umfragetitel wird aus form_id übernommen, wenn form_title leer ist oder fehlt.
form_id: Der Name, der zur eindeutigen Identifizierung der Umfrage auf dem Server verwendet wird. Die Umfrage-ID wird aus dem Namen der XLS-Datei übernommen, wenn form_id leer ist oder fehlt.
version: Zeichenfolge, die diese Version angibt. Eine gängige Konvention ist die Verwendung von Zeichenfolgen im Format „yyyymmddrr”. Beispielsweise steht 2017021501 für die erste Überarbeitung vom 15. Februar 2017.
instance_name: Ausdruck, der Umfragefelder verwendet, um jede Umfrageübermittlung zu identifizieren. Weitere Informationen.
default_language: In lokalisierten Umfragen legt dies fest, welche Sprache als Standard verwendet werden soll. Es sollte dasselbe Format wie beim Hinzufügen von Übersetzungen verwendet werden, einschließlich des Sprachcodes.
public_key: Bei Umfragen mit Verschlüsselung wird hier der öffentliche Schlüssel eingefügt. Weitere Informationen.
submission_url: Diese URL kann verwendet werden, um den Standard-Server zu überschreiben, an den abgeschlossene Datensätze übermittelt werden sollen. Mehr erfahren.
style: Geben Sie für Webumfragen den Umfragestil an. Weitere Informationen.
name: Name des XForms-Stammknotens. Dies ist selten erforderlich, mehr erfahren.
clean_text_values: Diese Spalte kann verwendet werden, wenn ja oder nein um zu steuern, ob Leerzeichen in der Umfrage ausgeblendet ist (Standardwert ist „ja”).

Umfragen mit mehreren Seiten

Webumfragen können mithilfe des Stils Theme Pages auf mehrere Seiten aufgeteilt werden.

Ein Beispiel für eine Umfrage, die auf mehrere Seiten aufgeteilt ist, findest du im Webformular „Widgets auf Seiten”. Erstelle auf der Registerkarte Einstellungen eine Spalte mit dem Namen Stil und lege diese wie folgt auf Seiten fest:

settings

form_title	form_id	style
Beispieltitel	Beispiel-ID	Seiten

Gruppiere auf der Registerkarte Umfrage die Fragen, die auf jeder Seite erscheinen sollen, und lege dann die Darstellung der Gruppe auf Feldliste fest. Siehe das folgende Beispiel.

survey

type	name	label	appearance
begin_group	Gruppe1		Feldliste
text	name	Name des Befragten
integer	Alter	Alter des Befragten
text	Adresse	Adresse des Befragten
end_group

Weitere Informationen zum Erstellen mehrseitiger Webumfragen findest du in diesem Blogbeitrag. Den Quellcode für XLSForm findest du hier.

Umfragen im Raster-Design

Der Grid-Stil ermöglicht es deiner Umfrage, das Aussehen traditioneller Papierfragebögen nachzuahmen, indem mehrere Fragen in einer Zeile zusammengefasst werden. Dieser Stil eignet sich am besten für größere Bildschirme (z. B. Computer oder Tablets). Außerdem lässt er sich gut ausdrucken!

Bitte klicke auf den Link, um ein Beispiel für ein Webformular im Grid-Design zu sehen.

Um eine Umfrage im Raster-Stil zu erstellen, gib auf der Registerkarte Einstellungen in der Spalte Stil wie folgt theme-grid ein:

settings

form_title	form_id	style
Beispieltitel	Beispiel-ID	theme-grid

Gruppiere auf der Registerkarte Umfrage die Fragen, die in den einzelnen Abschnitten erscheinen sollen, und lege dann die Darstellung für jedes Feld entsprechend der gewünschten Breite fest (die Standardbreite ist 4). Siehe das folgende Beispiel.

survey

type	name	label	appearance
begin_group	Gruppe1
text	name	Name des Befragten	w3
integer	Alter	Alter des Befragten	w1
text	Adresse	Adresse des Befragten	w4
end_group

Weitere Informationen zum Erstellen von Grid-Umfragen findest du in diesem Blogbeitrag. Das XLSForm-Beispiel für das Grid-Theme findest du hier.

Tools, die XLSForms unterstützen

Weitere Ressourcen

Wenn du dich eingehender mit XForms befassen und über die Informationen zu XLSForms auf dieser Website hinausgehen möchtest, findest du hier einige Ressourcen:

Geschichte

XLSForm wurde ursprünglich von Andrew Marder und Alex Dorey vom Sustainable Engineering Lab der Columbia University entwickelt. Als XLSForms von der ODK-Community übernommen wurden, arbeitete SEL mit dem ODK-Team zusammen, um die aktuelle Spezifikation zu entwickeln. PyXForm, die Bibliothek zur Konvertierung von XLSForms in XForms, ist ein Open-Source-Projekt, das von Mitgliedern von ODK, Ona, SurveyCTO und KoBoToolbox unterstützt wird.

Einführung: Erhebung

In der Erhebungsphase sind eigentlich die anderen dran – denn hier füllen die Umfrageteilnehmenden Eure Fragebögen aus. In Vorbereitung und währenddessen sind jedoch auch einige Schritte zu tun:

Auswahl und Einrichtung des Umfragetools: Online-Umfragetool aussuchen und Fragebogen darin importieren oder anlegen und Einleitungstexte gestalten
Einladung zur Teilnahme: Link zur fertigen Umfrage verbreiten, Anreize schaffen
Monitoring: Rücklauf tracken, ggf. Erinnerungen versenden Wenn Ihr bei Konzeption und Fragebogendesign sorgfältig vorgegangen seid, sollten nicht viele Überraschungen entstehen. Dennoch kann es sein, dass Ihr Euch bei der Umsetzung des Fragebogens oder durch Rückfragen von Teilnehmende manche Fragen noch einmal neu stellen müsst. Ihr solltet dabei jedoch beachten, dass eine Veränderung des Fragebogens oder der Bedingungen zu Verzerrungen in den Ergebnissen führen können und daher vermieden werden sollten. Sollte eine Veränderung unvermeidbar sein, z.B. wegen eines technischen Fehlers, der immer den gleichen Abbruch nach sich zieht, dokumentiere diesen sorgfältig.

Umfragetool & Einladung

Auswahl des Online-Umfragetools

Es gibt unzählige Tools für Online-Umfragen und Marktforschung. Die Auswahl hängt von vielen individuellen Faktoren Eurer Umfrage und Eurer Organisation ab. Zwar empfehlen wir zwei OpenSource Tools, die mit dem von uns verwendeten XLSForm Standard nutzbar sind (KoboToolbox und Limesurvey). Dennoch stellen wir hier auch Fragen zusammen, mit denen Ihr für Euren jeweiligen Anwendungsfall selbst abwägen könnt, welches Tool Ihr wählt:

Funktionsumfang des Fragebogens: Könnt Ihr alle Eure gewählten Frage- und Antworttypen damit umsetzen? Braucht Ihr Verzweigungen, Paginierungen und komplexe Logiken? Welche Designindividualisierungen benötigt Ihr?
Funktionsumfang für Auswertungen: Benötigt Ihr eine API für den Zugriff auf die Daten? Wird Euer erforderlicher Datentyp als Download angeboten? Möchtet Ihr grafische Darstellungen oder integrierte Berichtsfunktionen verwenden?
Datenschutzkonformität: Wenn Ihr personenbezogene Daten erhebt (, was bei Online-Umfragen durch Speicherung von IP-Adressen meist der Fall ist), ist für Euch wichtig, wo die Daten gespeichert und verarbeitet werden, welche technischen und organisatorischen Maßnahmen zu ihrem Schutz ergriffen werden, ob ihr mehrere Benutzerkonten mit getrenntem Datenzugriff habt und ob ein Auftragsverarbeitungsvertrag abgeschlossen werden kann. Bei manchen Organisationen ist aus diesem Grund fest definiert, welche Tools zu welchen Zwecken verwendet werden dürfen – erkundigt Euch ggf. bei Euren Datenschutzbeauftragten.
Software-Betriebs- und Lizenzmodell: Auch hierzu gibt es vermutlich übliche Verfahren in Eurer Organisation. Wenn Ihr sonst Software eher als Service in der Cloud nutzt (z.B. Google Suite), werdet Ihr Euch vermutlich auch beim Umfrage-Tool für ein webbasiertes Tool entscheiden. Wir empfehlen, statt proprietärer Lösungen auf Open Source Lizensierungen zu setzen, bei denen der Quellcode zugänglich ist. Auch für diese gibt es die Möglichkeit, für Euch gehostete Varianten zu nutzen – wer jedoch viele Umfragen umsetzt und die geeigneten IT-Kapazitäten hat, entscheidet sich vielleicht für Self-Hosting.
Usability für Admins (Backend) und Umfrageteilnehmende (Frontend): Wie werden die Einrichtungsumgebung und die spätere Umfrage dargestellt und wie nutzendenfreundlich ist die Weboberfläche gestaltet? Gerade das Design der Umfrageseite kann entscheidend für den Rücklauf Eurer Umfrage sein. Es sollte daher den Nutzenden entsprechen und es Ihnen möglichst einfach machen, ggf. Vertrauen über bekannte Elemente wecken und das Eingeben der Antworten zu einem guten Erlebnis machen. Die Benutzeroberfläche im Backend kann darüber entscheiden, wie viel Einarbeitung auf Eurer Seite erforderlich ist, aber auch wie viele Funktionen einfach zugänglich sind.
Preismodell: Benötigt Ihr ein kostenfreies Tool oder könnt Ihr bezahlte Pläne abbilden? Hat Eure Organisation bereits Tools abonniert, die Ihr mitnutzen könnt?

Wir haben 17 Tools für Euch zusammengetragen, die häufig in zivilgesellschaftlichen Organisationen zum Einsatz kommen. Ihr findet die wichtigsten Informationen zu den o.s. Kriterien in einer Excel-Tabelle als Bewertungsmatrix, damit Ihr Eure individuelle Entscheidung treffen könnt. Ihr könnt die Bewertungsmatrix unter diesem Link herunterladen.

Hier stellen wir Euch noch kurz die zwei Tools vor, die wir aufgrund ihres OpenSource Lizenzmodells empfehlen:

KoboToolbox

KoboToolbox ist Open Source, basiert auf dem von uns verwendeten XLSForm Standard und ist für NPOs in der Community Variante kostenlos gehostet.

Es handelt sich um einen Form‑Builder mit komplexer Logik aber geringerem Fragendesignumfang, der insbesondere für Feldforschung im Bereich der internationalen Entwicklungszusammenarbeit eingesetzt wird. Daher ist die Offline‑Erhebung via Mobile‑App (KoboCollect/ODK) möglich. Dazu kommen Medien‑Uploads, GPS/Geodaten und Funktionen zur Team‑Kollaboration. Die Oberfläche für Nutzende ist übersichtlich und klar, jedoch nur wenig individualisierbar.

Die Umfragedaten kann man in einem einfach auswertbaren Format herunterladen oder per API mit survey2ddi direkt in ein mensch- und maschinenlesbares Format für die weitere Auswertung bringen.

Für die Online-Auswertung haben manche andere Tools etwas bessere Möglichkeiten zur Visualisierung, weil Antworttypen wie z.B. Single Choice, Likert Scale, und Netpromoter im Hintergrund anders behandelt werden. Bei XLSform dagegen werden diese alle als “select one” dargestellt, sodass die automatische Auswertung kein Ranking darstellt.

Lime Survey

LimeSurvey ist eine weitere Open Source Alternative und kann als Community Edition kostenlos selbst gehostet werden. Es gibt auch Anbieter, die innerhalb der EU Hosting zur Verfügung stellen, die kostenlosen Pläne haben jedoch sehr kleine Umfänge.

Anders als KoboToolbox basiert LimeSurvey nicht auf dem XLSForm-Standard, sondern ist ein eigenständiger Online-Survey-Builder mit sehr großem Fragendesignumfang und vielen Einstellungsmöglichkeiten. Wir haben für Euch eine kleine Web-App mit dem Namen Formtransform erstellt, mit der Ihr XLS-Form Fragebögen in das LimeSurvey-TSV-Format mit anschließender Downloadmöglichkeit umwandeln könnt.

LimeSurvey eignet sich besonders für webbasierte Befragungen, bei denen ein differenziertes Fragebogendesign, individuelle Gestaltung, Mehrsprachigkeit, Zugangskontrolle und Datenschutzanforderungen wichtig sind.

Für die Online-Auswertung bringt LimeSurvey integrierte Antwortübersichten, einfache Statistiken und Diagramme mit. Die Umfragedaten können in verschiedenen Formaten exportiert werden, unter anderem als CSV, Excel, R, STATA, SPSS, PDF oder VV-Datei. Außerdem stellt LimeSurvey eine RemoteControl-API bereit, über die Umfragen und Antworten automatisiert aus anderen Anwendungen heraus verwaltet oder exportiert werden können.

Ein Vorteil gegenüber XLSForm-basierten Tools ist, dass viele Fragetypen in LimeSurvey als eigene Typen modelliert sind und dadurch in Oberfläche und Auswertung differenzierter behandelt werden können; gleichzeitig erfordert die große Flexibilität bei komplexen Fragebögen mehr Konfigurationsaufwand.

Lamapoll

Lamapoll wird in besonders vielen zivilgesellschaftlichen Organisationen eingesetzt. Dennoch schließen wir es als von uns mit Code unterstütztes Umfragetool aus, denn es ist nicht Open Source und man kann keine Umfragen importieren. Dadurch kann nicht mit dem XLSform Standard gearbeitet werden und man ist an Lamapoll als Plattform gebunden.

Die kostenfreie Funktionalität bei Lamapoll erlaubt eine Deskriptive Statistik innerhalb des Online-Tools. Außerdem ist ein Download von aggregierten Daten mit deskriptiver Analyse z.B. als Excel Sheet möglich. Für eine eigenständige weitere Auswertung der Daten braucht man allerdings die individuellen Daten, die es nur in der Bezahlversion gibt.

Einladung zur Teilnahme

Bei der Anlegung des Fragebogens im Tool sowie der Einladung werdet Ihr vermutlich noch begleitende Texte erstellen, die es Teilnehmenden ermöglichen, den Rahmen der Erhebung einzuschätzen. Hierbei ist es wichtig, dass Ihr die Teilnehmenden damit nicht zu stark beeinflusst. Formuliert Einladungstexte und spätere Erinnerungen neutral. Vermeidet Formulierungen, die bestimmte Antworten nahelegen, z.B. „Hilf uns zu zeigen, dass unser Bildungsangebot hilfreich ist.“ Besser wäre: „Wir untersuchen Erfahrungen mit unserem Bildungsangebot.“

Dennoch – Motivation ist alles, damit Ihr möglichst viele Antworten der beabsichtigten Zielgruppe erhaltet. Dabei ist es wichtig, Euch auf Eure Konzeption zur Stichprobenauswahl zu besinnen und Euch zu überlegen, wie Ihr schon durch Eure Einladung Verzerrungen vermeiden könnt. Neben einem kurzen Fragebogendesign können dabei nämlich auch weitere Anreize helfen. Überlegt zum Beispiel, ob diese Möglichkeiten zu Eurem Setting passen könnten:

QR-Codes zur Umfrage schon während des zu evaluierenden Angebots aushängen
Einladung zur Teilnahme mit Link auf das Gerät senden, mit dem direkt teilgenommen wird – z.B. per Messengergruppen bei Jugendlichen aufs Handy (mit einem mobile ready Fragebogendesign) oder per E-Mail an Fachkräfte im Büro
Weiterverteilen Eurer Einladung durch Peers/ Multiplikator*innen
Gewinnspiel unter den Teilnehmenden (Achtung, hierfür werden vermutlich personenbezogene Daten erhoben – bitte beachtet dafür die Hinweise, die wir zum Datenschutz zusammengestellt haben.
Information zu den Ergebnissen der Umfrage an Teilnehmende weitergeben – so tragen sie nicht nur zu den Erkenntnissen bei, sondern profitieren auch selbst davon (auch hier müssen allerdings (am besten getrennt) Kontaktdaten erhoben werden)

Ihr solltet klar für Euch definieren, welche Zielgruppe Ihr mit der Umfrage habt und wie Ihr sie am besten erreichen könnt. Wichtig ist auch, dass Ihr einen Zeitplan für die Umfrage aufstellt und von Anfang an mitkommuniziert, wie lange Ihr Daten erheben wollt. Zusätzliche Erinnerungen und spätere Verlängerungen der Erhebungszeit während der Feldphase sind natürlich möglich.

Bei der Einladung zur Umfrageteilnahme werdet Ihr vermutlich auch die Informationen zum Datenschutz mitgeben und ggf. eine Einwilligung zur Verarbeitung der Daten im jeweiligen Umfang Eurer Umfrage einholen. Nicht vergessen, denn ohne Rechtsgrundlage dürft Ihr Datensätze mit Personenbezug später nicht weiter speichern und bearbeiten – dazu mehr unter zum Datenschutz.

Feldphase & Monitoring

Während der Feldphase kommen die Antworten Eurer Umfrageteilnehmenden herein. Während dieser Zeit solltet ihr regelmäßig den Rücklauf kontrollieren. Dabei könnt Ihr auf folgende Anzeichen achten:

Wie viele Personen haben teilgenommen?
Brechen viele Teilnehmende an derselben Stelle ab?
Sind bestimmte Zielgruppen unterrepräsentiert?
Funktioniert der Link weiterhin? So könnt Ihr bei Bedarf nachsteuern, zum Beispiel durch gezieltes Nachwerben bei bestimmten Zielgruppen oder Erinnerungen an alle. Eine freundliche Erinnerung kann den Rücklauf deutlich verbessern. Sie sollte aber nicht zu häufig kommen. Meist reichen ein bis zwei Reminder während der Erhebungsphase.

Eine Veränderung des Fragebogens oder der Umgebungsfaktoren sollte während der Erhebung nicht vorgenommen werden. Das betrifft Fragen, Antwortoptionen, Rangfolge, Design und Begleittexte. Sollte es trotz Pretests zu größeren technischen Problemen kommen, die eine Teilnahme verhindern und daher Euer Eingreifen erfordern, solltet Ihr dies gut dokumentieren. Ein Eingreifen Eurerseits kann die Datenqualität beeiflussen. Natürlich gibt es auch andere Aspekte, die schon während der Erhebung als qualitätseinschränkend auffallen können - z.B. viele ungewöhnlich schnell beantwortete Fragebögen oder viele exakt gleich beantwortete Umfragen in kurzer Zeit.

Die Dokumentation ist für besondere Vorkommnisse dann genauso wichtig wie für die grundlegenden Umgebungsfaktoren. Besonders wenn der Zeitraum zwischen Erhebung und Auswertung größer ist oder unterschiedliche Personen daran beteiligt sind, solltet Ihr festhalten:

Zeitraum der Erhebung
Einladungswege
Anzahl der eingeladenen Personen, falls bekannt
Anzahl vollständiger und unvollständiger Antworten
Abbruchquoten
besondere Vorkommnisse
Ausschlusskriterien für Fälle (für die spätere Datenbereinigung) Das Ziel ist, dass Ihr später nachvollziehbar erklären könnt, woher Eure Daten kommen, wer geantwortet hat und welche möglichen Verzerrungen bestehen.

Einführung: Aufbereitung & Analyse

Skalenniveaus

Bevor wir uns an die Auswertung der Daten wagen können, ist es wichtig, dass wir uns mit Skalenniveaus vertraut machen. Das Skalenniveau einer Variable bestimmt, welche Kennzahlen und Tests wir sinnvoll anwenden können. Wir behandeln hier die drei Skalenniveaus mit der größten praktischen Relevanz.

Nominal

Nominale Daten sind Kategorien ohne natürliche Reihenfolge. Man kann sie benennen, aber nicht sinnvoll sortieren oder miteinander verrechnen.

Weitere typische Beispiele: Geschlecht, Art der Mitgliedschaft (Haupt- oder Ehrenamt), Ja/Nein-Fragen.

Ordinal

Ordinale Daten haben eine natürliche Reihenfolge, aber die Abstände zwischen den Stufen sind nicht zwingend gleich groß. “Sehr zufrieden” liegt über “zufrieden” — aber ob der Abstand dazwischen genauso groß ist wie der zwischen “unzufrieden” und “sehr unzufrieden”, lässt sich nicht sagen.

Typische Beispiele:

Likert-Skalen (1 = stimme gar nicht zu bis 5 = stimme voll zu)
Altersgruppen (unter 18, 18–25, 26–35, 36–50 …)
Häufigkeitsstufen (nie / selten / manchmal / oft / immer)

Was man hier sinnvoll berechnen kann: Median, Modus, Häufigkeiten. Mit Vorsicht zu genießen ist der Mittelwert. Der Durchschnitt von zweimal “Manchmal” und einmal “Immer” ergibt keinen Sinn. Bei Likert-Skalen mit 5 oder mehr Stufen sieht das etwas anders aus: Wenn vier Personen ihre Zufriedenheit mit 4, 4, 1 und 5 bewerten, ist es durchaus möglich den Durchschnitt, nämlich 3,5, zu berechnen. Streng genommen ist das nicht richtig, in der Praxis wird das aber häufig so gehandhabt und gilt als akzeptabel¹.

Metrisch

Metrische Daten sind Zahlen mit gleichen, sinnvollen Abständen. Der Unterschied zwischen 10 und 20 ist genauso groß wie zwischen 40 und 50.

Typische Beispiele:

Alter in Jahren
Anzahl investierter Stunden
NPS-Score (0–10)²

Hier könnt ihr alle gängigen Kennzahlen nutzen: Mittelwert, Standardabweichung, Korrelation.

Faustregel

Ergibt es Sinn, einen Durchschnitt zu berechnen? Wenn ja, sind die Daten wahrscheinlich metrisch. Wenn nicht, dann nominal oder ordinal.

In der Testauswahl seht ihr, welche statistischen Tests für welches Skalenniveau geeignet sind.

Ob Likert-Items als metrisch behandelt werden dürfen, ist statistisch umstritten. In der psychologischen Forschungspraxis wird es allerdings fast ausnahmslos so gehandhabt (Liddell & Kruschke, 2018⤴) , weshalb wir es hier ebenfalls so handhaben. Es ist allerdings eine Vereinfachung. ↩
Der NPS ist streng genommen eine ordinale Skala, da nicht klar ist, ob die Abstände zwischen den Stufen wirklich gleich groß sind. In der Praxis wird er jedoch üblicherweise als metrisch behandelt. ↩

Datenbereinigung

Ihr habt Eure Datenerhebung abgeschlossen, Glückwunsch! Bevor es mit der statistischen Auswertung der erhobenen Daten weitergehen kann, solltet Ihr noch ein paar Gedanken in die Bereinigung Eurer Daten stecken. Wieso ist das wichtig? Je sauberer Eurer Datensatz ist, desto zuverlässiger sind auch Eure Ergebnisse. Indem Ihr Unstimmigkeiten, Fehlstellen und andere unerwünschte Fehler beseitigt, vermeidet Ihr, dass sich Verzerrungen oder ähnliches in Eure späteren Auswertungen einschleichen.

Dieser Schritt fühlt sich auf den ersten Blick vielleicht erst einmal etwas zäh und ausbremsend an (und es sollte in jedem Fall genügend Zeit dafür eingeplant werden!). Aber die gute Nachricht ist, viele der typischen Fehler könnt Ihr schon von vornherein ausschließen, indem Ihr bei der Erstellung Eurer Umfrage auf gewisse Dinge achtet. Welche das sind und wie sie mit der Qualität Eurer Daten zusammenhängen zeigen wir Euch im Folgenden.

Überblick verschaffen

Um loszulegen, solltet Ihr Euch zunächst einmal einen Überblick über Eure Daten verschaffen. Dies tut Ihr am besten, indem Ihr Euren Datensatz in einem Tabellenprogramm (bspw. Excel oder LibreOffice) öffnet. Im nächsten Schritt geht es nun darum, Probleme im Datensatz zu erkennen. Euch die folgenden Fragen zu beantworten, kann Euch helfen, ein Gefühl für Euren Datensatz zu gewinnen:

Wie sind fehlende Werte für unterschiedliche Fragetypen kodiert? Werden fehlende Werte bspw. als „0“ ausgefüllt? Bleiben fehlende Werte unentdeckt, können sich diese im nächsten Schritt verzerrend auf Eure Auswertung auswirken, bspw. wenn Ihr Prozentangaben berechnet.
Ab wann ist ein Datenpunkt für Euch relevant? Gibt es Teilnehmer:innen, die den Fragebogen nur bis zu einer gewissen Frage ausgefüllt haben? Für eine sinnvolle Auswertung müssen jedoch mehr oder gegebenenfalls alle Fragen beantwortet werden? Überlegt Euch, welche Fragen beantwortet sein müssen, damit ein Datenpunkt für Euch relevant ist, und sortiert die anderen aus.
Anhand welcher Frage lassen sich Dubletten eindeutig identifizieren? In manchen Umfragen kann es durchaus vorkommen, dass zwei Teilnehmer:innen denselben Vor- und Nachnamen haben. Genauso gut ist es aber auch denkbar, dass eine Person die Umfrage häufiger mit variierenden Antworten ausfüllt. Überlegt Euch anhand welcher Frage bzw. Fragekombination Ihr Dubletten eindeutig identifizieren könnt. Wird die E-Mailadresse abgefragt, eignet sich die Angabe häufig sehr gut dafür.
Weitere häufige Fehler sind z.B. inkonsistente Formate (bspw. bei der Angabe eines Datums), Tippfehler oder variierende Schreibweisen. Um solche unerwünschten Einträge zu entdecken, bietet sich die Nutzung von Sortier- und Filterfunktionen an. Viele Fehler lassen sich jedoch bereits durch ein geschicktes Fragebogendesign vermeiden – dazu gleich mehr!

Daten bereinigen

Nachdem Ihr die Problemstellen in Eurem Datensatz identifiziert habt, geht es nun darum, diesen zu bereinigen. Es hat sich bewährt, keine direkten Änderungen am Rohdatensatz vorzunehmen, damit Anpassungen immer nachvollziehbar bleiben und bei Bedarf rückgängig gemacht werden können. Dies ist insb. bei der Verwendung von Programmiersprachen zur Umsetzung von Automatisierungen üblich.

Doch auch wer manuelle Schritte zur Datenbereinigung umsetzt, sollte am besten mit einer Kopie des Datensatzes arbeiten bzw. dafür sorgen, dass der Datensatz bspw. im Erhebungstool verfügbar bleibt. Zusätzlich ist es sinnvoll, alle Änderungsschritte zu dokumentieren. Dadurch bleibt die Datenbereinigung nachvollziehbar und schnell wiederholbar. Bei einer erneuten Erhebung lässt sich außerdem leichter feststellen, ob Änderungen an der Umfrage selbst zu einer verbesserten Datenqualität beitragen.

Weiterführenden Input zur Datenbereinigung in Excel oder einem ähnlichen Tabellenprogramm findet Ihr hier:

Video-Tutorial: „Ordnung im Daten-Dschungel - Qualitätsstandards für Vereine“ – bereitgestellt von DSEE
„Daten in Excel bereinigen“ – bereitgestellt von der DATENSCHULE
„Data Quality Dimensions Cheat Sheet“ – bereitgestellt von datacamp

Wer sich eine umfassendere Funktionalität und bessere Automatisierungsoptionen als bei Tabellenprogrammen wünscht, sollte den Umstieg auf die kostenfreien Programmiersprachen Python und R in Betracht ziehen. Um eine einfache Pipeline zur Bereinigung von Datensätzen zu programmieren, sind bereits Grundkenntnisse ausreichend.

Einsteiger:innen-Leitfaden in pandas (Python-Bibliothek) – bereitgestellt von datacamp
Eine umfassende Einführung und Begleitung in die Praxis bieten darüber hinaus die CorrelLAB-Weiterbildungsangebote

Datenqualität bereits beim Umfragedesign mitdenken

Wer sich einen großen Aufwand beim Bereinigen von Umfragedaten ersparen will, sollte sich lieber bereits beim Erstellen des Fragebogens Gedanken zum Design machen. Einige häufige Fehler und damit einhergehende Einbußen in der Datenqualität lassen sich bereits gut im Vorfeld vermeiden.

Freitextfelder vermeiden: Wenn möglich, sollte auf Freitextfelder so gut es geht verzichtet werden, denn die Eingabe von freiem Text birgt immer die Gefahr, dass sich Tippfehler einschleichen, variierende Schreibweisen auftauchen oder unterschiedliche Formatierungen verwendet werden. Beim Erstellen der Umfrage lohnt es sich also zu prüfen: Eignet sich statt eines Textfelds bspw. ein Dropdown-Menü oder eine vorgegebene Zeichenanzahl?
Format vorgeben: Weiter können Formatierungsfehler vermieden werden, indem für die Eingabe von Informationen bereits ein gewissen Format vorausgesetzt wird (z.B. DD/MM/YYYY für Datumsabfragen).
Fehlende Eingaben vermeiden: Fehlende Eingaben sind ein klassisches Problem bei bei Datenerhebungen. Im Fall von Umfragen lassen sie sich bspw. durch die Einführung von Pflichtfeldern vermeiden. Diese bergen jedoch die Gefahr, dass Teilnehmende falsche Angaben machen, da nicht alle Fragen von allen Personen beantwortet werden können oder wollen. Anstatt bei allen Fragen eine Antwort zu erzwingen, kann entweder die zusätzliche Option „keine Antwort“ eingeführt oder die „Skip-Logic“ genutzt werden. So werden manche Fragen erst dann relevant, wenn eine bestimmte Antwort auf eine vorangegangene Frage gegeben wurde.
Aufmerksamkeitstests: Eine bewährte Methode, um die Aufmerksamkeit der Teilnehmenden bzw. die Richtigkeit ihrer Antworten zu testen, ist das gelegentliche Einstreuen von sogenannten Testfragen. Diese fragen nichts Inhaltliches ab, sondern geben an, welche Antwort angekreuzt werden soll. Bei der Datenbereinigung kann so ein erster schneller Durchlauf zur Aussortierung von Datenpunkten durchgeführt werden.
Informationen möglichst separat abfragen: Bei der Datenbereinigung sind manche Fehlstellen nur sehr schwer festzustellen, insb. dann, wenn Informationen gesammelt abgefragt werden und unvollständige Eingaben im Datensatz nicht als solche identifiziert werden. Ein Beispiel hierfür ist die Adressabfrage. Anstatt die Antwort in einem Feld abzufragen, sollten pro Angabe (Straße, Hausnummer, Postleitzahl, Stadt, ggf. Bundesland) separate Eingabefelder genutzt werden. Dies erlaubt auch eine genauere Formatvorgabe und beugt zusätzlichen Fehlern vor.

Deskriptive Auswertung

Viele Fragen aus der Wirkungsmessung und anderen Anwendungsfeldern von Umfragen in zivilgesellschaftlichen Organisationen können mithilfe deskriptiver Statistik beantwortet werden. Deskriptive Statistik verwendet Ihr immer dann, wenn Ihr Aussagen über die Teilnehmenden Eurer Umfrage treffen möchtet, ohne daraus verallgemeinernde Schlüsse über größere Gruppen zu ziehen. Mit Kennzahlen und grafischen Darstellungen könnt Ihr zeigen, welche Informationen Eure Umfrage über die befragten Personen zutage gefördert hat. Ihr gegenüber steht die schließende Statistik, mit der ihr Aussagen treffen könnt, die über die befragte Gruppe hinausgehen. Dabei wird geprüft, ob beobachtete Unterschiede oder Zusammenhänge in den Daten auf Zufall innerhalb der Stichprobe beruhen oder ob sie sich mit einer gewissen Wahrscheinlichkeit auch auf die Grundgesamtheit übertragen lassen. Deskriptive Statistik beschreibt also die vorliegenden Daten und ist damit auch die Grundlage für alle weiteren Auswertungen. Schließende Statistik beurteilt, was sich aus diesen Daten über eine größere Gruppe sagen lässt.

In vielen Organisationen geht es nicht in erster Linie darum, streng auf eine große Grundgesamtheit zu schließen, sondern darum, die eigenen Teilnehmenden, Mitglieder oder Klient*innen besser zu verstehen. Genau dafür ist deskriptive Statistik sehr geeignet.

Gerade bei Evaluationen unter Teilnehmenden oder Befragungen unter Mitgliedern, die Ihr kennt oder denen Ihr schon begegnet seid, können deskriptive Darstellungen der Ergebnisse sehr hilfreich sein. Sie ermöglichen einen verständlichen Überblick darüber, welche Muster sich in den Antworten zeigen und an welchen Stellen es auffällige Unterschiede gibt. Deskriptive Statistik ist in solchen Fällen besonders nützlich, weil sie auch dann aussagekräftig sein kann, wenn keine repräsentative Stichprobe vorliegt. Für viele praktische Entscheidungen in zivilgesellschaftlichen Organisationen reicht es oft schon aus, die Antworten der tatsächlich erreichten Personen systematisch auszuwerten. Die Ergebnisse helfen dann dabei, Bedarfe zu verstehen, Angebote weiterzuentwickeln, Problemlagen früh zu erkennen und Diskussionen im Team auf eine nachvollziehbare Datengrundlage zu stellen. Außerdem hilft die deskriptive Statistik dabei, die Stichprobe genauer zu beschreiben. Ihr könnt zum Beispiel darstellen, welche Gruppen an der Befragung teilgenommen haben, wie sich die Teilnehmenden zusammensetzen und welche Perspektiven in den Daten stärker oder schwächer vertreten sind. Gerade das ist wichtig, um Ergebnisse realistisch einzuordnen und ihre Grenzen transparent zu machen.

Die Aussagen sowohl der deskriptiven als auch der schließenden Statistik sollten immer kritisch hinterfragt werden. Besonders relevant ist der sogenannte Responder Bias: In der Regel wird keine echte Zufallsstichprobe erreicht. Selbst wenn Einladungen zur Umfrage unter Klientinnen oder Mitgliedern zufällig verschickt wurden, ist meist nicht zufällig, wer tatsächlich teilnimmt. Häufig beteiligen sich eher besonders engagierte Personen oder solche, die unzufrieden sind und ihre Kritik äußern möchten. Es gibt statistische Verfahren, die versuchen, solche Verzerrungen rechnerisch zu berücksichtigen. Diese Verfahren sind jedoch oft anspruchsvoll und in der Praxis nicht immer leicht umzusetzen. Deshalb wird häufig im Text auf mögliche Verzerrungen hingewiesen und zu einer kritischen Reflexion der Ergebnisse angeregt. Eine weitere Möglichkeit besteht darin, die Ergebnisse gemeinsam mit Expertinnen zu besprechen, zum Beispiel mit den Personen, die ein evaluiertes Programm durchgeführt haben, und sie im jeweiligen Kontext zu interpretieren.

Zusammenfassend: Deskriptive Statistik ist hilfreich, weil sie

Antworten übersichtlich sichtbar macht,
Muster und mögliche Handlungsbedarfe erkennen lässt,
praktische Entscheidungen unterstützt,
auch ohne repräsentative Stichprobe nützlich sein kann,
die Grenzen der Daten transparent macht.

Die wichtigsten Kennzahlen der deskriptiven Statistik

Zum Beschreiben der Daten werden vor allem drei Kennzahlen verwendet: Streuungsmaße, Lageparameter und Zusammenhangsmaße. Hier werden nur die erklärt, die für einfache Auswertungen im zivilgesellschaftlichen Bereich wahrscheinlich Anwendung finden würden:

Lageparameter:

Arithmetisches Mittel/ Mittelwert

Dieser Wert ist identisch mit dem umgangssprachlichen Durchschnitt und bietet eine Zusammenfassung von numerischen Angaben oder Skalenwerten. Die kann für Euch zum Beispiel spannend sein, wenn Ihr die Zufriedenheit der Teilnehmenden mit einem Angebot auf einer Skala von 1-5 bewerten lasst. Dieser Wert ist allerdings sehr anfällig für Ausreißer: Wenn sich der Großteil der Nutzenden im oberen oder mittleren Bereich der Zufriedenheit bewegen, können schon wenige sehr negative Stimmen den Mittelwert nach unten ziehen.

Median

Für ähnliche Anwendungsfälle mit starken Ausreißern kann der Median hilfreich sein. Er ist der mittlere Wert einer der Größe nach geordneten Reihe von Antworten. Er teilt die Daten in zwei Hälften: 50 % der Werte liegen unter ihm, 50 % darüber, und zeigt damit, was die mittlere typische Antwortlage ist, ohne von Extremwerten zu stark beeinflusst zu werden. Der Median sagt aber nichts darüber, wie stark die Antworten streuen. Zwei Gruppen können denselben Median haben, obwohl ihre Antworten sehr unterschiedlich verteilt sind.

Modus

Der Modus gibt an, welcher Wert am häufigsten gegeben wurde – dafür muss es sich also nicht um Zahlenwerte mit sinnvoll berechenbaren Abständen wie beim Mittelwert handeln. Der Modus bietet sich an, wenn ihr wissen wollt, ob mehr Haupt- oder Ehrenamtliche an Eurer Umfrage teilgenommen haben oder welches Eurer Angebote von den Nutzenden am häufigsten genutzt wurde. Der Modus ist leicht verständlich, weil er die am häufigsten vorkommende Antwort angibt. Seine Aussagekraft ist jedoch begrenzt. Er zeigt weder, wie die übrigen Antworten verteilt sind, noch wie stark sich die Antworten unterscheiden. Außerdem kann es mehrere Modi geben oder keinen klaren Modalwert. Deshalb sollte der Modus in der Praxis möglichst zusammen mit Häufigkeiten, Prozentangaben oder der gesamten Verteilung betrachtet werden.

Streuungsmaße:

Standardabweichung

Die Standardabweichung ist ein Maß dafür, wie stark die Werte um ihren Mittelwert streuen. Sie zeigt also, ob die Antworten eher eng beieinanderliegen oder ob sie stark auseinandergehen. Dafür wird betrachtet, wie weit die einzelnen Werte im Durchschnitt vom arithmetischen Mittel entfernt sind. Der Wert gibt in der ursprünglichen Einheit an, wie unterschiedlich die einzelnen Werte zueinander sind. Die so darstellbare Unterschiedlichkeit in der Gruppe könnte zum Beispiel interessant sein, um zu erfahren, wie stark sich die Anzahl der ins Ehrenamt investierten Stunden, die Zufriedenheit oder die Zustimmung zu einer Aussage zwischen den einzelnen Antwortenden unterschiedet. Auch dieser Wert kann stark von Ausreißern beeinflusst werden.

Zusammenhangsmaße:

Korrelationskoeffizient nach Pearson

Der Pearson-Korrelationskoeffizient zeigt, ob und wie stark zwei numerische Merkmale linear zusammenhängen. Er zeigt also, ob höhere Werte der einen Variable eher mit höheren oder mit niedrigeren Werten einer anderen Variable einhergehen. Der Pearson-Korrelationskoeffizient kann Werte zwischen -1 und +1 annehmen:

+1 bedeutet einen perfekten positiven linearen Zusammenhang,
0 bedeutet keinen linearen Zusammenhang,
-1 bedeutet einen perfekten negativen linearen Zusammenhang. Ein positiver Zusammenhang bedeutet: Wenn die eine Variable steigt, steigt tendenziell auch die andere. Ein negativer Zusammenhang bedeutet: Wenn die eine Variable steigt, sinkt tendenziell die andere. Wichtig: Damit ist nicht bewiesen, dass ob eines das andere verursacht. Oder anders ausgedrückt: Korrelation ist nicht Kausalität. Andersherum ist auch nur dann ein Zusammenhang erkennbar werden, wenn dieser linear ist. Und auch hier können Ausreißer das Ergebnis stark beeinflussen. Dennoch ist dieser Koeffizient interessant, sobald es um Muster in euren Umfragen bei Zahlenwerten geht. Eine beispielhafte Frage könne sein: Geben Personen, die viele Stunden an Angeboten teilnehmen, auch hohe Zufriedenheitswerte an?

Rangkorrelationskoeffizient

Auch beim Rangkorrelationskoeffizienten sollen Zusammenhänge gemessen werden – hier geht es aber nicht um die numerischen Werte mit gleichem Abstand wie beim Pearson-Korrelationskoeffizienten, sondern um die Plätze in der Reihenfolge. Der Rangkorrelationskoeffizient ist also für Skalenfragen besonders geeignet, wenn die Frage lautet: Steigen zwei Merkmale tendenziell gemeinsam in ihrer Ordnung?

Kontingenzkoeffizient

Der Kontingenzkoeffizient ist für Zusammenhänge nominalskalierter kategorialer Daten gedacht, also für Merkmale ohne natürliche Reihenfolge. Typische Beispiele wären der Zusammenhang von Geschlecht und anderen Fragen, z.B. Teilnahme an bestimmten Angeboten. Gezeigt werden kann, ob zwei kategoriale Merkmale miteinander assoziiert sind, also ob bestimmte Ausprägungen häufiger gemeinsam auftreten als zufällig zu erwarten wäre. Dabei kann nur gezeigt werden, ob es einen Zusammenhang zwischen Kategorien gibt – keine positiven oder negativen Zusammenhänge wie bei den beiden anderen Zusammenhangsmaßen.

Videoanleitungen

Deskriptive Auswertungen sind oft innerhalb des Funktionsumfangs von webbasierten Umfragetools, aber auch in extra Programmen möglich. Hier findet Ihr einige Anleitungen:

Für umfangreichere Einführungen, vor allem zu der Frage, welche Datenvisualisierungen am Besten für Eure Aussagen geeignet sind, empfehlen wir Euch auch die passenden Bildungsmaterialien aus unserer CDL Academy.

Schließende Statistik

Nicht jede Auswertung braucht schließende Statistik. Oft reicht eine gute Visualisierung der Daten, um die wichtigsten Muster zu erkennen und Fragen zu beantworten – ohne dass es formaler Tests bedarf. Schließende Statistik wird dann relevant, wenn ihr auf Basis einer Zufallsstichprobe Aussagen über eine größere Gruppe treffen wollt, die ihr nicht direkt befragt habt. Da in der Praxis häufig keine echte Zufallsstichprobe vorliegt (mehr dazu im Text zur Stichprobenauswahl), sollten Ergebnisse schließender Tests mit einem entsprechenden Hinweis auf mögliche Verzerrungen eingeordnet werden.

Schließende Statistik ergänzt die deskriptive Statistik: Während Letztere die vorliegenden Daten beschreibt, geht es bei der schließenden Statistik darum, Aussagen zu treffen, die über die beobachtete Gruppe hinausgehen. Mal angenommen wir hatten 30 Teilnehmer an einer Umfrage. Mit schließender Statistik können wir Fragen beantworten wie: “Wie wahrscheinlich ist es, dass der Effekt den wir sehen (z.B. wer länger am Programm teilgenommen hat ist zufriedener) stabil ist und nicht durch Zufall in unserer kleinen Stichprobe an 30 Teilnehmer*innen zustande kam.”

Vielleicht ist euch im Statistik Kontext schonmal der Begriff p-Wert über den Weg gelaufen. Wenn dieser klein ausfällt (typischerweise <0.05), wird in der klassischen Statistik die Nullhypothese abgelehnt. In unserem Fall würden wir bei einem p-Wert von z.B. 0.03 die Nullhypothese, dass es keinen Zusammenhang zwischen Dauer der Teilnahme und Zufriedenheit gibt, ablehnen. Eine Aussage über die Wahrscheinlichkeit der Nullhypothese oder der Alternativhypothese ist mit p-Werten allerdings nicht möglich.¹

Eine immer populärer werdende Richtung innerhalb der Statistik ist die Bayessche Statistik. Sie erlaubt im Gegensatz zur klassischen Statistik direkt Aussagen über Hypothesen zu treffen. Also Fragen zu beantworten wie: “Wie wahrscheinlich ist eine positive Korrelation zwischen der Dauer der Teilnahme und der Zufriedenheit”.

Wir haben für euch Tutorials zur Bayesschen Statistik zusammengestellt. Für Nicht-Coder empfehlen wir die Arbeit mit dem Programm JASP. In Testauswahl gibt es außerdem Hilfestellung, welcher Test zu welcher Forschungsfrage passt. Wer tiefer in die Bayessche Statistik einsteigen möchte und Coding-Erfahrung hat, findet in unserem GitHub Repository survey-bayes eine vertiefte Anleitung.

Die korrekte Interpretation eines p-Werts ist: “Wie wahrscheinlich sind die gegebenen Daten oder noch extremere Daten unter der Annahme, dass die Nullhypothese wahr ist?” Wenn diese Wahrscheinlichkeit klein ist, dann wird die Nullhypothese abgelehnt. Daraus lässt sich aber nicht ableiten wie wahrscheinlich es ist, dass die Nullhypothese falsch ist. ↩

Statistikprogramm JASP

Für alle, die komplexere Auswertungen mit einer benutzerfreundlichen Oberfläche und nicht über eine Programmiersprache durchführen möchten, empfehlen wir JASP, eine moderne Oberfläche für die Statistiksoftware R. Das Programm ist kostenlos und open source. Es wird durch die Universität von Amsterdam unterstützt und ermöglicht Auswertungen sowohl mit klassischer als auch mit Bayesscher Statistik.

Download

JASP kann frei aus dem Internet heruntergeladen werden und hat dabei keine hohen Systemanforderungen: jasp-stats.org/download/

Einführung

Zur Einführung in die Nutzung von JASP empfehlen wir die JASP Video Library (auf Englisch).

Wer deutsche Anleitungen bevorzugt, findet diese in folgender YouTube-Playlist.

Hier noch zwei Übersichten zu weiteren hilfreichen Materialien (auf Englisch). Einmal eine Übersicht darüber wie man verschiedene klassische und Bayessche statistische Tests mit JASP durchführt. Und eine weitere Übersicht zu breiter gefassten Anleitungen und Büchern zur Statistik mit JASP.

Wenn ihr noch nicht sicher seid, welchen Test ihr für eure Forschungsfrage braucht, hilft euch die Testauswahl dabei, den passenden Test zu finden.

Testauswahl

Welcher statistische Test passt, hängt davon ab, was ihr vergleichen oder untersuchen wollt und wie eure Daten beschaffen sind. Relevant ist dabei auch das Skalenniveau eurer Variablen, also ob sie nominal, ordinal oder metrisch sind. Die folgende Tabelle gibt eine erste Orientierung für typische Fragestellungen in zivilgesellschaftlichen Organisationen.

Standarfälle: Die passenden Tests im Überblick

Situation	Beispielfrage	Test
Vorher-Nachher-Vergleich bei denselben Personen	Hat sich die berufliche Orientierung der Teilnehmenden nach dem Programm verbessert?	Gepaarter t-Test
Vergleich zweier unabhängiger Gruppen	Unterscheidet sich die Zufriedenheit zwischen Haupt- und Ehrenamtlichen?	t-Test für unabhängige Stichproben
Zusammenhang zweier metrischer Variablen	Hängen Teilnahmedauer und Zufriedenheit zusammen?	Korrelation (Pearson oder Spearman)
Zusammenhang zweier nominaler Merkmale	Gibt es einen Zusammenhang zwischen Werkstattstandort und Zufriedenheitsstufe?	Kontingenztafel / Chi-Quadrat-Test

Klassisch oder Bayessch?

In JASP könnt ihr bei jedem Test zwischen der klassischen und der Bayesschen Variante wählen. Für kleinere Stichproben empfehlen wir die Bayessche Variante, wie unter Schließende Statistik erläutert.

Stichprobengröße

Als grobe Orientierung sollten pro verglichener Gruppe mindestens 20–30 Antworten vorliegen, damit ein Test überhaupt aussagekräftig sein kann. Bei sehr kleinen Gruppen ist wahrscheinlich eine deskriptive Auswertung sinnvoller. Die Ergebnisse eines statistischen Tests wären hier so unsicher, dass sie kaum belastbare Aussagen erlauben.

Eine Übersicht, wie ihr die Tests in JASP durchführt, findet ihr auf der JASP-Seite und in der dort verlinkten Testübersicht. Passt eure Fragestellung nicht in die Tabelle, oder bringt ihr noch wenig statistisches Vorwissen mit, empfehlen wir eine statistische Beratung, z.B. in unserer Datensprechstunde.

Einführung: Von Daten zu Taten

Wenn Umfrageergebnisse nicht genutzt werden und daraus keine Handlungen folgen, wird aus Umfragen ein Selbstzweck. Deswegen denkt man bei Umfragen am Besten direkt mit, was aus ihnen folgen kann, bzw. erhebt Daten so, das sie möglichst direkt in Entscheidungen übersetzt werden können.

Die Gewinnung von Evidenz ist der Grund dafür, warum Entscheidungen aufgrund von Umfragen getroffen werden können bzw. sollten. Es ist zunächst wichtig zu erläutern, welche Rolle Umfragen als Methode in der Herstellung von Evidenz spielen und was Evidenz im Zusammenhang mit anderen Begriffen wie Daten ist.

Von Daten zu Evidenz

Wir stützen uns hier auf die ersten drei Stufen DIKW-Pyramide (data–information–knowledge–wisdom) von Ackoff (1989⤴), bei der Daten die unterste Stufe sind. Daten sind Produkte von Beobachtungen; sie sind objektive Fakten ohne Kontext. Informationen hingegen sind strukturierte Daten, die in einen Kontext gebracht wurden, sodass sie Bedeutung bekommen. Wenn eine teilnehmende Person bei einer Single-Choice-Frage ein Kreuz bei einer Antwortmöglichkeit setzt, ist das für sich genommen bedeutungslos. Betrachtet man diese Beobachtung jedoch im Kontext der Umfrage, wird sie zu dem Wert, den die zugehörige Variable für diese Person annimmt und damit zur Information.

Im Kontext der DIKW-Pyramide und Abwandlungen spricht man von Wissen, wenn Informationen mit Vorwissen verknüpft und handlungsrelevant (actionable) werden (Rowley, 2007⤴) . Handlungsrelevanz ist ein Kriterium für gute Umfragen, dass hier sogar in der Definition von Wissen mit eingebaut wird. Fragt ihr zum Beispiel nebenbei nach der Lieblingsjahreszeit eurer Mitglieder und erhaltet eine klare Verteilung (45 % bevorzugen den Sommer), ist diese Zahl gültige Information, verknüpft sich aber mit keinem Vorwissen eurer Organisation und beeinflusst keine Entscheidung. Sie bleibt deshalb Information und wird nie zu Wissen.

Wissen kann man nach einem generelleren Verständnis auch in ein Verhältnis zu Wahrheit setzen. Etwas kann z.B. aufgrund von Intuition oder Autorität für wahr gehalten werden. Der Wahrheit am nächsten kommt man jedoch durch die Anwendung von wissenschaftliche Methoden, was jedoch mit Abstrichen in der Praxis verbunden ist. In der Wissenschaft nimmt man nämlich an, dass man sich nie komplett sicher sein kann, die Wahrheit zu kennen, sondern sich dieser nur annähert (Kempf-Leonard & Rubinstein, 2005⤴) . Wissen und Erkenntnis verwenden wir bedeutungsgleich, da unser Wissen hier durchweg empirisch gewonnen ist: Erkenntnis ist Wissen, das aus empirischer Erfahrung hervorgeht, also aus Beobachtungen in Form von Daten.

Evidenz bezieht sich immer auf eine Aussage, etwa “Fahrradfahrende in Stadt X fühlen sich im Verkehr unsicher”. Eine Umfrage liefert Evidenz für eine solche Aussage, welche auch eine Hypothese sein kann, die in einer Umfrage untersucht wird. Zusammenhängend mit der Definition von (wissenschaftlichen) Wissen als Annäherung an die Warheit, ist Belastbarkeit die Stärke von Evidenz. Man spricht hier auch von Aussagekraft, gerade weil es darum geht, wie sehr und ob Erkenntnisse eine Aussage stützen.

Belastbarkeit von Evidenz

1. Studiendesign

Was euer Studiendesign überhaupt zulässt: Eine Querschnittsbefragung beschreibt einen Zustand, aber sie belegt keine Kausalität. Formuliert Aussagen so, dass sie zum Design passen, „Die Befragten schätzen sich als zufrieden ein” statt „Unser Programm hat die Zufriedenheit erhöht”.

2. Validität und Reliabilität

Ob eure Fragen tatsächlich das messen, was sie messen sollen, und zuverlässig messen. Wenn ihr ein Konstrukt wie Zufriedenheit nicht sauber definiert habt, bleibt unklar, was eine hohe Zustimmung eigentlich bedeutet.

3. Repräsentativität

Für wen eure Ergebnisse gelten, hängt von der Stichprobe ab. Eine Gelegenheitsstichprobe gilt streng genommen nur für die Antwortenden. Bei kleinen Stichproben sind absolute Zahlen ehrlicher als Prozentangaben, „3 von 3” statt „100%”.

Nah an der Wahrheit aber praxisfern?

Ausgehend davon, dass Wissen vorliegt, ist ein sogenannter Know-Do-Gap (Pakenham-Walsh, 2004⤴) bzw. Knowledge-Action-Gap (Haines et al., 2004⤴) , also eine Diskrepanz zwischen Wissen und Handeln, ein sektorübergreifendes Problem, an dem verschiedene Disziplinen arbeiten. Wissen ist hier zwar prinzipiell handlungsrelevant, wird aber nicht automatisch in Praxis übersetzt.

Selbst die stärkste Evidenz garantiert noch nicht, dass Entscheidungen getroffen werden. Der beste Ansatz dafür ist, Prozesse und Strukturen in Organisationen darauf zu optimieren, auf Evidenz reagieren zu können. Im nächsten Kapitel stellen wir dafür zwei Ansätze vor. Ein wichtiger Teil dieses optimalen Prozesse ist Kommunikation: wenn ihr in eurer Organisation keine Entscheidungsträger seid, solltet ihr eure Umfrageergebnisse optimal an letztere weitergeben, sodass daraus Entscheidungen folgen können. Dies ist der Inhalt von der Seite “Kommunizieren und Visualisieren”.

Zum Handeln nach Umfragen gehört auch die Kommunikation an die Öffentlichkeit und die Herstellung der Möglichkeit von Nachnutzbarkeit, worum es im Kapitel zu DDI-Codebook gehen soll.

Entscheidungen Treffen und Lernen

Idealerweise sollte eine Umfrage in einer Organisation keine einmalige Angelegenheit und nicht die einzige Methode zur Erkenntnisgewinnung sein. Evidenz sollte in organisationsweite Entscheidungsfindungsprozesse mit eingebaut sein.

Als Erstellende von Umfragen nehmt ihr hierbei die Rolle von Wissenschaftler:innen ein, für die es seit jeher eine Herausforderung ist, Erkenntnisse in der Praxis (z.B. in der Politik) zur Anwendung zu bringen. Man denke an den Klimawandel als Negativbeispiel oder aber an den erfolgreichen internationalen Stopp der FCKW-Nutzung als Positivbeispiel. Dass sich das Ozonloch wieder schließt, hat mehrere Gründe. Einer davon ist die erfolgreiche Kooperation zwischen Wissenschaftler:innen und Entscheidungsträger:innen, wovon wir hier lernen können. Einen ausformulierten Rahmen dafür bietet die WHO.

Evidence-informed decision-making

Evidence-informed decision-making (EIDM) (World Health Organization, 2021⤴) bezeichnet einen Ansatz, Entscheidungen systematisch auf die beste verfügbare Evidenz zu stützen und diese mit Kontext- und Erfahrungswissen sowie den Zielen der Beteiligten zu verbinden. Das „informed” (statt „based”) betont dabei, dass Evidenz eine zentrale, aber nicht die alleinige Entscheidungsgrundlage ist: Daneben fließen Faktoren wie Kontext, Werte und Präferenzen der Beteiligten, Gerechtigkeit, Umsetzbarkeit, Kosten und Akzeptanz in die Entscheidung ein.

Ob aus Forschungsergebnissen tatsächlich Entscheidungen werden, hängt nicht nur von der Evidenz selbst ab, sondern auch davon, wie sie zwischen Forschenden und Entscheidungsträger:innen übermittelt wird, also von der Wissensübersetzung (Knowledge Translation, KT). Ob diese gelingt, entscheidet sich auf mehreren Ebenen: bei den Forschenden, bei den Entscheidungsträger:innen und in der Organisation selbst. Förderlich sind insbesondere enge, persönliche Arbeitsbeziehungen zwischen beiden Seiten, ein rechtzeitiger Zugang zu qualitativ hochwertiger und relevanter Evidenz, das explizite Benennen von Handlungsimplikationen in den Ergebniszusammenfassungen sowie der Aufbau von Kompetenzen im Umgang mit Evidenz aufseiten der Entscheidungsträger:innen. Erfolgreiche KT stützt sich darüber hinaus auf Rückhalt im Management, auf belastbare organisationale Netzwerke, die Raum für strategische Allianzen schaffen, und auf eine durchdachte Kommunikationsstrategie.

EIDM setzt dort an, wo solche Voraussetzungen fehlen. Im Kern ist evidenzinformierte Entscheidungsfindung das Ergebnis gelungener Wissensübersetzung: Sie nutzt gezielt Strategien, um die Aufnahme von Evidenz zu erleichtern und die Lücke zwischen Forschung, Politik und Umsetzung zu überbrücken.

Die WHO nennt Wege, wie sich diese Lücke durch Wissensübersetzung schließen lässt:

Push: Forschende bereiten zentrale Erkenntnisse zielgruppengerecht auf und tragen sie aktiv an die Entscheidungsträger:innen heran. Zum Beispiel über verständliche Zusammenfassungen systematischer Reviews oder über Policy Briefs. In dem Kapitel “Kommunizieren und Visualisieren” widmen wir uns dem Thema, wie Wissen optimal kommuniziert werden kann.

User-Pull: Forschende wirken in unterstützende Strukturen hinein, die Entscheidungsträger:innen den Zugang zu Evidenz erleichtern und es ihnen ermöglichen, gezielt Evidenz aus der Forschung anzufragen. Man denke hier zum Beispiel an Dashboards oder organisationsinterne Wikis.

Exchange: Forschende und Entscheidungsträger:innen entwickeln Partnerschaften und gemeinsame Projekte, in denen relevante Fragen zusammen gestellt und beantwortet werden. Zum Beispiel in deliberativen Policy-Dialogen, also strukturierten Gesprächen, die Evidenz mit dem Erfahrungs- und Kontextwissen der Beteiligten verbinden.

Details zu EIDM könnt ihr einer englischsprachigen Publikation der WHO entnehmen.

Bei EIDM geht vor allem um das Verhältnis von Forschenden bzw. Wissensproduzent:innen und Entscheidungsträger:innen und darum, wie man beide Rollen am besten in den Strukturen einer Organisation verankert und so gute Entscheidungen trifft. Bei dem nächsten Ansatz geht es mehr um die Prozesse an sich, die zu Entscheidungen führen können.

Action Learning Cycle

Ein praktisches Werkzeug, das bei Umfragen eine Rolle spielen kann, ist der “Action Learning Cycle” (Herrero, 2012⤴) . Er führt mit gezielten Fragen durch den Prozess der Verarbeitung von Erkenntnissen, sodass man die eigene Arbeit überprüfen, daraus lernen und das Gelernte in künftige Pläne einfließen lassen kann. Seine Stärke liegt in der Einfachheit: Er funktioniert auf Organisationsebene ebenso wie in kleinen Gruppen und lässt sich sofort mit Kolleg:innen im selben Projekt anwenden, ohne auf eine organisationsweite Einführung zu warten.

Der Zyklus hat vier Phasen, jeweils mit Leitfragen:

Action: Das eigene Handeln als Lernquelle: Was ist Bedeutsames passiert, wer war beteiligt, wie haben wir uns gefühlt?

Reflection: Die Erfahrung muss sich bewusst gemacht, dann bewertet, analysiert und verstanden werden: Warum ist etwas passiert, was hat geholfen oder gehindert, welche Annahmen lagen zugrunde?

Learning: Aus der Reflexion Schlüsse ziehen: Was würden wir anders machen, was haben wir gelernt, was wurde bestätigt, welche neuen Fragen entstehen?

Planning: Die Brücke zwischen Gelerntem und künftigem Handeln: Was bedeutet das für die Praxis, was machen wir anders, was lassen wir bleiben, wie vermeiden wir denselben Fehler?

Umfrageergebnisse kommen auf der Ebene der Reflexion ins Spiel (vgl. auch Bertelsmann Stiftung et al. (2017⤴)). Annahmen werden aufgrund von gewonnenen Erkenntnissen hinterfragt und somit bestätigt oder verworfen. Online-Umfragen sind eine Methode dafür, sich ein umfangreicheres Bild davon zu machen, was geschehen ist. Man kann zwar davon ausgehen, dass ein Kurs gut bei den Teilnehmer:innen ankam, aber dies muss nicht der Wahrheit entsprechen. Umfragen sind ein Mittel, der Wahrheit nahezukommen und somit auf einer guten Basis zu lernen.

Daten visualisieren und kommunizieren

Damit Umfrageergebnisse tatsächlich Entscheidungen beeinflussen, müssen sie bei der Zielgruppe ankommen. Im vorherigen Kapitel hieß der entsprechende Weg Push: Erkenntnisse zielgruppengerecht aufbereiten und aktiv an die Entscheidungsträger:innen herantragen.

Push-Formate gestalten: wie funktioniert Kommunikation?

Dem Kooperationsprinzip zufolge (Grice, 1975⤴) beruht gelingende Kommunikation darauf, dass beide Seiten implizit zusammenarbeiten: Die sprechende Person liefert genau den Beitrag, den die Situation erfordert, und die zuhörende Person geht davon aus, dass sie das tut. Dieses unausgesprochene Übereinkommen umfasst Maximen, an denen sich Verständigung in der Regel orientiert:

Quantität: Ein Beitrag enthält so viel Information wie nötig und so wenig wie möglich; weder wird Wesentliches weggelassen noch mit Überflüssigem überfrachtet.

Qualität: Was gesagt wird, gilt als wahr und belegt; behauptet wird nichts, wofür die Grundlage fehlt.

Relation: Ein Beitrag bezieht sich auf die Situation und das gemeinsame Ziel, ist also relevant.

Modalität (Art und Weise): Die Darstellung ist klar und geordnet; sie vermeidet Mehrdeutigkeit und unnötige Komplexität.

Auch wenn das Kooperationsprinzip ursprünglich beschreibt, warum Verständigung überhaupt funktioniert, lässt sich daraus ableiten, wie man Kommunikation verbessern und vor allem, was man vermeiden sollte.

Damit zusammenhängend lohnen sich folgende Fragen zu dem Material, das man erstellt: Wer liest es? Welche Entscheidung soll es unterstützen? Wie viel Zeit und Vorwissen bringt die Zielgruppe mit?

Kombiniert man die Maximen zum Beispiel mit dem Kontext, dass Entscheidungsträger:innen meist wenig Zeit haben, ergibt sich für solche oft das Format One-Pager oder Factsheet mit einer Kernaussage. Für eine inhaltliche Diskussion ein ausführlicherer Policy Brief; und für wiederkehrende Nutzung ein Dashboard (das zugleich in den User-Pull-Bereich übergeht).

Welche Rolle spielt Visualisierung bei der Kommunikation?

Ein zentrales Werkzeug, um Erkenntnisse verständlich zu machen, ist die Datenvisualisierung. Sie kann zwei Funktionen erfüllen. Zum einen erlaubt sie es, in Daten Muster zu erkennen (z.B. einen Zusammenhang zwischen zwei oder mehreren Variablen). Zum anderen kann man Muster oder Wissen, das in Daten steckt, mit Visualisierungen sichtbar machen oder verdeutlichen. Wir beschäftigen uns hier vor allem mit dem zweiten Anwendungsfall.

Datenvisualisierung lässt sich in beiden Anwendungsfällen als Mapping von Variablen zu visuellen Dimensionen vorstellen. Visuelle Dimensionen sind zum Beispiel Farbe, Position oder Größe (ausführlich dargestellt in Abbildung 1).

Übersicht visueller Variablen: Position, Größe, Form, Farbe (Helligkeit, Farbton, Sättigung), Textur, Optik und Bewegung, jeweils angewandt auf geometrische, sprachliche und bildhafte Symbole. — Abbildung 1 Visuelle Variablen und ihre Ausprägungen. Aus Borner et al. (2019⤴)

Dieses Mapping explizit zu machen, erlaubt es, präzise Information für die Betrachter:innen sichtbar zu machen. Einzelne Visualisierungen sind oft Kombinationen aus Mappings, die bekannten Diagrammtypen entsprechen. In einem Scatterplot werden zwei Variablen jeweils durch eine X- und Y-Koordinate (siehe Position in Abb. 1) dargestellt, was in einem Punkt resultiert. Eine kategorische Variable kann man dann zu Farben oder Formen mappen.

Die Maximen des Kooperationsprinzips lassen sich dabei direkt auf Visualisierungen übertragen: Ein überladenes Diagramm verletzt die Quantitätsmaxime, eine irreführende Achsenbeschriftung die Qualitätsmaxime, ein thematisch unpassendes Diagramm die Relationsmaxime, und eine unklare Farbwahl die Modalitätsmaxime.

Welcher Diagrammtyp eignet sich wann?

Die Wahl eines Diagramms sollte sich nicht danach richten, welche Visualisierung verfügbar ist, sondern danach, welche Frage beantwortet werden soll. Unterschiedliche Diagrammtypen unterstützen unterschiedliche Analyseaufgaben. Wir stellen hier die grundlegendsten vor.

Wir verwenden hier den Palmer-Pinguine-Datensatz als anschauliches Beispiel für die Möglichkeiten von Visualisierung. Es handelt sich um einen Datensatz, der sowohl kategoriale Merkmale (z. B. Art, Insel oder Geschlecht) als auch numerische Messwerte (z. B. Schnabellänge, Schnabeltiefe, Flossenlänge und Körpermasse) enthält (Horst et al., 2020⤴) .

Kategorien vergleichen

Frage: Wie viele Beobachtungen gibt es pro Pinguinart?

Balken- und Säulendiagramme eignen sich für den Vergleich diskreter Kategorien. Da die Länge einer gemeinsamen Achse sehr präzise wahrgenommen werden kann, lassen sich Unterschiede schnell erkennen. Kategorien sollten nach Größe statt alphabetisch sortiert werden, außer es gibt eine natürliche Reihenfolge.

Verteilungen verstehen

Frage: Wie verteilt sich die Schnabellänge der Pinguine?

Histogramme zeigen, wie sich Werte über einen Zahlenbereich verteilen. Sie helfen dabei, typische Werte, Ausreißer oder mehrere Gruppen innerhalb der Daten zu erkennen. Für kompakte Vergleiche mehrerer Gruppen eignen sich zusätzlich Boxplots.

Zusammenhänge untersuchen

Frage: Gibt es einen Zusammenhang zwischen Schnabellänge und Schnabeltiefe?

Streudiagramme (Scatterplots) zeigen die Beziehung zwischen zwei metrischen Variablen. Jeder Punkt repräsentiert eine Beobachtung. Muster in der Punktwolke können auf Korrelationen, Cluster oder Ausreißer hinweisen.

Entwicklungen über die Zeit darstellen

Wenn eine Variable über die Zeit beobachtet wird, sind Liniendiagramme meist die beste Wahl. Hier werden Trends, Veränderungen und Wendepunkte sichtbar gemacht.

Frage: Wie entwickelt sich die Anzahl der Pinguine pro Art über die Jahre?

Wann eine Tabelle besser ist

Nicht jede Information benötigt ein Diagramm. Tabellen eignen sich besonders dann, wenn exakte Werte wichtig sind oder Nutzer:innen einzelne Beobachtungen nachschlagen möchten. Das gilt zum Beispiel für Budgetübersichten, in denen es auf den genauen Euro-Betrag ankommt, oder für Vergleichstabellen, in denen mehrere Merkmale gleichzeitig gegenübergestellt werden. Als Faustregel: Wenn die Zielgruppe eher nach einem bestimmten Wert sucht als nach einem Muster, ist eine Tabelle die bessere Wahl.

Häufige Fehler bei der Visualisierung

Auch gut gemeinte Diagramme können in die Irre führen. Einige der häufigsten Probleme:

Abgeschnittene Y-Achsen: Wenn die Y-Achse nicht bei Null beginnt, können kleine Unterschiede optisch dramatisch wirken. Besonders bei Balkendiagrammen verzerrt das die Wahrnehmung erheblich.

Irreführende Farbwahl: Wenn Farben keine logische Zuordnung haben oder zu wenig Kontrast bieten, wird das Diagramm schwer lesbar. Rot und Grün ohne zusätzliche Kodierung schließen zudem Menschen mit Farbfehlsichtigkeit aus.

3D-Effekte: Dreidimensionale Darstellungen mögen dekorativ wirken, verzerren aber Proportionen und erschweren das präzise Ablesen von Werten. Flache Darstellungen sind fast immer die bessere Wahl.

Zu viele Elemente auf einmal: Wenn ein einzelnes Diagramm zu viele Variablen, Kategorien oder Farben enthält, verliert es seine Aussagekraft. In solchen Fällen lohnt es sich, die Darstellung auf mehrere Diagramme aufzuteilen.

Unterschiedliche Achsen bei nebeneinander stehenden Diagrammen: Wenn mehrere Diagramme zum Vergleich nebeneinander gestellt werden, aber unterschiedliche Achsenskalierungen verwenden, entsteht ein verzerrter Eindruck. Ein Balken, der in Diagramm A gleich hoch ist wie in Diagramm B, kann einen völlig anderen Wert darstellen. Wer Diagramme zum Vergleich anordnet, sollte identische Achsen verwenden oder die Unterschiede deutlich kennzeichnen.

Kreisdiagramme für zu viele Kategorien: Tortendiagramme funktionieren nur bei wenigen Kategorien (zwei bis vier), deren Anteile sich deutlich unterscheiden. Sobald viele ähnlich große Segmente entstehen, lassen sich die Anteile kaum noch vergleichen. Ein sortiertes Balkendiagramm ist dann die klarere Wahl.

Fehlende Nulllinie bei Flächen- und Balkendiagrammen: Bei Flächendiagrammen und gestapelten Balken ist die Nulllinie der visuelle Anker. Fehlt sie oder wird sie verschoben, lassen sich Größenverhältnisse nicht mehr korrekt einschätzen.

Dekorative Elemente ohne Informationsgehalt: Illustrationen, Icons oder Hintergrundbilder, die keine Daten transportieren, lenken von der eigentlichen Aussage ab. Edward Tufte prägte dafür den Begriff „Chartjunk”. Jedes visuelle Element sollte eine Funktion haben.

Zeitachsen ohne gleichmäßige Intervalle: Wenn auf der X-Achse Zeitpunkte ungleichmäßig verteilt sind (zum Beispiel 2018, 2019, 2022, 2024), aber gleich weit auseinander dargestellt werden, entsteht ein falscher Eindruck der Entwicklung. Die Abstände auf der Achse müssen den tatsächlichen Zeitabständen entsprechen.

Checkliste für die Erstellung von Visualisierungen

Kriterium	Frage
Ziel	Ist die Frage/Botschaft klar definiert?
Diagrammtyp	Passt die Visualisierung zur Frage und den Daten?
Farbkontrast	Sind Farben barrierefrei und kontrastreich?
Beschriftung	Sind Achsen, Titel und Legende klar?
Einfachheit	Ist das Diagramm frei von überflüssigen Elementen?
Quellenangabe	Ist die Datenquelle angegeben?

Nachnutzbarkeit und DDI Codebook

DDI Codebook

Eine Umfrage ist durchgeführt, die Daten sind da – aber wie sieht es mit der Dokumentation aus? Welche Fragen wurden genau gestellt? Welche Antwortmöglichkeiten gab es? Wie sind die Antworten kodiert? Diese Informationen stecken oft nur im Umfragetool selbst oder im Kopf der Person, die den Fragebogen erstellt hat. Wenn diese Person die Organisation verlässt, geht das Wissen mit.

Das macht es schwer, Ergebnisse richtig einzuordnen, eine Erhebung zu wiederholen oder Fragen über verschiedene Projekte hinweg zu vergleichen. Dabei wäre genau das wertvoll: voneinander lernen, welche Fragen funktioniert haben – und welche nicht.

Eine gute Dokumentation der Methodik löst dieses Problem. Und dafür gibt es einen etablierten Standard: DDI Codebook.

Was ist DDI Codebook?

DDI Codebook ist ein internationaler Standard zur Dokumentation von Umfragedaten, der in der Sozialforschung seit vielen Jahren eingesetzt wird. Er beschreibt strukturiert, welche Fragen in einer Erhebung gestellt wurden, welche Antwortoptionen zur Verfügung standen und wie die Daten aufgebaut sind.

Wichtig dabei: Ein DDI Codebook enthält ausschließlich Metadaten – also Informationen über den Fragebogen selbst, nicht die Antworten der Teilnehmenden. Es dokumentiert, was gefragt wurde und wie, aber nicht, was jemand geantwortet hat. Deshalb ist das Teilen eines DDI Codebooks datenschutzrechtlich unproblematisch.

Technisch gesehen ist ein DDI Codebook eine XML-Datei. XML ist ein textbasiertes Datenformat, das sowohl von Menschen als auch von Software gelesen werden kann. Im Gegensatz zu einer Excel-Tabelle oder einem PDF hat XML eine feste Struktur mit sogenannten Tags – ähnlich wie Beschriftungen, die jedem Inhalt eine eindeutige Bedeutung geben.

Ein Beispiel: So sieht eine einfache Single-Choice-Frage im DDI-Codebook-Format aus (siehe Tab „DDI XML”). Daneben zeigen wir, wie dieselbe Frage in XLSForm sowie in den Tools LimeSurvey und KoboToolbox aussieht – das macht sichtbar, was DDI gegenüber den tool-spezifischen Formaten leistet.

survey

type	name	label
select_one bildungsgrad	bildungsgrad	Was ist Ihr höchster Bildungsabschluss?

choices

list_name	name	label
bildungsgrad	1	Kein Abschluss
bildungsgrad	2	Haupt- oder Realschulabschluss
bildungsgrad	3	Fachhochschulreife / Abitur
bildungsgrad	4	Abgeschlossene Berufsausbildung
bildungsgrad	5	Hochschulabschluss

Das <var>-Element beschreibt eine Variable. Innerhalb davon steht in <qstnLit> der genaue Fragetext, wie er den Befragten angezeigt wurde. Attribute wie intrvl="discrete" sagen aus, dass es sich um eine kategoriale Frage handelt, also eine mit festen Antwortmöglichkeiten. Solche Details wirken auf den ersten Blick technisch, aber sie sorgen dafür, dass die Frage eindeutig dokumentiert ist – unabhängig davon, in welchem Tool die Umfrage erstellt wurde. Eine vertiefende Übersicht der Fragetypen findet ihr unter Antworttypen.

Warum lohnt sich das?

Wenn Fragen in einem einheitlichen Format beschrieben sind, werden sie auffindbar, vergleichbar und wiederverwendbar. Andere Organisationen können sehen, wie eine Frage formuliert war, und sie für eigene Erhebungen übernehmen oder anpassen. Statt bei jeder neuen Umfrage von vorne anzufangen, entsteht über die Zeit ein gemeinsamer Bestand an erprobten Instrumenten.

Ihr müsst dafür kein XML von Hand schreiben. Mit survey2ddi stellen wir ein Tool bereit, das aus bestehenden Umfragen (z.B. aus KoboToolbox auf Basis von XLSForm) automatisch ein DDI Codebook erzeugt.

Das Ergebnis kann anschließend über unsere Fragendatenbank QWAC mit der Community geteilt werden. QWAC ist mehr als ein Ablageort: Erst wenn viele Organisationen ihre Instrumente dort einstellen, entsteht ein gemeinsamer Pool erprobter Fragen, aus dem alle schöpfen können. Das hat zwei konkrete Effekte:

Bessere Umfragen für alle: Wer eine neue Umfrage plant, kann auf Formulierungen zurückgreifen, die andere bereits getestet haben – statt jedes Mal bei Null anzufangen und dieselben Anfängerfehler zu wiederholen.
Vergleichbarkeit zwischen Organisationen: Werden gleiche oder ähnliche Fragen mehrfach eingesetzt, lassen sich Ergebnisse zwischen Projekten, Trägern und Erhebungszeitpunkten vergleichen. Ohne diese gemeinsame Basis bleibt jede Auswertung eine Insel.

Je mehr Organisationen mitmachen, desto wertvoller wird der Bestand für die gesamte Zivilgesellschaft. Das Veröffentlichen eurer Methodik in QWAC ist daher kein Extra-Aufwand am Ende, sondern ein zentraler Beitrag zur Infrastruktur, von der ihr selbst beim nächsten Projekt profitiert.

Integration mit survey2ddi und qwac

Quellen

#
Ackoff, Russell L. ( 1989 ). From Data to Wisdom. Journal of Applied Systems Analysis. https://www.researchgate.net/profile/Rob-Keller/post/Original_paper_of_From_data_to_wisdom_by_Ackoff_1989/attachment/63f67d8997e2867d5081d0de/AS%3A11431281121841684%401677098376991/download/Ackoff89.pdf
#
Adhikari, Divya Mani, Hartland, Alexander, Weber, Ingmar & Cannanure, Vikram Kamath ( 2025-07 ). Exploring LLMs for Automated Generation and Adaptation of Questionnaires. https://doi.org/10.1145/3719160.3736606
#
Antoun, Christopher, Couper, Mick P. & Conrad, Frederick G. ( 2017 ). Effects of Mobile versus PC Web on Survey Response Quality: A Crossover Experiment in a Probability Web Panel. Public Opinion Quarterly. https://doi.org/10.1093/poq/nfw088
#
Baur, Nina, Blasius, Jörg & Franzen, Axel ( 2014 ). Antwortskalen in standardisierten Befragungen. https://doi.org/10.1007/978-3-531-18939-0_51
#
Bisbee, James, Clinton, Joshua D., Dorff, Cassy, Kenkel, Brenton & Larson, Jennifer M. ( 10/2024 ). Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis. https://doi.org/10.1017/pan.2024.5
#
Borner, Katy, Bueckle, Andreas & Ginda, Michael ( 2019-02 ). Data visualization literacy: Definitions, conceptual frameworks, exercises, and assessments. Proceedings of the National Academy of Sciences. https://doi.org/10.1073/pnas.1807180116
#
Connor Desai, Saoirse & Reimers, Stian ( 2019 ). Comparing the use of open and closed questions for Web-based measures of the continued-influence effect. Behavior Research Methods. https://doi.org/10.3758/s13428-018-1066-z
#
Connor Desai, Saoirse & Reimers, Stian ( 2019 ). Comparing the Use of Open and Closed Questions for Web-Based Measures of the Continued-Influence Effect. Behavior Research Methods. https://doi.org/10.3758/s13428-018-1066-z
#
Dillman, Don A., Smyth, Jolene D. & Christian, Leah Melani ( 2014 ). Internet, Phone, Mail, and Mixed-Mode Surveys: The Tailored Design Method.
#
Décieux, Jean, Mergener, Alexandra, Neufang, Kristina & Sischka, Philipp ( 2015 ). Implementation of the forced answering option within online surveys: Do higher item response rates come at the expense of participation and answer quality?. Psihologija. https://doi.org/10.2298/PSI1504311D
#
Franzen, Axel, Baur, Nina & Blasius, Jörg ( 2014 ). Antwortskalen in standardisierten Befragungen. https://doi.org/10.1007/978-3-531-18939-0_51
#
Funke, F. ( 2016 ). A web experiment showing negative effects of slider scales compared to visual analogue scales and radio button scales. Social Science Computer Review. https://doi.org/10.1177/0894439315575477
#
Grice, H. Paul ( 1975 ). Logic and conversation. Syntax and Semantics. https://api.semanticscholar.org/CorpusID:222385009
#
Haines, Andy, Kuruvilla, Shyama & Borchert, Matthias ( 2004 ). Bridging the Implementation Gap between Knowledge and Action for Health. Bulletin of the World Health Organization. https://doi.org/10.1590/S0042-96862004001000005
#
Holbrook, Allyson & Lavrakas, Paul J. ( 2008 ). Mutually Exclusive. https://doi.org/10.4135/9781412963947.n312
#
Horst, Allison M., Hill, Alison Presmanes & Gorman, Kristen B. ( 2020-07 ). allisonhorst/palmerpenguins: v0.1.0. https://doi.org/10.5281/zenodo.3960218
#
Häder, Michael & Kühne, Mike ( 2009 ). Fragereihenfolgeeffekte. https://doi.org/10.1007/978-3-531-91490-9_17
#
Kaiser, Carolin, Kaiser, Jakob, Manewitsch, Vladimir, Rau, Lea & Schallner, Rene ( 2025-06-16 ). Simulating Human Opinions with Large Language Models: Opportunities and Challenges for Personalized Survey Data Modeling. https://doi.org/10.1145/3708319.3733685
#
Kempf-Leonard, Kimberly & Rubinstein, Gidi ( 2005 ). Knowledge Creation. https://www.sciencedirect.com/science/article/pii/B0123693985005533
#
Krosnick, Jon A., Vannette, David L. & Krosnick, Jon A. ( 2018 ). Questionnaire Design. https://doi.org/10.1007/978-3-319-54395-6_53
#
Lei, Yan, Pang, Liang, Wang, Yuanzhuo, Shen, Huawei, Cheng, Xueqi, Calzolari, Nicoletta, Kan, Min-Yen, Hoste, Veronique, Lenci, Alessandro, Sakti, Sakriani & Xue, Nianwen ( 2024-05 ). Qsnail: A Questionnaire Dataset for Sequential Question Generation. https://aclanthology.org/2024.lrec-main.1174/
#
Lenzner, Timo, Neuert, Cornelia & Otto, Wanda ( 2015 ). Kognitives Pretesting. GESIS Leibniz-Institut für Sozialwissenschaften (GESIS Survey Guidelines). https://doi.org/10.15465/sdm-sg_010
#
Liddell, Torrin M & Kruschke, John K ( 2018 ). Analyzing ordinal data with metric models: What could possibly go wrong?. Journal of Experimental Social Psychology. https://doi.org/10.1016/j.jesp.2018.08.009
#
Pakenham-Walsh, Neil ( 2004 ). Learning from one another to bridge the “know-do gap”. BMJ. https://doi.org/10.1136/bmj.329.7475.1189
#
Porst, Rolf ( 2014 ). Fragebogen: Ein Arbeitsbuch.
#
Porst, Rolf, Baur, Nina & Blasius, Jörg ( 2019 ). Frageformulierung. https://doi.org/10.1007/978-3-658-21308-4_57
#
Rowley, Jennifer ( 2007-04 ). The Wisdom Hierarchy: Representations of the DIKW Hierarchy. Journal of Information Science. https://doi.org/10.1177/0165551506070706
#
Shaughnessy, John J., Zechmeister, Eugene B. & Zechmeister, Jeanne S. ( 2012 ). Research Methods in Psychology.
#
Tourangeau, Roger & Yan, Ting ( 2007 ). Sensitive questions in surveys.. Psychological Bulletin. https://doi.org/10.1037/0033-2909.133.5.859
#
World Health Organization ( 2021 ). Evidence, Policy, Impact: WHO Guide for Evidence-Informed Decision-Making. https://apps.who.int/iris
#
Züll, Cornelia, Menold, Natalja, Baur, Nina & Blasius, Jörg ( 2019 ). Offene Fragen. https://doi.org/10.1007/978-3-658-21308-4_59

Wissensplattform Eins

Inhaltsverzeichnis

Einführung: Konzeption

Studiendesign & Umfragetypen

Umfragetypen nach Zweck

Bedarfserhebung

Wirkungsmessung

Studiendesigns

Querschnittsbefragung

Längsschnittbefragung

Wiederholte Querschnittsbefragung

Studiendesign und Forschungsfragen zusammenbringen

Forschungsfragen formulieren

Warum Forschungsfragen so wichtig sind

Vom Informationsbedarf zur Forschungsfrage

Schritt 1: Informationsbedarf klären

Schritt 2: Forschungsfragen formulieren

Schritt 3: Forschungsfragen priorisieren

Typische Fehler

Zu breit formuliert

Suggestiv oder wertend

Nicht mit einer Umfrage beantwortbar

Zu viele Forschungsfragen

Von der Forschungsfrage zum Fragebogen

Messtheorie & Konstrukte

Konstrukte, Dimensionen und Indikatoren

Konstrukt

Dimension

Indikator

Warum das wichtig ist

Klarheit bei der Auswertung

Vermeidung von Fehlinterpretation

Grundlage für die Operationalisierung

Gütekriterien: Validität und Reliabilität

Validität: Messen wir das Richtige?

Reliabilität: Messen wir zuverlässig?

Von der Theorie zur Praxis

Stichprobenauswahl

Zufallsstichprobe vs. Gelegenheitsstichprobe

Typische Verzerrungen

Abdeckungsproblem (Coverage Bias)

Antwortverzerrung (Response Bias)

Soziale Erwünschtheit (Social Desirability Bias)

Stichprobengröße

Was bedeutet das für die Aussagekraft der Umfrage?

Was könnt ihr tun?

Transparent berichten

Rücklaufquote erhöhen

Demografische Merkmale erfassen

Datenschutz

Typen von Online-Umfragen in Bezug auf ihren Umgang mit Personenbezug

Offen personenbezogene Umfrage (Klardatenverarbeitung)

Indirekt identifizierbare Umfrage

Nur aggregierte Veröffentlichung bei personenbezogener Rohdatenverarbeitung

Pseudonymisierte Umfrage

Getrennte Erhebung ohne Verknüpfung

Zunächst personenbezogen, später anonymisiert

Vollständig anonyme Umfrage

Maßnahmen

Datenschutzinformation

Rechtsgrundlage

Aufnahme ins Verzeichnis von Verarbeitungstätigkeiten

Schutzmaßnahmen

Datenschutzfolgeabschätzung

Häufige Fehler

Fälschlich von „anonym“ sprechen

Keine Zeit für Überarbeitung einplanen

Zu viele Fragen und unnötige Daten

Später entstehen weitere Ideen für die Nutzung von Daten, diese sind aber nicht im Zweck der Datenverarbeitung enthalten, über den die Nutzer*innen informiert worden sind.

Datenschutzinformationen zu kompliziert

Zugriff auf Daten durch gemeinsame Toolnutzung ungeklärt

Bei organisationsinternen Tools innerhalb der Cloudumgebung wird der Absender mitgespeichert

Löschen wird vergessen oder die Frist erst gar nicht festgelegt

Kein Abschluss passender Auftragsverarbeitungsverträge

Disclaimer

Einführung: Fragebogendesign

Operationalisierung

Vom Konstrukt zum Item

Vorhandene Skalen nutzen

Typische Fehler