Pretesting

Bevor ein Fragebogen an die eigentliche Zielgruppe geht, sollte er mit einer kleinen Gruppe getestet werden. Das nennt man Pretest. Ziel ist, Probleme zu finden, solange sie sich noch beheben lassen, und nicht erst, wenn die ersten 50 Antworten unbrauchbar sind.

Ein Pretest hilft dabei,

• Fehler im Fragebogen zu entdecken (Tippfehler, kaputte Filter, falsche Antwortoptionen),
• die Verständlichkeit der Fragen aus Sicht der Zielgruppe zu überprüfen,
• die Ausfülldauer realistisch abzuschätzen,
• technische Probleme zu identifizieren (Mobile-Darstellung, Browser, Ladezeiten),
• die Akzeptanz zu prüfen: Wirken Fragen zu lang, zu invasiv, zu kompliziert?

Das Grundvorgehen ist immer dasselbe: kleine Stichprobe testen lassen, Feedback einholen, Anpassungen vornehmen. Bei größeren Änderungen lohnt sich eine zweite Runde. Wichtig: Auch ein sehr kleiner Pretest, etwa mit zwei oder drei Personen, ist immer besser als gar keiner.

Methoden

Es gibt verschiedene Pretest-Methoden, die unterschiedliche Arten von Problemen aufdecken. In der Praxis lassen sie sich gut kombinieren.

Expert*innen-Review

Personen mit Fachwissen zum Thema, zur Zielgruppe oder zu Methodik prüfen den Fragebogen, zum Beispiel Kolleg*innen aus dem Team, methodisch erfahrene Partner*innen oder Personen, die die Zielgruppe gut kennen.

• Stark bei: methodischen Schwächen, problematischen Formulierungen, Logikfehlern.
• Schwach bei: Wie eine 60-jährige Ehrenamtliche aus dem Sportverein die Frage tatsächlich versteht, lässt sich so nicht beurteilen.
• Aufwand: gering. Schneller erster Check, sollte immer gemacht werden.

Kognitive Pretests

Beim kognitiven Pretest füllt eine Person aus der Zielgruppe den Fragebogen aus, während ihr daneben sitzt (oder per Video-Call zuschaut) und beobachtet, wie sie zu ihren Antworten kommt. Es gibt drei Varianten, die sich gut kombinieren lassen:

• Lautes Denken (Think-Aloud): Testpersonen sprechen beim Ausfüllen laut aus, was sie gerade denken. So wird sichtbar, an welchen Stellen sie stocken, rätseln oder die Frage anders verstehen als gemeint.
• Probing: Gezielte Nachfragen während oder nach dem Ausfüllen, zum Beispiel „Was haben Sie unter ‘regelmäßig’ verstanden?”, „Wie sind Sie zu der Antwort ‘eher zufrieden’ gekommen?” oder „Gab es Fragen, bei denen Sie sich unsicher gefühlt haben?”. Probing fängt auch Aspekte ein, die im reinen Think-Aloud oft untergehen: ob Fragen als zu invasiv, zu lang oder unangenehm wahrgenommen wurden. Damit deckt diese Methode neben dem Verständnis auch die Akzeptanz des Fragebogens ab (Lenzner et al., 2015⤴) .
• Verhaltensanalyse: Beobachten und Notieren von Zögern, Zurückspringen, Korrekturen oder unsicherer Körperhaltung. Funktioniert auch remote über geteilten Bildschirm oder Bildschirmaufnahmen. Findet unbewusste Schwierigkeiten, die Testpersonen selbst nicht benennen würden.

Stark/Schwach/Aufwand zusammengefasst:

• Stark bei: Verständnisproblemen, Mehrdeutigkeiten, unklaren Antwortoptionen, ungewohnten Frageformaten (→ Antworttypen), Akzeptanz und unbewussten Schwierigkeiten.
• Schwach bei: sensiblen Themen (laut über Einkommen sprechen ist unangenehm). Die Situation ist außerdem künstlich.
• Aufwand: höher. Pro Person intensiver plus eine Person, die durchs Interview führt.

Pilottest

Beim Pilottest geht der Fragebogen an eine kleine Stichprobe aus der Zielgruppe. Im Unterschied zu den anderen Methoden bekommt ihr hier echte Daten unter realistischen Bedingungen.

Wie groß die Stichprobe sein muss, hängt davon ab, was ihr herausfinden wollt, und ist im NPO-Kontext oft durch das begrenzt, was überhaupt machbar ist. Schon 5–10 Personen reichen, um die Ausfülldauer realistischer einzuschätzen und offensichtliche technische Probleme zu finden. Für aussagekräftige Antwortverteilungen oder Abbruchquoten bräuchte es eigentlich mehr. Das ist für die meisten kleinen Organisationen unrealistisch, aber kein Grund, ganz auf einen Pilottest zu verzichten.

Worauf achten:

• Ausfülldauer im Median: oft wird unterschätzt, wie lange das Ausfüllen wirklich dauert.
• Abbrüche: An welcher Frage steigen Leute aus?
• Antwortverteilungen: Klumpen alle auf einer Skalenstufe? Wählt niemand bestimmte Optionen?
• Filterlogik: Landen Leute in den richtigen Zweigen?
• „Sonstiges”-Freitexte: Welche Themen tauchen wiederholt auf? Hinweis auf fehlende Kategorien.

Welche Methode wann?

Die richtige Methode hängt ab von:

• Zeit und Ressourcen: Habt ihr ein paar Stunden oder mehrere Tage?
• Komplexität und Sensibilität des Themas: Bei heiklen Fragen sind kognitive Pretests schwierig.
• Digital vs. analog: Pilottest deckt nur bei digitalen Umfragen technische Probleme auf.
• Zielgruppe und Erreichbarkeit: Wenn ihr nur schwer an Befragte herankommt, ist ein großer Pilottest unrealistisch.

Was tun mit den Ergebnissen?

Pretesting bringt nur etwas, wenn die Ergebnisse auch in den Fragebogen einfließen. Hilfreich ist eine kurze Tabelle mit Frage / gefundenes Problem / Änderung / Entscheidung. Das hilft beim Überblick und später bei der Methodendokumentation. Nicht jeder Hinweis muss umgesetzt werden, aber jede bewusste Entscheidung gegen eine Änderung sollte dokumentiert und im besten Fall kurz begründet sein. Nach größeren Anpassungen lohnt sich eine zweite, kurze Runde mit ein paar neuen Testpersonen.

Wenn gar kein Pretest möglich ist

Auch das Feedback von ein, zwei Kolleg*innen findet zuverlässig Tippfehler, ungeeignete Fragen (→ Fragen formulieren) und technische Probleme wie kaputte Mobile-Darstellung oder lange Ladezeiten.

Wenn wirklich kein Test möglich ist, hilft es auf bereits getestete Fragen und Skalen zurückgreifen. In unserer Fragendatenbank QWAC findet ihr Fragen, die im NPO-Kontext bereits erprobt wurden.

KI für Pretesting

Sprachmodelle können einen echten Pretest nicht ersetzen, aber als zusätzlicher Check sind sie nützlich, vor allem, wenn ihr keinen Zugang zu Testpersonen habt.

Zwei pragmatische Anwendungen:

• Generelles Feedback: Den Fragebogen einem Sprachmodell vorlegen und nach Klarheit, Neutralität, Reihenfolge und Verständlichkeit fragen. Findet oft offensichtliche Formulierungsprobleme.
• Personas: Sprachmodelle können realistische Profile eurer Zielgruppe generieren („ehrenamtlicher Kassenwart, 64 Jahre, städtischer Sportverein”) und den Fragebogen aus deren Perspektive durchgehen. Hilft, blinde Flecken zu finden, ersetzt aber keine echten Stimmen.

Wichtig: KI-Antworten sind systematisch zu positiv und zu homogen. Studien zeigen, dass persona-basierte LLM-Antworten zwar Mittelwerte von menschlichen Antworten brauchbar approximieren, aber einen deutlichen Positivitäts-Bias und eine zu geringe Varianz aufweisen (Kaiser et al., 2025⤴) (Bisbee et al., 2024⤴) . Sie taugen, um grobe Probleme zu finden, nicht, um die Zustimmung in der echten Zielgruppe abzuschätzen.