Stichprobenauswahl

Bevor man eine Umfrage startet, lohnt es sich kurz zu reflektieren: “Wen erreichen wir eigentlich mit unserer Umfrage und insbesondere wen erreichen wir nicht?” Die Antwort auf diese Frage beeinflusst, welche Schlüsse man am Ende ziehen kann.

Stellt euch vor, eine offene Jugend-Werkstatt möchte wissen, wie ihr Angebot bei den Teilnehmenden ankommt. Sie erstellt einen Fragebogen mit Fragen zur Zufriedenheit, zu gelernten Fähigkeiten und zur beruflichen Orientierung. Aber wer füllt den Fragebogen tatsächlich aus? Und was bedeutet das für die Ergebnisse? Genau darum geht es in diesem Text.

Zufallsstichprobe vs. Gelegenheitsstichprobe

In der Theorie wäre das Ideal eine Zufallsstichprobe: Jede Person aus der Zielgruppe hat die gleiche Chance, befragt zu werden. Das ist der Goldstandard, weil die Ergebnisse dann exemplarisch die gesamte Zielgruppe repräsentieren. In der Praxis ist das für NPOs aber selten machbar — es gibt oft keine vollständige Liste aller Personen in der Zielgruppe, und selbst wenn, lassen sich nicht alle erreichen.

Was stattdessen meistens passiert, ist eine Gelegenheitsstichprobe (englisch: Convenience Sample): Befragt werden die Personen, die gut erreichbar sind und mitmachen wollen. Bei unserer Jugend-Werkstatt wären das vermutlich Teilnehmende, die aktuell regelmäßig in die Werkstatt kommen und daher leicht zu erreichen sind. Das ist völlig normal und oft der einzig gangbare Weg — aber es ist wichtig, sich der Konsequenzen bewusst zu sein.

Typische Verzerrungen

Wenn unsere Stichprobe nicht zufällig ist, können verschiedene Verzerrungen (englisch: Biases) auftreten. Hier die wichtigsten:

Abdeckungsproblem (Coverage Bias)

Nicht alle Personen der Zielgruppe haben überhaupt die Möglichkeit, an der Umfrage teilzunehmen. In unserem Beispiel: Wer die Werkstatt nach kurzer Zeit wieder verlassen hat, bekommt die Umfrage wahrscheinlich gar nicht zu sehen — dabei wäre gerade deren Feedback besonders wertvoll. In Fall einer anderen NPO könnte eine reine Online-Umfrage die Teile der Zielgruppe ausschließen, die keinen Internet Zugang haben oder weniger fit mit Computern sind.

Antwortverzerrung (Response Bias)

Selbst unter den Personen, die die Umfrage erhalten, antworten nicht alle — und die, die antworten, sind oft nicht repräsentativ für die Gesamtgruppe. Wer sich in der Werkstatt wohlfühlt, kommt vermutlich häufiger und nimmt sich evtl. eher die Zeit für den Fragebogen. Jugendliche, die unzufrieden sind oder nur selten vorbeischauen, haben vielleicht weniger Motivation den Fragebogen auszufüllen. Es könnte also sein, dass die Zufriedenheit durch diese Art der Antwortverzerrung überschätzt wird.

Soziale Erwünschtheit (Social Desirability Bias)

Ein weiterer Effekt, der die Frage nach der Zufriedenheit beeinflussen kann, ist die Tendenz sozial erwünschte Antwortoptionen zu präferieren. Menschen neigen dazu, so zu antworten, wie sie glauben, dass es erwartet wird. Insbesondere wenn die Teilnehmenden wissen, dass die Werkstatt selbst die Umfrage durchführt, fällt es schwerer, bei einer Frage wie “Ich fühle mich wohl und akzeptiert” ehrlich “Stimme nicht zu” anzukreuzen. Auch bei sensiblen Themen wie der beruflichen Situation kann dieser Effekt auftreten.

Was bedeutet das für die Aussagekraft der Umfrage?

Durch diese Verzerrungen gelten die Ergebnisse der Umfrage streng genommen nur für die Personen, die tatsächlich geantwortet haben. Trotzdem kann man versuchen Schlüsse auf die gesamte Zielgruppe zu schließen. Es ist dabei allerdings wichtig, die Einschränkungen bei der Stichprobenzusammensetzung ehrlich zu kommunizieren. Auch statistische Auswertungen, wie sie im Abschnitt zur schließenden Statistik beschrieben werden, gehen von einer Zufallsstichprobe aus. Wenn diese nicht gegeben ist, solltet ihr statistische Schlüsse mit besonderer Vorsicht interpretieren.

Diese Einschränkungen treten in der Umfragearbeit bei NPOs sehr häufig auf. Es ist wichtig sich derer bewusst zu sein und zu verstehen wie sie die Ergebnisse beeinflussen können. Trotzdem ist es sehr viel besser eine Umfrage mit Einschränkungen durchzuführen als gar keine und es gibt auch Schritte mit denen ihr die Aussagekraft eurer Umfrage erhöhen könnt.

Was könnt ihr tun?

Transparent berichten

Das Wichtigste: Seid ehrlich darüber, wie eure Stichprobe zustande kam. Ein Satz wie “Von ca. 80 aktiven Teilnehmenden haben 30 die Umfrage ausgefüllt. Ehemalige Teilnehmende wurden nicht erreicht.” stärkt eure Glaubwürdigkeit und zeigt, dass ihr euch mit den Konsequenzen einer Gelegenheitsstichprobe auseinandergesetzt habt. Wenn ihr noch sagen könnt welche Maßnahmen ihr zusätzlich ergriffen habt um die Repräsentativität eurer Stichprobe zu erhöhen, zeichnet euch das noch zusätzlich aus.

Rücklaufquote erhöhen

Je mehr Personen aus eurer Zielgruppe antworten, desto aussagekräftiger werden die Ergebnisse. Erinnerungen versenden, den Fragebogen kurz halten und einen einfachen Zugang (z.B. QR-Code vor Ort) bieten — das alles hilft.

Demografische Merkmale erfassen

Wenn ihr grundlegende Merkmale wie Alter, Geschlecht oder Länge der Mitgliedschaft abfragt (aber siehe Datenschutz), könnt ihr im Nachhinein einschätzen, ob bestimmte Gruppen in euren Antworten über- oder unterrepräsentiert sind. Wenn ihr z.B. wisst, dass eure Teilnehmenden zu 60% weiblich sind, aber 80% der Umfrageantworten von weiblichen Teilnehmenden kommen, ist das ein Hinweis auf eine Verzerrung. Es gibt sogar statistische Verfahren, die solche Unterschiede nachträglich korrigieren können.