Wenn Umfrageergebnisse nicht genutzt werden und daraus keine Handlungen folgen, wird aus Umfragen ein Selbstzweck. Deswegen denkt man bei Umfragen am Besten direkt mit, was aus ihnen folgen kann, bzw. erhebt Daten so, das sie möglichst direkt in Entscheidungen übersetzt werden können.
Die Gewinnung von Evidenz ist der Grund dafür, warum Entscheidungen aufgrund von Umfragen getroffen werden können bzw. sollten. Es ist zunächst wichtig zu erläutern, welche Rolle Umfragen als Methode in der Herstellung von Evidenz spielen und was Evidenz im Zusammenhang mit anderen Begriffen wie Daten ist.
Von Daten zu Evidenz
Wir stützen uns hier auf die ersten drei Stufen DIKW-Pyramide (data–information–knowledge–wisdom) von Ackoff (1989⤴), bei der Daten die unterste Stufe sind. Daten sind Produkte von Beobachtungen; sie sind objektive Fakten ohne Kontext. Informationen hingegen sind strukturierte Daten, die in einen Kontext gebracht wurden, sodass sie Bedeutung bekommen. Wenn eine teilnehmende Person bei einer Single-Choice-Frage ein Kreuz bei einer Antwortmöglichkeit setzt, ist das für sich genommen bedeutungslos. Betrachtet man diese Beobachtung jedoch im Kontext der Umfrage, wird sie zu dem Wert, den die zugehörige Variable für diese Person annimmt und damit zur Information.
Im Kontext der DIKW-Pyramide und Abwandlungen spricht man von Wissen, wenn Informationen mit Vorwissen verknüpft und handlungsrelevant (actionable) werden (Rowley, 2007⤴) . Handlungsrelevanz ist ein Kriterium für gute Umfragen, dass hier sogar in der Definition von Wissen mit eingebaut wird. Fragt ihr zum Beispiel nebenbei nach der Lieblingsjahreszeit eurer Mitglieder und erhaltet eine klare Verteilung (45 % bevorzugen den Sommer), ist diese Zahl gültige Information, verknüpft sich aber mit keinem Vorwissen eurer Organisation und beeinflusst keine Entscheidung. Sie bleibt deshalb Information und wird nie zu Wissen.
Wissen kann man nach einem generelleren Verständnis auch in ein Verhältnis zu Wahrheit setzen. Etwas kann z.B. aufgrund von Intuition oder Autorität für wahr gehalten werden. Der Wahrheit am nächsten kommt man jedoch durch die Anwendung von wissenschaftliche Methoden, was jedoch mit Abstrichen in der Praxis verbunden ist. In der Wissenschaft nimmt man nämlich an, dass man sich nie komplett sicher sein kann, die Wahrheit zu kennen, sondern sich dieser nur annähert (Kempf-Leonard & Rubinstein, 2005⤴) . Wissen und Erkenntnis verwenden wir bedeutungsgleich, da unser Wissen hier durchweg empirisch gewonnen ist: Erkenntnis ist Wissen, das aus empirischer Erfahrung hervorgeht, also aus Beobachtungen in Form von Daten.
Evidenz bezieht sich immer auf eine Aussage, etwa “Fahrradfahrende in Stadt X fühlen sich im Verkehr unsicher”. Eine Umfrage liefert Evidenz für eine solche Aussage, welche auch eine Hypothese sein kann, die in einer Umfrage untersucht wird. Zusammenhängend mit der Definition von (wissenschaftlichen) Wissen als Annäherung an die Warheit, ist Belastbarkeit die Stärke von Evidenz. Man spricht hier auch von Aussagekraft, gerade weil es darum geht, wie sehr und ob Erkenntnisse eine Aussage stützen.
Belastbarkeit von Evidenz
1. Studiendesign
Was euer Studiendesign überhaupt zulässt: Eine Querschnittsbefragung beschreibt einen Zustand, aber sie belegt keine Kausalität. Formuliert Aussagen so, dass sie zum Design passen, „Die Befragten schätzen sich als zufrieden ein” statt „Unser Programm hat die Zufriedenheit erhöht”.
2. Validität und Reliabilität
Ob eure Fragen tatsächlich das messen, was sie messen sollen, und zuverlässig messen. Wenn ihr ein Konstrukt wie Zufriedenheit nicht sauber definiert habt, bleibt unklar, was eine hohe Zustimmung eigentlich bedeutet.
3. Repräsentativität
Für wen eure Ergebnisse gelten, hängt von der Stichprobe ab. Eine Gelegenheitsstichprobe gilt streng genommen nur für die Antwortenden. Bei kleinen Stichproben sind absolute Zahlen ehrlicher als Prozentangaben, „3 von 3” statt „100%”.
Nah an der Wahrheit aber praxisfern?
Ausgehend davon, dass Wissen vorliegt, ist ein sogenannter Know-Do-Gap (Pakenham-Walsh, 2004⤴) bzw. Knowledge-Action-Gap (Haines et al., 2004⤴) , also eine Diskrepanz zwischen Wissen und Handeln, ein sektorübergreifendes Problem, an dem verschiedene Disziplinen arbeiten. Wissen ist hier zwar prinzipiell handlungsrelevant, wird aber nicht automatisch in Praxis übersetzt.
Selbst die stärkste Evidenz garantiert noch nicht, dass Entscheidungen getroffen werden. Der beste Ansatz dafür ist, Prozesse und Strukturen in Organisationen darauf zu optimieren, auf Evidenz reagieren zu können. Im nächsten Kapitel stellen wir dafür zwei Ansätze vor. Ein wichtiger Teil dieses optimalen Prozesse ist Kommunikation: wenn ihr in eurer Organisation keine Entscheidungsträger seid, solltet ihr eure Umfrageergebnisse optimal an letztere weitergeben, sodass daraus Entscheidungen folgen können. Dies ist der Inhalt von der Seite “Kommunizieren und Visualisieren”.
Zum Handeln nach Umfragen gehört auch die Kommunikation an die Öffentlichkeit und die Herstellung der Möglichkeit von Nachnutzbarkeit, worum es im Kapitel zu DDI-Codebook gehen soll.