Datenbereinigung

Von Rohdaten zum auswertbaren Datensatz.

Ihr habt Eure Datenerhebung abgeschlossen, Glückwunsch! Bevor es mit der statistischen Auswertung der erhobenen Daten weitergehen kann, solltet Ihr noch ein paar Gedanken in die Bereinigung Eurer Daten stecken. Wieso ist das wichtig? Je sauberer Eurer Datensatz ist, desto zuverlässiger sind auch Eure Ergebnisse. Indem Ihr Unstimmigkeiten, Fehlstellen und andere unerwünschte Fehler beseitigt, vermeidet Ihr, dass sich Verzerrungen oder ähnliches in Eure späteren Auswertungen einschleichen.

Dieser Schritt fühlt sich auf den ersten Blick vielleicht erst einmal etwas zäh und ausbremsend an (und es sollte in jedem Fall genügend Zeit dafür eingeplant werden!). Aber die gute Nachricht ist, viele der typischen Fehler könnt Ihr schon von vornherein ausschließen, indem Ihr bei der Erstellung Eurer Umfrage auf gewisse Dinge achtet. Welche das sind und wie sie mit der Qualität Eurer Daten zusammenhängen zeigen wir Euch im Folgenden.

Überblick verschaffen

Um loszulegen, solltet Ihr Euch zunächst einmal einen Überblick über Eure Daten verschaffen. Dies tut Ihr am besten, indem Ihr Euren Datensatz in einem Tabellenprogramm (bspw. Excel oder LibreOffice) öffnet. Im nächsten Schritt geht es nun darum, Probleme im Datensatz zu erkennen. Euch die folgenden Fragen zu beantworten, kann Euch helfen, ein Gefühl für Euren Datensatz zu gewinnen:

  • Wie sind fehlende Werte für unterschiedliche Fragetypen kodiert? Werden fehlende Werte bspw. als „0“ ausgefüllt? Bleiben fehlende Werte unentdeckt, können sich diese im nächsten Schritt verzerrend auf Eure Auswertung auswirken, bspw. wenn Ihr Prozentangaben berechnet.
  • Ab wann ist ein Datenpunkt für Euch relevant? Gibt es Teilnehmer:innen, die den Fragebogen nur bis zu einer gewissen Frage ausgefüllt haben? Für eine sinnvolle Auswertung müssen jedoch mehr oder gegebenenfalls alle Fragen beantwortet werden? Überlegt Euch, welche Fragen beantwortet sein müssen, damit ein Datenpunkt für Euch relevant ist, und sortiert die anderen aus.
  • Anhand welcher Frage lassen sich Dubletten eindeutig identifizieren? In manchen Umfragen kann es durchaus vorkommen, dass zwei Teilnehmer:innen denselben Vor- und Nachnamen haben. Genauso gut ist es aber auch denkbar, dass eine Person die Umfrage häufiger mit variierenden Antworten ausfüllt. Überlegt Euch anhand welcher Frage bzw. Fragekombination Ihr Dubletten eindeutig identifizieren könnt. Wird die E-Mailadresse abgefragt, eignet sich die Angabe häufig sehr gut dafür.
  • Weitere häufige Fehler sind z.B. inkonsistente Formate (bspw. bei der Angabe eines Datums), Tippfehler oder variierende Schreibweisen. Um solche unerwünschten Einträge zu entdecken, bietet sich die Nutzung von Sortier- und Filterfunktionen an. Viele Fehler lassen sich jedoch bereits durch ein geschicktes Fragebogendesign vermeiden – dazu gleich mehr!

Daten bereinigen

Nachdem Ihr die Problemstellen in Eurem Datensatz identifiziert habt, geht es nun darum, diesen zu bereinigen. Es hat sich bewährt, keine direkten Änderungen am Rohdatensatz vorzunehmen, damit Anpassungen immer nachvollziehbar bleiben und bei Bedarf rückgängig gemacht werden können. Dies ist insb. bei der Verwendung von Programmiersprachen zur Umsetzung von Automatisierungen üblich.

Doch auch wer manuelle Schritte zur Datenbereinigung umsetzt, sollte am besten mit einer Kopie des Datensatzes arbeiten bzw. dafür sorgen, dass der Datensatz bspw. im Erhebungstool verfügbar bleibt. Zusätzlich ist es sinnvoll, alle Änderungsschritte zu dokumentieren. Dadurch bleibt die Datenbereinigung nachvollziehbar und schnell wiederholbar. Bei einer erneuten Erhebung lässt sich außerdem leichter feststellen, ob Änderungen an der Umfrage selbst zu einer verbesserten Datenqualität beitragen.

Weiterführenden Input zur Datenbereinigung in Excel oder einem ähnlichen Tabellenprogramm findet Ihr hier:

Wer sich eine umfassendere Funktionalität und bessere Automatisierungsoptionen als bei Tabellenprogrammen wünscht, sollte den Umstieg auf die kostenfreien Programmiersprachen Python und R in Betracht ziehen. Um eine einfache Pipeline zur Bereinigung von Datensätzen zu programmieren, sind bereits Grundkenntnisse ausreichend.

Datenqualität bereits beim Umfragedesign mitdenken

Wer sich einen großen Aufwand beim Bereinigen von Umfragedaten ersparen will, sollte sich lieber bereits beim Erstellen des Fragebogens Gedanken zum Design machen. Einige häufige Fehler und damit einhergehende Einbußen in der Datenqualität lassen sich bereits gut im Vorfeld vermeiden.

  • Freitextfelder vermeiden: Wenn möglich, sollte auf Freitextfelder so gut es geht verzichtet werden, denn die Eingabe von freiem Text birgt immer die Gefahr, dass sich Tippfehler einschleichen, variierende Schreibweisen auftauchen oder unterschiedliche Formatierungen verwendet werden. Beim Erstellen der Umfrage lohnt es sich also zu prüfen: Eignet sich statt eines Textfelds bspw. ein Dropdown-Menü oder eine vorgegebene Zeichenanzahl?
  • Format vorgeben: Weiter können Formatierungsfehler vermieden werden, indem für die Eingabe von Informationen bereits ein gewissen Format vorausgesetzt wird (z.B. DD/MM/YYYY für Datumsabfragen).
  • Fehlende Eingaben vermeiden: Fehlende Eingaben sind ein klassisches Problem bei bei Datenerhebungen. Im Fall von Umfragen lassen sie sich bspw. durch die Einführung von Pflichtfeldern vermeiden. Diese bergen jedoch die Gefahr, dass Teilnehmende falsche Angaben machen, da nicht alle Fragen von allen Personen beantwortet werden können oder wollen. Anstatt bei allen Fragen eine Antwort zu erzwingen, kann entweder die zusätzliche Option „keine Antwort“ eingeführt oder die „Skip-Logic“ genutzt werden. So werden manche Fragen erst dann relevant, wenn eine bestimmte Antwort auf eine vorangegangene Frage gegeben wurde.
  • Aufmerksamkeitstests: Eine bewährte Methode, um die Aufmerksamkeit der Teilnehmenden bzw. die Richtigkeit ihrer Antworten zu testen, ist das gelegentliche Einstreuen von sogenannten Testfragen. Diese fragen nichts Inhaltliches ab, sondern geben an, welche Antwort angekreuzt werden soll. Bei der Datenbereinigung kann so ein erster schneller Durchlauf zur Aussortierung von Datenpunkten durchgeführt werden.
  • Informationen möglichst separat abfragen: Bei der Datenbereinigung sind manche Fehlstellen nur sehr schwer festzustellen, insb. dann, wenn Informationen gesammelt abgefragt werden und unvollständige Eingaben im Datensatz nicht als solche identifiziert werden. Ein Beispiel hierfür ist die Adressabfrage. Anstatt die Antwort in einem Feld abzufragen, sollten pro Angabe (Straße, Hausnummer, Postleitzahl, Stadt, ggf. Bundesland) separate Eingabefelder genutzt werden. Dies erlaubt auch eine genauere Formatvorgabe und beugt zusätzlichen Fehlern vor.