Data und Text Mining mit handschriftlichen Quellen: Belohnende Herausforderung
Ich heiße euch zu meinem dritten Blogeintrag willkommen! Seit dem letzten Eintrag hat sich wieder viel getan und es wurde viel Zeit in die Bearbeitung der handschriftlich verfassten Briefe aus dem Jahr 1915 und 1916 investiert, damit nun endlich mit diesen gearbeitet werden kann.
Heute wollen wir zusammen erstmalig mit einem Teil des bereits erwähnten Quellenbestandes der Briefkorrespondenz Unterrichter arbeiten und versuchen uns damit direkt in den vielseitigen Möglichkeiten von Data und Text Mining. Dabei müssen zuerst in aller Kürze diese beiden Begriffe erklärt werden. Bei Data Mining handelt es sich um eine Methode, die es uns erlaubt, bestimmte Informationen aus riesigen Datenmengen zu extrahieren. Text Mining ist dabei insofern mit dem Begriff des Data Minings verbunden, als es sich dabei um eine Sonderform handelt mit der strukturelle Ähnlichkeiten und Muster untersucht werden können. Dabei stehen uns zwei Programme zur Verfügung: Voyant Tools (Voyant Tools (voyant-tools.org) – eine open source Software mit der man direkt im Browser arbeiten kann – und Overview (Overview — Visualize your documents (overviewdocs.com), einer Software die die Suche in und Visualisierung sowie Zusammenfassung von großen Datenmengen ermöglicht und bei der man nach einer kostenlosen Anmeldung direkt loslegen kann.
Beide Seiten bieten den Nutzenden einen sehr raschen Einstieg in die Software, das Hochladen der Dateien funktioniert schnell und – so lange man die richtige Dateiart gewählt hat (Achtung: Frust kann aufkommen) – problemlos. So weit so gut, aber man darf nicht vergessen, dass bis zu diesem Zeitpunkt schon sehr viel Vorarbeit geleistet wurde! Einer der wichtigsten Punkte der im Umgang mit Data/Text Mining-Programmen beachtet werden muss ist, dass dies sehr viel Vorbereitung benötigt! Allen voran müssen die Handschriften maschinenlesbar gemacht und strukturiert werden. Im besten Fall funktioniert das mit Transkribus, im aufwändigen Fall (wie bei den Quellen die ich verwendet habe, müssen diese erst manuell transkribiert und Transkribus damit trainiert werden. Probleme und etwaige Sackgassen erscheinen dabei schon bei unleserlicher Handschrift). Erst dann kann in den beiden Programmen sinnvoll damit gearbeitet werden. Hierzu wurden für Übungszwecke 8 Briefe von Hermine von Unterrichter an ihren Mann Rudolf von Unterrichter mit dem Fokus auf Oktober 1915 und 1916 ausgewählt und verwendet.


Bei beiden Programmen landet man nach dem Hochladen der Dateien auf sehr informationsgeladenen Hauptseiten, die auf den ersten Blick sehr erschlagend sein können. Im Zentrum stehen aber stets Visualisierungen des Korpus in Form einer Word-Cloud in denen einzelne Begriffe je nach Frequenz wiedergegeben werden. Hier sei auf die dringend notwendigen Hilfestellungen auf den jeweiligen Seiten verwiesen, die den ersten Einstieg ermöglichen. Nachdem erste erfolglose Versuche absolviert und aus den Fehlern gelernt wurde, in denen die Word-Clouds sehr untaugliche Ergebnisse wiedergaben, konnte aber immer besser mit den Programmen gearbeitet werden.


Die Umwandlung in PDF-Dateien lieferte dann schließlich das erhoffte Ergebnis. Beide Seiten spuckten innerhalb kürzester Zeit sehr brauchbare Ergebnisse aus, mit denen gut gearbeitet werden konnte. Vor dem Hintergrund dieses Erfolgs kann auch ein erster Vergleich zwischen Voyant-Tools und Overview gezogen werden. Voyant Tools hat den Vorteil, dass es sehr schnell und ohne Anmeldung funktioniert und eine sehr schöne Visualisierung der Dateien liefert. Insbesondere die weiteren Visualisierungstools, wie etwa die in der folgenden Abbildung sichtbaren Darstellung von Links, bieten sehr viele Möglichkeiten, interessante Aspekte hervorzuheben und neue Fragestellungen zu entwickeln. Auch die im unteren linken Bereich der Seite dargestellten Zusammenfassung sämtlicher Dateien ermöglicht einen sehr übersichtlichen und interessanten Überblick über die Länge der Briefe oder etwa die Anzahl der Wörter in einem Brief.


Auch Overview ermöglicht die Darstellung der am häufigsten vorkommenden Worte in einer Word-Cloud, wobei ich hier jene von Virtual Tools vorziehe, da sie deutlich aussagekräftigere Ergebnisse bei den gleichen Daten liefert. Insgesamt kann gesagt werden, dass Voyant Tools einen sehr guten ersten und vielseitigen Überblick über die Dateien gibt, während hier Overview deutlich eingeschränkter ist. Die Stärke von Overview liegt jedoch definitiv in der weiteren Bearbeitung der Dateien und im Tiefgang. Insbesondere die Folder-Darstellung in Form eines Trees liefert einen sehr guten Überblick über den jeweiligen Herkunftsort gewisser Worte in den einzelnen Briefen. Dadurch wird das Suchen und Finden von einzelnen Wörtern auch bei einer weitaus größeren Datenmenge möglich: somit kann auf jeden Fall die sprichwörtliche Nadel im Heuhaufen gefunden werden. Overview kann generell bei der Verwaltung der Dateien punkten, da es das Anlegen und Speichern von sogenannten Document-Sets ermöglicht. Darin liegt auch der Grund, weshalb man sich bei Overview mit einem Konto anmelden muss. Die Document-Sets können dann immer wieder erweitert, individuell bearbeitet und ausgewertet werden. Die Handhabe funktioniert dabei sehr gut.


Zusammengefasst kann nun also folgendes über Data und Text Mining und die zwei dafür entwickelten Programme gesagt werden: Der Aufwand ist ziemlich groß, der Umgang damit muss auf jeden Fall regelmäßig geübt werden aber das Ergebnis sieht vielversprechend aus und lässt sich je nach Fragestellung vielseitig für geschichtswissenschaftliche Projekte verwenden. Beide Programme besitzen sehr viel Potenzial und Anwendungsmöglichkeiten in die man sich noch weiter vertiefen kann. Es sei jedoch noch einmal darauf hingewiesen, dass die Vorbereitung der Dateien, insbesondere bei Handschriften, sehr umfangreich ist und sich die Anwendung der beiden Programme erst bei einem großen Quellenbestand rentiert, bei denen der Aufwand zum eigenhändigen Nachsehen zu groß wird. Aber genau für dieses Zweck wurden Voyant Tools, Overview und andere Data Mining Programme ja entwickelt. Hier kann dann insbesondere die Stärke von Overview genutzt werden: das ordentliche Sortieren der Document Sets. Da auch mein Quellenbestand sehr umfangreich ist, möchte ich zur Aufbereitung der Dateien und vor allem aufgrund der einfachen Möglichkeit des Durchsuchens großer Datenmengen auf jeden Fall mit Overview weiterarbeiten und bin schon gespannt, welche Ergebnisse sich bei der Verwendung eines weitaus umfangreicheren Datensatzes erzielen lassen.