Data und Text Mining mit handschriftlichen Quellen: Belohnende Herausforderung

Ich heiße euch zu meinem dritten Blogeintrag willkommen! Seit dem letzten Eintrag hat sich wieder viel getan und es wurde viel Zeit in die Bearbeitung der handschriftlich verfassten Briefe aus dem Jahr 1915 und 1916 investiert, damit nun endlich mit diesen gearbeitet werden kann.

Heute wollen wir zusammen erstmalig mit einem Teil des bereits erwähnten Quellenbestandes der Briefkorrespondenz Unterrichter arbeiten und versuchen uns damit direkt in den vielseitigen Möglichkeiten von Data und Text Mining. Dabei müssen zuerst in aller Kürze diese beiden Begriffe erklärt werden. Bei Data Mining handelt es sich um eine Methode, die es uns erlaubt, bestimmte Informationen aus riesigen Datenmengen zu extrahieren. Text Mining ist dabei insofern mit dem Begriff des Data Minings verbunden, als es sich dabei um eine Sonderform handelt mit der strukturelle Ähnlichkeiten und Muster untersucht werden können. Dabei stehen uns zwei Programme zur Verfügung: Voyant Tools (Voyant Tools (voyant-tools.org) – eine open source Software mit der man direkt im Browser arbeiten kann – und Overview (Overview — Visualize your documents (overviewdocs.com), einer Software die die Suche in und Visualisierung sowie Zusammenfassung von großen Datenmengen ermöglicht und bei der man nach einer kostenlosen Anmeldung direkt loslegen kann.

Beide Seiten bieten den Nutzenden einen sehr raschen Einstieg in die Software, das Hochladen der Dateien funktioniert schnell und – so lange man die richtige Dateiart gewählt hat (Achtung: Frust kann aufkommen) – problemlos. So weit so gut, aber man darf nicht vergessen, dass bis zu diesem Zeitpunkt schon sehr viel Vorarbeit geleistet wurde! Einer der wichtigsten Punkte der im Umgang mit Data/Text Mining-Programmen beachtet werden muss ist, dass dies sehr viel Vorbereitung benötigt! Allen voran müssen die Handschriften maschinenlesbar gemacht und strukturiert werden. Im besten Fall funktioniert das mit Transkribus, im aufwändigen Fall (wie bei den Quellen die ich verwendet habe, müssen diese erst manuell transkribiert und Transkribus damit trainiert werden. Probleme und etwaige Sackgassen erscheinen dabei schon bei unleserlicher Handschrift). Erst dann kann in den beiden Programmen sinnvoll damit gearbeitet werden. Hierzu wurden für Übungszwecke 8 Briefe von Hermine von Unterrichter an ihren Mann Rudolf von Unterrichter mit dem Fokus auf Oktober 1915 und 1916 ausgewählt und verwendet.

Die Startseite von Voyant Tools ist sehr simpel gestaltet: Man startet direkt mit jener Seite in der die Dateien hochgeladen werden müssen (Eigene Aufnahme: Manuel Schmidinger).

Die Startseite von Overview sieht dabei schon etwas voller aus, da man sich dafür registrieren und anmelden muss. Es wird jedoch auch gleich ein Tutorial Video mitgeliefert (Eigene Aufnahme: Manuel Schmidinger).

Bei beiden Programmen landet man nach dem Hochladen der Dateien auf sehr informationsgeladenen Hauptseiten, die auf den ersten Blick sehr erschlagend sein können. Im Zentrum stehen aber stets Visualisierungen des Korpus in Form einer Word-Cloud in denen einzelne Begriffe je nach Frequenz wiedergegeben werden. Hier sei auf die dringend notwendigen Hilfestellungen auf den jeweiligen Seiten verwiesen, die den ersten Einstieg ermöglichen. Nachdem erste erfolglose Versuche absolviert und aus den Fehlern gelernt wurde, in denen die Word-Clouds sehr untaugliche Ergebnisse wiedergaben, konnte aber immer besser mit den Programmen gearbeitet werden.

Bei Voyant verursachte das Hochladen von zip.-Dateien Probleme, der Ladevorgang schien nie enden wollend. Dies war aber eindeutig ein Bedienerfehler! (Eigene Aufnahme: Manuel Schmidinger)
Darstellung der ersten Ergebnisse auf Overview. Schnell wird deutlich, dass hier ein Problem vorliegt. Dies konnte rasch behoben werden (Eigene Aufnahme: Manuel Schmidinger).

Die Umwandlung in PDF-Dateien lieferte dann schließlich das erhoffte Ergebnis. Beide Seiten spuckten innerhalb kürzester Zeit sehr brauchbare Ergebnisse aus, mit denen gut gearbeitet werden konnte. Vor dem Hintergrund dieses Erfolgs kann auch ein erster Vergleich zwischen Voyant-Tools und Overview gezogen werden. Voyant Tools hat den Vorteil, dass es sehr schnell und ohne Anmeldung funktioniert und eine sehr schöne Visualisierung der Dateien liefert. Insbesondere die weiteren Visualisierungstools, wie etwa die in der folgenden Abbildung sichtbaren Darstellung von Links, bieten sehr viele Möglichkeiten, interessante Aspekte hervorzuheben und neue Fragestellungen zu entwickeln. Auch die im unteren linken Bereich der Seite dargestellten Zusammenfassung sämtlicher Dateien ermöglicht einen sehr übersichtlichen und interessanten Überblick über die Länge der Briefe oder etwa die Anzahl der Wörter in einem Brief.

Die Darstellung der Wortverknüpfungen und die Ansicht des Inhaltes der Briefe in Virtual Tools (Eigene Aufnahme: Manuel Schmidinger).
Die Darstellung der Word-Cloud in Virtual Tools: Auch die Einspeisung von 8 Briefen liefert interessante Ergebnisse (Eigene Aufnahme: Manuel Schmidinger).

Auch Overview ermöglicht die Darstellung der am häufigsten vorkommenden Worte in einer Word-Cloud, wobei ich hier jene von Virtual Tools vorziehe, da sie deutlich aussagekräftigere Ergebnisse bei den gleichen Daten liefert. Insgesamt kann gesagt werden, dass Voyant Tools einen sehr guten ersten und vielseitigen Überblick über die Dateien gibt, während hier Overview deutlich eingeschränkter ist. Die Stärke von Overview liegt jedoch definitiv in der weiteren Bearbeitung der Dateien und im Tiefgang. Insbesondere die Folder-Darstellung in Form eines Trees liefert einen sehr guten Überblick über den jeweiligen Herkunftsort gewisser Worte in den einzelnen Briefen. Dadurch wird das Suchen und Finden von einzelnen Wörtern auch bei einer weitaus größeren Datenmenge möglich: somit kann auf jeden Fall die sprichwörtliche Nadel im Heuhaufen gefunden werden. Overview kann generell bei der Verwaltung der Dateien punkten, da es das Anlegen und Speichern von sogenannten Document-Sets ermöglicht. Darin liegt auch der Grund, weshalb man sich bei Overview mit einem Konto anmelden muss. Die Document-Sets können dann immer wieder erweitert, individuell bearbeitet und ausgewertet werden. Die Handhabe funktioniert dabei sehr gut.

Anzeige der Overview Übersicht mit Word-Cloud und den verwendeten Dokumenten. Die Suchfunktion ermöglicht das Suchen einzelner Wörter in den Dokumenten (Eigene Aufnahme: Manuel Schmidinger).
Darstellung als Layer-Tree. Wichtig ist hier die Einspielung einer Stop-Word-Liste die aus dem Internet heruntergeladen wurde. Ohne diese ist die Darstellung sehr unübersichtlich und kaum verwendbar. Eignet sich sehr gut zum übersichtlichen Finden einzelner Begriffe und einem schnellen Überblick über den Inhalt (Eigene Aufnahme: Manuel Schmidinger).

Zusammengefasst kann nun also folgendes über Data und Text Mining und die zwei dafür entwickelten Programme gesagt werden: Der Aufwand ist ziemlich groß, der Umgang damit muss auf jeden Fall regelmäßig geübt werden aber das Ergebnis sieht vielversprechend aus und lässt sich je nach Fragestellung vielseitig für geschichtswissenschaftliche Projekte verwenden. Beide Programme besitzen sehr viel Potenzial und Anwendungsmöglichkeiten in die man sich noch weiter vertiefen kann. Es sei jedoch noch einmal darauf hingewiesen, dass die Vorbereitung der Dateien, insbesondere bei Handschriften, sehr umfangreich ist und sich die Anwendung der beiden Programme erst bei einem großen Quellenbestand rentiert, bei denen der Aufwand zum eigenhändigen Nachsehen zu groß wird. Aber genau für dieses Zweck wurden Voyant Tools, Overview und andere Data Mining Programme ja entwickelt. Hier kann dann insbesondere die Stärke von Overview genutzt werden: das ordentliche Sortieren der Document Sets. Da auch mein Quellenbestand sehr umfangreich ist, möchte ich zur Aufbereitung der Dateien und vor allem aufgrund der einfachen Möglichkeit des Durchsuchens großer Datenmengen auf jeden Fall mit Overview weiterarbeiten und bin schon gespannt, welche Ergebnisse sich bei der Verwendung eines weitaus umfangreicheren Datensatzes erzielen lassen.


Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search