dto, schiff und zucker – Von Data Mining und Topic Modelling

Willkommen zurück beim Staffellauf quer durch die Digital History! Nach Transkribus geht es heute weiter mit zwei Programmen, die der Textanalyse dienen: Auf der einen Seite Voyant Tools (https://voyant-tools.org/) und auf der anderen Seite Overview (https://www.overviewdocs.com/).

Wie bereits in der Überschrift zu erkennen ist, dienen diese beiden Programme dem Text bzw. Data Mining. Verwirrung? Nicht nur bei euch! Ich musste mich auch erst in diese ganze Methodik einlesen, nachdem ich schon bei Transkribus einigermaßen überfordert war. 😉 Um was geht es nun hierbei? Data Mining kann uns helfen, spezielle Informationen aus einer großen Menge an Daten herauszufiltern, um dabei gewisse Muster oder Strukturen in den Quellen zu erkennen. Eine kleine Anmerkung gleich zu Beginn: Voyant Tools erlaubt einen direkten Einstieg in den Arbeitsprozess, bei Overview muss man sich kostenlos anmelden, um das Programm zu nutzen.

Bevor wir nun in die Tiefe starten, möchte ich nochmals eine der zentralsten Grundprinzipien für die Arbeit mit Digital-History-Programmen unterstreichen. Voyant Tools und Overview bieten uns die Möglichkeit, aus einem großen Quellenkorpus die wichtigsten Informationen herauszufiltern und hier ist schon das wichtigste Wort gefallen: der Quellenkorpus. Mein Kollege Florian Ambach und ich haben die letzten Wochen mit Hilfe von Transkribus unsere Quellen transkribiert und versucht, diese in Textformaten in passender Leseform zugänglich zu machen. Zur Erinnerung: Es handelt sich bei uns um die Journale des Österreichischen Lloyd aus dem Jahr 1836. Wenn wir jetzt Voyant Tools oder aber auch Overview für uns nutzen wollen, muss der transkribierte Quellenkorpus bzw. das Material, mit dem wir die beiden Programme füttern, auf dem besten Niveau lesbar sein. Ein guter Rat von mir: Ein nicht gut transkribierter Quellenkorpus ist keine gute Basis, um Data Mining durchzuführen! Vergewissert euch deshalb vielleicht noch einmal, dass eure Daten wirklich auf dem besten Niveau transkribiert und lesbar sind, bevor ihr mit den Programmen startet.

Wir beginnen nun mit Voyant Tools. Wenn ihr auf die Startseite klickt, öffnet sich das Fenster “Text hinzufügen”. Hier könnt ihr beim Feld “Hochladen” eure transkribierten Texte verwenden, damit diese in Folge analysiert werden. Ich habe das mit meinen Dokumenten zum Lloyd für die Monate Januar und Februar 1836 ausprobiert und das war das Ergebnis:

I know, I know… Es erschlägt einen auf den ersten Blick, aber es ist ein System dahinter: Cirrus links oben im Bild gibt euch eine Worttraube mit den am häufigsten vorkommenden Wörtern im Dokument. Der Reader zentral in der Mitte liefert den Inhalt der Dokumente, mit der Möglichkeit, einzelne Worte anzuklicken und dadurch die Häufigkeit dieser Worte in den Texten herauszufinden. Veranschaulicht wird diese relative Häufigkeit durch Trends rechts im Bild. Man sieht hier, dass natürlich Standardbegriffe wie “schiff” oder Gewichtsmaße wie “gebinde” oder “dto (=dito)” sehr häufig vorkommen. Die Zusammenfassung links unten bietet euch einen Überblick über Grammatik, Syntax, Morphologie der Dokumente und vieles mehr. Interessant ist auch noch der Kontext rechts unten im Bild, der die Wörter, die man jeweils anklickt, in ihren Bedeutungszusammenhang stellt und dadurch der Kontext der einzelnen Sätze ersichtlich wird.

Das war Voyant Tools, nun weiter zu Overview. Startet man die Seite Overview (kostenlose Registrierung nicht vergessen!), wird man auch hier gebeten seine Dokumente hochzuladen. Hier bitte aufpassen, dass ihr die Sprache richtig einstellt und dann könnt ihr schon loslegen. Ihr könnt auch Dokumente verwenden, die ihr noch nicht durch Transkribus geschickt habt, da Overview eine automatische Texterkennung (OCR) anbietet, diese ist aber bei weitem nicht so genau wie zum Beispiel jene von Transkribus. Ein Ergebnis bekommt ihr, je nach Datengröße, ziemlich schnell:

Die Wortwolke bei Overview ist jener von Voyant Tools sehr ähnlich, wie man sehen kann und wird auch wieder von Stoppwörtern wie “dto”, “schiff” und “gebinde” dominiert. Overview bietet jetzt im nächsten Schritt die Möglichkeit, einen Topic Tree zu erstellen. Dazu wählt ihr über der Wortwolke den Abschnitt “Add view” und danach “Tree”. Auch hier wieder nicht vergessen, die Sprache eurer Texte anzupassen UND VOR ALLEM DIE STOPPWÖRTER hinzuzufügen (words to ignore). Stoppwörterlisten für das Deutsche könnt ihr ganz einfach googlen (https://tim-ehling.com/deutsche-stoppwort-liste-400/) und dann einfügen und noch mit speziellen Wörtern eurer Liste ergänzen, wie bei mir eben “dto”, “schiff”, “gebinde” etc. Das Ergebnis ist ein “Word Tree”, der euch die Dokumente nach verschieden Schlagwörtern sortiert, wie das Ergebnis unten zeigt:

Und hier sind wir schon beim “Trouble-Shooting”. Voyant Tools und Overview können bei inhaltlichen Arbeiten mit großen Textkorpora einen irrsinnig großen Nutzen aufweisen, weil sie die Menge an Daten sinnvoll ordnen können. Betonung auf inhaltlichen Arbeiten in Form von Beschreibungen, Texten und Analysen. Wir konzentrieren uns bei unserem Projekt des Lloyds aber viel mehr auf statische Aspekte, wie eben Zielhäfen der Schiffe, Warenladung oder Ankunftszeit. Ein Topic Modelling ist bei unseren Quellen, die wir ja speziell für eine statistische Untersuchung aufbereitet haben, eher weniger sinnvoll. Overview Trees muss ich für eine derartige Untersuchung leider komplett abschreiben und dafür auf Overview Entities verweisen, das eine Georeferenzierung erlaubt und dadurch die Frage nach Abfahrtsort der Schiffe beantworten kann. Auch die Waren können als Entities aufgefasst und deren Häufigkeit untersucht werden. Ein kleiner Bonus: Diese Analyse der Häufigkeit der Wörter kann für unsere Arbeit hilfreich sein, ich persönlich würde dabei aber eher mit Voyant Tools als mit Overview arbeiten. Ein Beispiel: Ich habe bei Voyant Tools bemerkt, dass Zucker eines der häufigsten Lebensmittel war, dass sich auf den Schiffen befunden hat. Demnach kann ich meine Analyse auch nach dem Faktor Zucker ausrichten, wie die folgende Grafik zeigt:

Die Abschnitte Cirrus und Zusammenfassung ändern sich nicht, aber der Reader, Trends und Kontexte erlauben einen anderen Blick. Beim Reader kann man in den bunten Kästchen sehen, wo und mit welcher Häufigkeit Zucker auftritt. Kontexte zeigt uns, in welchem Lieferzusammenhang Zucker geliefert wurde. Hierbei kann man auch erkennen, ob Zucker immer mit den gleichen Lebensmitteln geliefert wurde oder vom gleichen Händler, vom gleichen Schiff etc. Trends ist wohl für unsere Fragestellung der wichtigste Abschnitt. Es zeigt uns, dass in den Februarberichten des Lloyds das Wort Zucker viel häufiger vorkommt als im Januar. Das kann durchaus ein Hinweis auf vermehrte Liefermengen sein, woran sich die Frage anschließt, warum mehr Zucker gebraucht wurde.

Nach dieser langen Fahrt quer durch die Digital History braucht es nun ein Fazit für alle, die bis hier treu gelesen haben: Voyant Tools und Overview sind zwei Programme, die für das Text und Data Mining ausgelegt und durchaus brauchbar sind… wenn man denn Text und Data Mining betreiben möchte. Für meine spezielle Fragestellung konnten die Programme mir nicht weiterhelfen, weil sie sich doch mehr auf die linguistischen Aspekte eines Textes konzentrieren, wie die Häufigkeit von Wörtern oder deren Korrelationen. Selbst beim Beispiel mit Zucker muss man kontrollieren, ob es vielleicht im Januar einzelne große Liefermengen gab und im Februar vielleicht mehrere kleinere und das deshalb Zucker häufiger in den Februarberichten genannt wird. Ich empfehle euch allen aber durchaus auch die Blogs von meinen Kolleg*innen aus dem Kurs zur Digital History zu lesen, weil hierbei jeder von uns mit anderen Quellen und Fragen an die Programmen herantritt. Vielleicht sind sie ein bisschen positiver eingestellt als ich! 😉


Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search