Von Minen und Wolken – Data- & Textmining als Hilfsmittel für historische Forschungen

Der heutige Blogbeitrag ist aufbauend auf meinen letzten Beitrag zum Thema Transkribus (https://dhuibk.hypotheses.org/4581). Denn mit den Datensätzen, die ich nach Transkribus importiert, dort bearbeitet und dann exportiert habe, werde ich heute ein Data- beziehungsweise Textmining durchführen. Dies wird mit zwei verschiedenen Programmen ausprobiert, nämlich Voyant und Overview, aber dazu später mehr. Noch einmal zu Erinnerung: Bei den Daten, die ich mit Transkribus bearbeitet habe, handelt es sich um Ausgaben des Allgemeinen Tiroler Anzeigers vom 15. bis 24. September 1910. In der Zwischenzeit war ich aber ein fleißiges Bienchen und habe den Zeitraum erweitert, sodass ich nun den 15. bis 29. September abgedeckt habe. Insgesamt sind es nun also 14 Ausgaben (sonntags erschien die Zeitung nicht). Für die Bearbeitung mit Voyant und Overview habe ich mich nur auf den Allgemeinen Tiroler Anzeiger konzentriert. Die letztes Mal erwähnten einzelnen Ausgaben anderer Zeitschriften habe ich hier weggelassen, um die Ergebnisse für den Allgemeinen Tiroler Anzeiger nicht zu „kontaminieren“ 😉.

Minen und Schächte – Die Basics

Bevor wir aber in die Materie tauchen, sollten wir zuerst die Basics besprechen. Was ist denn überhaupt dieses Data- beziehungsweise Textmining? Im Prinzip geht es darum aus einer großen Datenmenge einen Mehrwert zu generieren. Dabei sollen Informationen aus einer vorhandenen, großen Datenmenge gezogen werden, Muster und Beziehungen sichtbar gemacht und Daten ausgewertet werden.  Aufgrund der großen Menge an Daten wäre eine manuelle Vorgehensweise nicht möglich, beziehungsweise extrem zeitaufwendig. Um dieses theoretische Gerede zu veranschaulichenl: Dies ist zum Beispiel dann hilfreich, wenn eine große Datenmenge – vielleicht im Zuge eines politischen Skandals – „geleakt“ wird und man herausfiltern will, welche Personen/Firmen/Institutionen involviert sind und in welchem Bezug sie zum Skandal stehen. Somit ist das Data-/Textmining eine computergestützte statistische und quantitative Netzwerkanalyse. Um diese Analyse zu vereinfachen, gibt es eben Programme wie Voyant Tools und Overview, die diese ausgewerteten Daten zum Beispiel graphisch darstellen.

Was bringt uns das Data-/Textmining aber als Historiker*innen? Ich würde sagen, dass dies in gewisser Weise schon unsere Zugangsweise beim Analysieren von Quellen ist. Der Vorteil von Data-/Textmining ist natürlich, dass viel größere Datenmengen analysiert werden können. Zudem muss aber gesagt werden, dass man für die Anwendung eines Data-/Textmining bestimmte Voraussetzungen braucht. In meinem Fall beschäftige ich mich mit Zeitungsartikeln, die zuvor von Transkribus tradiert wurden. Hier ist auf jeden Fall wichtig, dass man die Texte alle nochmal genau durchschaut und die Transkription überprüft, da „falsche“ Worte dann ebenfalls in die Textanalyse miteinfließen. Genau darin sehe ich eben ein mögliches Problem beim Textmining. Denn es sollte ja eben genau darum gehen, dass ich große Datenmenge analysieren kann, ohne jede einzelne Quelle separat zu bearbeiten. Es würde daher eine einwandfreie Textvorlage beziehungsweise Transkription benötigen. Ein noch schwierigerer Fall dürfte es bei handschriftlichen Quellen sein, deren Transkription mit größerer Wahrscheinlichkeit fehlerhaft sein kann. Ich will das Data-/Textmining nicht schlechtreden, ich glaube aber, dass wir uns immer noch irgendwie in der Anfangsphase der Digitalisierung befinden. Wenn die einzelnen Programme in Zukunft immer besser und präziser werden, finde ich das Data-/Textmining eine super Sache. Momentan würde ich sagen, dass es sehr davon abhängig ist, mit welcher Art von Quellen man sich beschäftigt und man sollte für sich persönlich den Zeit-Nutzen-Faktor abwägen.

Über den Wolken…

Nun aber zu den bereits erwähnten Programmen. Wenn man die Internetseite https://voyant-tools.org/ abruft, landet man eigentlich schon direkt beim ersten Arbeitsschritt. In der großen Box in der Mitte der Seite kann man die URLs von relevanten Texten, die analysiert werden sollen, eingeben. In meinem Fall habe ich mir mit den vorbereiteten Zeitungsausgaben meinen eigenen Korpus erstellt. Dazu wählt man einfach den Button „Hochladen“ und wählt die gewünschten Dateien aus. Als Einstieg habe ich die Datensätze einer Woche in das Programm eingespeist. Voyant analysiert die eingegebenen Dateien dann nach Cirrus, Contexts, Trends, Summary und Topics. Klingt überwältigend? Ging mir auch so. Aber ich spiele jetzt mal den Retter in der Not und erkläre euch die einzelnen Analysetools Schritt für Schritt 😊.

So sieht die Seite mit den Ergebnissen aus. Screenshot aus Voyant Tools.

Um eine mögliche Überforderung beim Öffnen der Seite mit den Ergebnissen (siehe Abbildung oben) zu minimieren, konzentrieren wir uns erstmal auf die linke obere Ecke der Seite. Damit die Augen nicht abschweifen und wirklich darauf fokussiert bleiben, kann man nach Wunsch an den Rändern des Tools dieses jeweils auseinanderziehen und größer machen, sodass es wirklich im Mittelpunkt steht. Beginnen wir also mit dem Tool Cirrus. Ein sehr eigenartiger Begriff, der eigentlich nichts anderes ist als eine Wortwolke mit den häufigsten Wörtern des Textkorpus‘. Übrigens: Als ich den Begriff gegoogelt habe, habe ich gelernt, dass „Cirrus“ in der Meteorologie eine spezielle Wolkenform meint… aber ich bin ja Historikerin und keine Meteorologin also hoffe ich darauf, dass man mir mein (bisheriges) Unwissen verzeihen wird 😉. Aber zurück zu unserer Wortwolke. Nach dem Einspeisen der Daten spuckt uns Voyager eine schöne, bunte Wortansammlung mit den häufigsten Worten der Zeitungsausgaben aus. Das freut nicht nur das Statistiker-Herz, sondern auch das Auge. Man kann mit diesem Tool auch ein wenig herumspielen. So kann man links unten die Anzahl der Begriffe auswählen, welche angezeigt werden sollen. Dies geht von 25 bis zu 500 Worten – also eine große Spannbreite. Wenn man mit dem Cursor auf ein bestimmtes Wort fährt, wird angezeigt, wie oft das Wort in den gewählten Datensätzen vorkommt. Dabei gilt: Je größer das Wort geschrieben ist, desto öfter kommt es in der analysierten Textmenge vor. Die Farben hingegen sagen nichts zur Analyse aus, sondern sind lediglich ein kleiner Augenschmaus. Weiters könnte man über dem entstandenen Wortfeld noch die Art der Anzeige auswählen. Es könnte noch die Version „Begriffe“ oder „Links“ ausgewählt werden. Hierzu verliere ich aber jetzt keine großen Worte mehr, ich will euch ja nicht zuquatschen und vielleicht seid ihr ja jetzt neugierig genug geworden, um es selbst mal auszuprobieren 😉.


Die Wortwolke mit 45 Begriffen. Screenshot aus Voyant.
Cirrus mit 125 Begriffen + Auswahl eines bestimmten Wortes. Screenshot aus Voyant.
Weiter im Text – Volles Programm mit Voyant

Bevor es nun an die anderen Tools geht, gehen wir nochmals einen Schritt zurück – nämlich wieder auf die Hauptseite von Voyant. Um eine breitere Analyse zu erhalten, habe ich nun alle meine transkribierten Datensätze als Korpus in das Programm eingegeben.

Oberfläche mit den Ergebnissen nach dem Einspeisen der Daten von zwei Wochen. Screenshot aus Voyant.

Nach dem Auswerten des „neuen“ Datensatzes, geht es also weiter. Eine Analysemöglichkeit ist das Tool Contexts. Dabei geht es eben um die Kontexte, in die einzelne Wörter eingebettet sind. Hier werden Wörter links und rechts des jeweils ausgewählten Suchbegriffs abgebildet. Wenn man also zu einem bestimmten Wort mehr erfahren möchte, zeigt das Programm an, in welchen Kontext der ausgewählte Begriff im Textkorpus eingebettet ist. Hierzu muss einfach in der Suchleiste links unten neben dem Fragezeichen der gewünschte Begriff eingegeben werden – ich habe es mit dem Wort „Erdbeben“ versucht (siehe zweite Abbildung unten). Da wir alle wissen, wie wichtig es ist, Begriffe aus deren Kontext heraus zu verstehen, ist diese Funktion sicher die wichtigste am gesamten Programm.

Erste Darstellung der ERgebnisse im Tool Contexts. Screenshot aus Voyant.
Kontexte mit dem gewählten Begriff „Erdbeben“. Screenshot aus Voyant.

Unter Trends wird angezeigt, wie bestimmte Worte in dem analysierten Textkorpus an Häufigkeit variieren. Also wann wurden bestimmte Worte oft verwendet, wann weniger. Man kann hier also nachverfolgen, wann ein gewisses Thema in Zeitungsberichten vermehrt Beachtung fand und wann weniger. Auch hier gibt es wieder die Möglichkeit, bestimmte Begriffe anhand des Suchfeldes hervorzuheben. Exemplarisch habe ich hier mit den relevanten Worten „Erdbeben“, „Brand“ und „Mure“ gearbeitet. Als Voreinstellung der Darstellung ist eine lineare Graphenfunktion eingestellt. In dem Optionsfeld „Anzeige“ lassen sich aber andere Darstellungsmöglichkeiten auswählen.

Die Trens als Linie dargestellt. Screenshot aus Voyant.
Die Trends als Balken und weitere Auswahlmöglichkeiten. Screenshot aus Voyant.

Mit dem Tool Summary wird die Satzlänge und Wortdichte der Textdaten ausgewertet. Auch die Dokumentlänge wird nach am längsten und kürzesten aufgelistet. Hier werden auch im Vergleich zum Rest des Textkorpus distinktive Worte hervorgehoben. Meiner Meinung nach ist diese Funktion sehr mathematisch geprägt und hat weniger mit der inhaltlichen Analyse zu tun. Für eine erste Veranschaulichung kann diese Funktion aber durchaus herangezogen werden, um absolute Fakten daraus zu ziehen – zum Beispiel zur Länge der Dokumente. Daraus lässt sich schließen, welche Zeitungen länger waren und welche kürzer, woraus weitere Fragestellungen an den Textkorpus gestellt werden können – ganz im Sinne von „wieso, weshalb, warum“.

Tool Summary. Screenshot aus Voyant.

Last, but not least: die Topics. Hier werden die Verbindungen zwischen Worten identifiziert und zu Themenblöcken zusammengefasst. Unter „Thema“ werden dann Wörterreihen zusammengefügt und auf der rechten Seite eine lineare Graphik abgebildet. Dazu verwendet Voyant jeweils die ersten 1.000 Worte eines Dokuments. Diese Anzahl kann aber nach Wunsch verändert werden. Auf der Abbildung unten lasst sich auch hier ein relevantes Thema finden: „beben große leute wahrgenommen häuser häusern liefen stürzten klirrten beobachtet“. Man sieht hier: Ein lyrisches, grammatikalisches Meisterwerk wird nicht ausgespuckt, aber die Daten ermöglichen durchaus eine erste inhaltliche Analyse. Schön wäre es, wenn das Programm bei den Topics noch die Kontexte miteinbauen würde.

Das Tool Topics. Screenshot aus Voyant.
Für einen klaren Überblick – Das Programm Overview

Mit dem Programm Overview (https://www.overviewdocs.com/) lassen sich ähnliche Analysefunktionen wie bei Voyant durchführen. Um Overview zu benutzen, muss zuerst allerdings ein Account angelegt werden. Hat man diesen angelegt, kann jederzeit auf das Projekt zurückgegriffen werden. Nach dem Anmelden kann man direkt loslegen. Auf dem Interface links einfach „Upload files“ auswählen und die gewünschten Dateien hochladen und schon nach kurzer Zeit sind die Dateien hochgeladen. Wenn man „done adding files“ anklickt, kann man dem Textkorpus (also dem Projekt) einen Namen geben und auch die Sprache der hochgeladenen Daten eingeben. Auch hier wird zunächst eine Wortwolke angezeigt, die an die Cirrus-Funktion von Voyant erinnert. Hier werden aber viele – für die Analyse – unnötige Wörter angezeigt, sogenannte „stopwords“. Das sind Wortformen wie Artikel, Konjunktionen, Präpositionen oder auch häufig vorkommende Verben. Diese können aber manuell aussortiert werden.

Darstellung der Wortwolke (ohne das Ausstellen von Stopwords). Screenshot aus Overview.

Unter dem Reiter „add view“ können wie bei Voyant verschiedene Funktionen ausgewählt werden. Wir konzentrieren uns bei diesem Programm aber nur mehr auf die Topic Trees. Ich habe nämlich ohnehin schon das Gefühl, dass dieser Blog viel zu lang ist und ansonsten geben auch noch der harte Kern der Leser*innen, die bis jetzt durchgehalten haben, auf 😉.

Also in aller Kürze: Im Prinzip ist diese Funktion dieselbe wie Topics bei Voyant – nur mit einer anderen, übersichtlicheren Darstellungsform. Zusätzlich geht die Tree-Funktion mehr in die Tiefe als die Topi-Funktion. Aber vor dem Erstellen müssen die Stopwords manuell eingetippt werden – was eine mühevolle Arbeit ist, denn es sind ziemlich viele Wörter, die ignoriert werden sollten. Der Baum unterteilt die Dokumente nach der Häufigkeit von Wörtern und Themen in ihnen und leitet über deren Äste den Bearbeiter zu den relevanten Dokumenten hin. Beim ersten Hinschauen kam mir vor, dass auch einige „unsinnige“ Themenfelder ausgespuckt werden. Mit der Suchfunktion oberhalb des Baumes lässt sich aber nach bestimmten Begriffen suchen. Das Programm durchsucht nun die Dateien auf die Häufigkeit des Suchbegriffs und zeigt gleich an, wo dieser überall vorkommt. Zusätzlich kann man mit der Funktion „Tags“ rechts oben noch bestimmte Schlüsselworte wie Ort- oder Personenangaben setzen, ähnlich wie wir es auch schon bei Trankribus gemacht haben. Ich glaube aber, dass es hier die beste Methode ist, sich selbst mit dem Programm selbst zu beschäftigen und ein wenig herumzuspielen, um die Funktionen auszutesten – Learning by doing eben 😉.

Der Topic-Tree. Screenshot aus Overview.
Zusammenschluss oder Scheideweg? Ein Fazit zu Voyant & Overview

Beide Programme haben das Potenzial große Datenmengen zu analysieren, um ein umfangreiches Arbeiten zu ermöglichen und dieses weniger zeitaufwendig zu gestalten. Dadurch können große Daten- und/oder Textkorpora bearbeitet werden. Wie in den einleitenden Worten zu Data-/Textmining bereits angesprochen, müssen die zugrundeliegenden Auswertungsmöglichkeiten noch optimiert werden, bis wirklich einwandfreie und aussagekräftige Ergebnisse erzielt werden können. Die Einsetzung dieser beiden Programme ist stark abhängig von den Quellen, mit denen gearbeitet wird. Natürlich ist die Anwendung zudem auch von der jeweiligen Fragestellung abhängig. Besonders bei handschriftlichen Quellen sehe ich momentan noch Probleme. Beide Programme haben aber großes Potenzial für künftige historische Forschungen.

In kürzester Zeit spucken beide Programme ihre Ergebnisse in kürzester Zeit aus – lange Wartezeiten mit Kaffee wie bei meinem letzten Blogpost erübrigen sich also 😉. Was bei Overview praktisch ist, ist das Ausstellen von sogenannten „stopwords“. Diese Funktion gibt es auch bei Voyant. Hier werden sie aber bereits automatisch aussortiert, soweit ich das verstanden habe, was natürlicher angenehmer ist und nicht so viel Zeit in Anspruch nimmt. Nach Wunsch könnten bei Voyant noch zusätzliche Wörter manuell aussortiert werden. Wie bereits erwähnt, benötigt man bei Overview einen Account, bei Voyant nicht. Der Vorteil ist hier aber, dass man Projekte speichern kann und später mit ihnen weiterarbeiten kann – bei Voyant muss der Korpus stets neu hochgeladen werden. Nur die Stopwords müssen bei Overview beim erneuten Zugriff auf das Projekt erneut eingegeben werden. Eine eigene Tabelle mit den aussortierten Worten sollte hier vielleicht extern angelegt werden. Eine weitere Sache, die bei Overview angenehmer wirkt, ist das Layout der Seite – es scheint einfacher zu bedienen zu sein. Arbeitet man explizit mit dem Topic Modeling wäre Overview vorzuziehen. Je nach gewünschter Funktion haben beide Programme ihre Vor- und Nachteile, was einfach selbst ausprobiert werden muss, denn Geschmäcker sind ja bekanntlich verschieden. Alles in allem finde ich aber beide Programme einfach zu handhaben und empfehle sie für andere Historiker*innen weiter – aber immer daran denken: Zeit-Nutzen-Faktor sowie Relevanz für die Fragestellung zuvor eindringlich bedenken 😉.


Das könnte dich auch interessieren …

2 Antworten

  1. Vielen Dank für den sehr anschaulichen Beitrag! Meiner Meinung nach sollten nahezu barrierefreie Programme wie Voyant zum Basisbesteck aller gehören, die mit maschinell auswertbaren Texten arbeiten, um Generalismen wie „das Korpus ist ziemlich groß/ umfasst ungefähr x Wörter“ oder „der Autor hat einen Hang zum Wort xy“ zu vermeiden. Zur Ehrenrettung von Voyant: Wenn man im Projekt die URL speichert, kann man zumindest noch eine Weile auf die Analysen zugreifen, wenn man sie erneut in den Browser eingibt.

    • sschober sagt:

      Lieber Herr Nunn,

      Danke für Ihr Feedback. Da haben Sie natürlich vollkommen recht.
      Vielen Dank auch für Ihren hilfreichen Tipp.

      Beste Grüße,
      Sabrina Schober

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search