Digital History und Ich – die 2.

Voyant vs. Overview

Hallo! Ich freue mich sehr, dass du auf meinen 2. Blog-Beitrag geklickt hast. Heute dreht sich nämlich alles um das Thema Text Mining. Noch nie davon gehört? Ich auch nicht, bis jetzt zumindest. In den letzten Wochen haben wir uns ihm Rahmen unseres Kurses speziell diesem Thema gewidmet und unser Augenmerk auf die beiden Programme Voyant und Overview gelegt.

Zunächst möchte ich eines loswerden: Dieser Aufgabe habe ich mich zunächst eher planlos als zielstrebig zugewandt. Wie vielleicht aus meinem letzten Beitrag deutlich wurde, bin ich definitiv kein Technikguru. Deshalb war das Thema Text Mining von Anfang an etwas sehr Abstraktes und Kompliziertes für mich. Zumindest habe ich inzwischen das Grundprinzip verstanden: Aus einer riesigen Datenmenge können mithilfe von gewissen Programmen Inhalte in verschiedensten Formen heraus gefiltert werden.

Voyant: Dokument wurde bereits hochgeladen und ausgewertet.

Voyant:
Die Website ist ganz einfach im Internet zu finden und kann ohne Anmeldung oder irgendwelche anderen Hindernisse genutzt werden. Ich habe wiederum mit den Zeitungen aus ANNO gearbeitet. Zur Erinnerung: Ich hatte die Neue Freie Presse vom März 1919. Sobald man ein Dokument hochgeladen hat – lädt relativ schnell, auch bei größeren Datenmengen – scheinen fünf Felder auf. Diese Tools werden wir uns jetzt im Einzelnen etwas näher anschauen.

Oben links (siehe Screenshot oben) sieht man eine Wortwolke. Naja, bei mir könnte man eher Buchstabenwolke dazu sagen, das wiederum der schlechten Lesbarkeit meiner Zeitungen zuzuschreiben ist. Dieses Tool heißt Cirrus und erstellt eine Wortwolke aus den am häufigsten vorkommenden Wörtern im Dokument. Je größer das Wort, desto öfter kommt es im Text vor. Ein Problem dabei sind die sogenannten Stopwords – Wörter, die keine Relevanz für den Dokumentinhalt haben. Diese können aber ausgeschlossen werden, um eine aussagekräftige Auswertung zu erhalten. An meinem Beispiel kommen abgesehen von den einzelnen Buchstaben die Wörter “wien”, “bezirk” oder “märz” am häufigsten vor.

Voyant: Trends am Beispiel “arbeiter”

Das nächste Tool ist Trends. Am Beispiel des Wortes “arbeiter” (man kann jedes beliebige Wort auswählen um das zugehörige Diagramm zu sehen) kann man heraus finden, an welchem Tag in der Woche vom 1.-7. März dieses Wort am häufigsten vorkam. In meinem Fall ist das eindeutig am 3. März. Binden wir dieses Ergebnis nun in einen historischen Kontext ein: An diesem Tag bricht in Deutschland der Generalstreik aus. Da ich mich in den folgenden Kurseinheiten gerne mit diesem Thema auseinandersetzen möchte, weiß ich nun wo ich am meisten zu diesem Thema finden könnte.

Voyant: Contexts am Beispiel “regierung”

Für das nächste Tool Contexts habe ich das Wort “regierung” ausgewählt um zu sehen, in welchem Zusammenhang das Wort am 7. März hauptsächlich vorkommt. Auch gut an diesem Screenshot zu erkennen: die schlechte Texterkennung, aber darum geht es ja jetzt nicht. Hier sehen wir, dass vor allem die Rede von der deutschen Regierung ist, die entweder gegen die Spartakisten vor gehen oder versuchen eine drohende Hungersnot zu verhindern.

Voyant: Ausschnitt des Summary

Das nächste Tool ist Summary. Dieses informiert uns sozusagen über die “hard facts” unserer Dokumente. Unter anderem beinhaltet es: Was ist das längste oder kürzeste Dokument bezüglich der Wortanzahl, die durchschnittliche Wortanzahl in einem Satz, die am häufigsten vorkommenden Wörter, die auch pro Dokument einzeln aufgezählt werden.

Voyant: Topics

Das letzte Tool von Voyant mit dem ich mich auseinander gesetzt habe, ist Topics. Für dieses Tool habe ich den ganzen Monat März der Neuen Freien Presse verwendet um zu sehen welche Themen vorkommen und wie sie verteilt sind. Wörter die statistisch häufig gemeinsam vorkommen werden aufgelistet. Rechts sieht man die Wörter in bestimmter Reihenfolge und links wo und wie oft sie in der Datenmenge vorkommen.

So, um nun einen Vergleich anstellen zu können, brauchen wir ein 2. Programm: Overview. Im Grunde genommen macht Overview dasselbe wie Voyant, jedoch haben wir uns bei Overview nur mit dem Tool Topics – bei Overview heißt es Trees – auseinander gesetzt.

Overview: Topic Tree ohne Stopwords

Zunächst habe ich alle Dokumente des Monats März 1919 hochgeladen. Das brauchte einige Versuche und dauerte den ganzen Vormittag bis es funktioniert hat – just saying. Als ich es dann geschafft habe, lies ich den 1. Topic-Tree erstellen, zunächst mit Stopwords. Im obersten Balken sieht man die allgemein am häufigsten vorkommenden Themen. Darunter spalten sich diese immer und immer wieder auf. Dadurch soll man einen Überblick über die Themen der Dokumente erhalten, indem – wie auch bei Voyant – die Wörter aufgelistet werden, die öfter gemeinsam vorkommen. Durch das aufsplitten der Blöcke, werden die Themen immer genauer zugeschnitten.

Was kann ich nun aus meinen Beispielen tatsächlich heraus lesen? Die Ergebnisse bei beiden Programmen sind sehr ähnlich. Es geht vor allem um die deutsche Regierung. Unterthemen sind häufig Berlin, Kohlewirtschaft oder Probleme in Rumänien. Nicht nur politische Themen scheinen auf, sondern auch viele Wörter die auf Kleinanzeigen oder Theaterprogramme hinweisen.

Da ich nur das Tool Topics bzw. Trees bei beiden Programmen verwendet habe, kann ich mich nur darauf beziehen. Ich persönlich würde eher Overview für Topic Modeling empfehlen. Die Darstellung durch den Topic-Tree bei Overview finde ich viel übersichtlicher und einfacher zu verstehen. Zusätzlich werden links die genauen Seiten der einzelnen Zeitungen angezeigt, wo diese Themen zu finden sind. Die Auflistung bei Voyant finde ich wenig aussagekräftig und variiert bei jedem erneuten Laden. Was die anderen vorgestellten Tools bei Voyant betrifft, finde ich alle sehr gut strukturiert, anschaulich dargestellt und vor allem sehr hilfreich um einen Überblick über die Thematik der Dokumente zu erhalten.

Noch etwas Allgemeines zu den Programmen: Sie sind beide für alle zugängliche Plattformen und einfach zu bedienen. Bei Overview hingegen muss man zuerst einen Account erstellen, was jedoch den Vorteil hat, dass alle Dokumente und Analysen, die auf deinem Account durchgeführt wurden, gespeichert bleiben und du sie jederzeit erneut aufrufen kannst. Bei Voyant hingegen muss man jedes mal die Dokumente wieder hochladen.

Obwohl ich anfangs planlos an die Sache heran ging, muss ich jetzt sagen, dass diese Programme auf jeden Fall sehr hilfreich sein können. Obwohl unsere Datenmenge der Zeitungen noch überschaubar ist, kann man sich schnell und einfach Überblick über die ungefähren Inhalte machen. Natürlich ersetzt es keine wissenschaftliche Analyse oder Interpretation, da das Programm keine richtigen Zusammenhänge herausfiltern kann, trotzdem nimmt es einem die Arbeit ab, jeden einzelnen Artikel genauestens durchzulesen. Bei riesigen Datenmengen geht es wohl kaum ohne solche Hilfsmittel.

So, das war nur ein kleiner Einblick in die Welt des Text Mining. Jedenfalls bietet es auch für die Geschichte praktische Hilfsmittel und sollte auf jeden Fall viel mehr genutzt werden. Also versucht es am besten selbst mal aus!

Viel Spaß und hoffentlich bis bald!

Bis dahin #stayhealty


Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search