Voyant Tools vs. Overview

Hallo Liebe Communitiy und Herzlich willkommen zu meinem zweiten Blogbeitrag. Heute geht es vor allem um das Thema „Text Mining“, eine Methode der digitalen Textanalyse. Dabei werden wir uns zwei Programme besonders unter die Lupe nehmen – Voyant Tools und Overwiew. Wie auch schon in meinem letzten Blogbeitrag werde ich mit Euch meine persönlichen Erfahrungen, Herausforderungen und Bewertungen teilen, zudem werde ich die beiden Programme miteinander vergleichen. 😊

Ja ich weiß … Das Ganze hört sich schon wieder so an, als wären besondere Technik-Kenntnisse notwendig. Auch ich war zunächst sehr skeptisch und war/bin alles andere als ein Profi auf diesem Gebiet. Jedoch ist mir aber bewusst geworden, dass solche Programme (Voyant Tools, Overview) insbesondere für uns Historiker sehr hilfreich und bei der richtigen Anwendung sehr zeitsparend sein können. Denn mit Hilfe dieser Programme können große Datenmengen, nach bestimmten Inhalten gefiltert werden, somit gelangen wir ohne allzu viel Aufwand, zu den wichtigsten Informationen, die sich in diesem immensen Daten-Salat befinden. Zudem können wir auf dieser Weise auch einen eigenen Teilkorpus, zu einem bestimmten Thema erstellen, ohne dabei die gesamte riesige Datei genau durchstöbern zu müssen.

Voyant Tools

Beginnen wir zunächst mit dem Programm „Voyant Tools“. Anders als Transkribus, muss das Programm Voyant Tools, nicht zunächst auf dem Computer/Laptop installiert werden, außerdem benötigt man auch kein Java Programm, um es überhaupt erst verwenden zu können. Voyant Tools findet man ganz leicht auf der Internetseite voyant-tools.org und man kann es ganz ohne Anmeldung verwenden, dies hat jedoch den Nachteil, dass man gewisse Änderungen immer wieder vornehmen muss, da man auf die gespeicherten Daten, nur mit Hilfe eines speziellen Codes zugreifen kann (wird per Mail zugeschickt). Das Programm bietet eine gute Hilfestellung an, die jedes einzelne Tool aufs genauste beschreibt, jedoch sind gute Englisch Kenntnisse notwendig. Wie schon in Transkribus habe ich auch hier mit der Arbeiterinnen-Zeitung des Jahres 1919 gearbeitet, jedoch dauert hier das Hochladen der Dokumente viel schneller als bei Transkribus! Nun werde ich etwas genauer auf die einzelnen Tools, mit denen ich schon gearbeitet habe (Cirrus, Contexts, Trends, Summary und Topics) eingehen.

Cirrus: Wie man auf dem Screenshot sehen kann, befindet sich ganz oben links das Tool Cirrus. Dabei handelt es sich um eine Wortwolke, die uns zeigt, welche Wörter in einem bestimmten Dokument am häufigsten vorkommen. Dabei ist auch die Größe der Wörter entscheidend, denn je öfter ein Wort im Dokument vorkommt, desto größer ist es. Die Farbe und Position der Wörter spielt jedoch keine Rolle. Meistens beinhaltet eine solche Word-Cloud viele unbrauchbare Wörter, die sogenannten Stopwords (z.B. Artikel, einzelne Buchstaben usw.). Allerdings werden viele dieser Stopwords vom Programm automatisch aussortiert. Es besteht jedoch die Möglichkeit auch eigene Stopwords herauszufiltern.


Trends: Das Tool Trends zeigt uns ein Liniendiagramm, welches die Verteilung und das Vorkommen eines Wortes in einem Korpus darstellt. Beispielsweise können wir in der unten stehenden Graphik beobachten, dass der Begriff Frauen im Dokument, „7) Arbeiterinnen Zeitung“, (entschuldigt den unvorteilhaften Namen des Dokuments) am häufigsten vorkommt.

Context: Mit diesem Tool kann untersucht werden, in welchem Zusammenhang bestimmte Wörter vorkommen und wie diese in verschiedenen Kontexten verwendet werden.

Summary: Die Funktion Summary bietet einen guten Überblick über die hoch-geladenen Dokumente. Hier erfährt man beispielsweise die Länge der verwendeten Dokumente, welche Wörter am häufigsten vorkommen usw.

Topics: Das Tool Topics fasst die, am häufigsten vorkommenden Begriffe zusammen und zeigt wie jedes dieser Begriffe über das gesamte Dokument verteilt wurde.

Overview

Kommen wir nun zum zweiten Programm. Auch bei Overview handelt es sich um eine Open-Source-Plattform. Um damit arbeiten zu können muss man sich jedoch einen Account zulegen. Auch hier bietet das Programm eine gute Hilfestellung, aber ebenfalls nur auf Englisch.

Overview kreiert zunächst eine Wordcloud, die jede Menge an Stoppwörtern enthält. Um eine aussagekräftige Wordcloud zu erhalten, müssen die unbrauchbaren Stopwords aussortiert werden. Anders als bei Voyant Tools werden hier keine Stopwords vom Programm automatisch aussortiert.

Um Topics mit den eigenen Daten zu erstellen, klickt man auf „Add View“ und schließlich auf die Kategorie Trees. Die Topic Models werden hier als Topic Trees bezeichnet, da sie wie ein Baum aufgebaut sind. Beim Erstellen eines Trees muss man zunächst einen Namen eingeben, zudem muss man auswählen welche Dokumente man verwenden möchte und auf welcher Sprache diese sind. Dies ist notwendig damit Overview später die Stopwords auf Deutsch aussortiert kann. In Overview kann man selber aussuchen welche Wörter man aussortieren will. Im Feld „Words to ignore“, kann man die unbrauchbaren Stopwörter eingeben. In diesem Feld kann man nun beispielsweise die Stopword-Liste von Voyant Tools hineinkopieren, natürlich kann man zusätzlich noch selbst Wörter hinzufügen. Im unteren Feld „Important words“ können auch Wörter, die man als wichtig erachtet, eingetragen werden. Schließlich klickt man auf Create Tree.

In den jeweiligen Trees sind die repräsentativen Wörter für dieses Topic versammelt.

Wenn man beispielsweise auf ein interessantes Wort stößt und wissen will, wo dieses im Korpus genau vorkommt, so kann man es im Feld oberhalb (Search) suchen. Dabei erscheint eine Auflistung wo das jeweilige Wort überall zu finden ist. Je größer die blaue Linie ist (die erscheint), umso häufiger kommt ein Wort an dieser entsprechenden Stelle vor. Gleichzeitig werden alle Artikel, in denen dieses Wort vorkommt, gehighlightet.

Zudem gibt es bei Overview die Möglichkeit, dass man auch manuell annotieren kann, d. h. wenn ich einige Artikel besonders spannend finde, kann ich diese speichern, indem ich rechts oben auf „Tags“ klicke und das jeweilige Wort eingebe. In meinem Fall wäre es wieder das Wort „Parteitag“. Auf dieser Weise weiß ich nun in welchen Artikeln es um den Parteitag geht.

Schließlich kann die eigene Kollektion der Topics auch exportiert werden. Dateien können als CSV-file oder Excel Datei herunterladen werden.

Abschließend kann gesagt werden, dass beide Programme, bei der richtigen Anwendung, sehr viel Mühe und Zeit sparen. Sie vereinfachen die Arbeit mit großen Datenmengen um ein Vielfaches und sind in der Handhabung relativ ähnlich. Zudem erfordert keines der beiden Programme besondere Technik-Kenntnisse, was ich persönlich sehr gut finde. Trotzdem weisen beide Programme, sowohl Vorteile als auch einige Nachteile auf. Jedoch würde ich, wenn ich die Wahl hätte, eher auf Overview zurückgreifen, da dieses Programm meines Erachtens viel übersichtlicher und strukturierter aufgebaut wurde. Dementsprechend war auch das Arbeiten mit Overview für mich viel einfacher.

So, das waren nun meine Eindrücke liebe Community. Aber wie sieht es bei euch aus, hattet ihr schon Erfahrung mit den Programmen? Schreibt mir EURE Erfahrungen und Eindrücke in die Kommentare, ich freue mich schon darauf!!

Euro Kristina 😊


Das könnte dich auch interessieren …

Eine Antwort

  1. Agen Aduq sagt:

    Useful information. Lucky me I discovered your web site accidentally,
    and I’m stunned why this accident didn’t took place
    in advance! I bookmarked it.

Schreibe einen Kommentar zu Agen Aduq Antworten abbrechen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search