Von digital zu digital? – Von ANNO zu Transkribus! #1
Liebe Leserin, lieber Leser!
Deine Wahl war … weise! Denn unter all den vorhandenen, gleich klingenden Blogs hast du dir den Meinen ausgesucht und ich garantiere dir, dass du es nicht bereuen wirst.
Weshalb liest man Blogbeiträge? Wohl um die Meinung fremder Personen zu einem Thema zu erfahren. Daher werde auch ich, ein 20-jähriger Geschichte-Student, der in this trying time zuhause sitzt, von meiner Meinung und meinen Erfahrungen berichten. Das Thema lautet dabei “von ANNO zu Transkribus” und umfasst den Weg, den alte, eingescannte Zeitungsblätter nehmen, wenn sie von einem motivierten Geschichte-Studenten in bearbeitbare Textdateien umgewandelt werden.
ANNO steht für AustriaN Newspapers Online und ist eine online Datenbank, die Scans von österreichischen Zeitung aus dem Zeitraum von 1689 bis 1949 enthält. Zwar ist auf der Seite eine Volltextsuche möglich, die Zeitungen selber sind allerdings nicht als Textdateien, sondern eben nur als Scans erhältlich, woraufhin das Programm Transkribus ins Spiel kommt. Transkribus erkennt den Text auf Bildern und wandelt ihn in bearbeitbare Textdateien um. An sich klingt das nicht nach einer tollen Leistung für das Jahr 2020, allerdings ist das Programm nicht nur auf die deutliche Schrift im Schulbuch, sondern auch auf altehrwürdige Frakturschrift und verstaubte Handschriften anwendbar, sofern man es richtig verwendet.
Omas handgeschriebene Rezeptsammlung ließe sich also mit Transkribus in gut lesbare, sortierbare, analysierbare, platzsparend speicherbare und durchsuchbare Textdateien umwandeln. Gerade für handgeschriebene Texte wäre allerdings für die Umwandlung etwas mehr Arbeit nötig, da das Programm erst an die jeweilige Handschrift gewöhnt werden muss. Ein paar Seiten müssten also zuerst manuell transkribiert werden, damit das Programm die Arbeit weitgehend fehlerfrei aufnehmen kann.
Beim Beispiel von Omas Rezeptsammlung stellt sich nun natürlich die Frage, weshalb man sich überhaupt die Mühe machen sollte, die Sammlung in einen digitalen Text umzuwandeln. Denn möglicherweise kann man selber die Schrift der Oma gut lesen und findet auch meistens das Rezept wonach man sucht. Das mag zwar stimmen, die Situation ändert sich allerdings wenn man an die eigenen Kinder und Enkelkinder denkt, die mit der alten Schreibweise und der bekannten Ordnung eher wenig anzufangen wissen werden. Nun liegt die Idee nahe, dass man, um sich nicht mit einem neuen Programm herumärgern zu müssen, sich einfach vor den Computer setzen könnte, um die Rezepte händisch abzutippen. Gegen ein solches Vorgehen spricht bei zehn Seiten natürlich nichts, die Aufgabe klingt allerdings weniger einladend, wenn Omas Sammlung fünf Ordner voller Zettelwerk umfassen würde.
Noch klarer wird der Nutzen eines Programms wie Transkribus, wenn man es in einem geschichtswissenschaftlichen oder statistischen Kontext betrachtet, wo die Datenmenge schnell 10.000 Seiten übersteigen kann.
Meine Arbeit mit Transkribus
Um meinen weiteren Ausführungen folgen zu können ist ein gewisses Verständnis der generellen Funktion von Transkribus erforderlich:
Zu Beginn jedes Transkribier-Projekts steht das Hochladen einer Datei. Verschiedene Datei-Typen stehen zur Verfügung, bei mir handelte es sich um PDF-Dateien.
Der zweite Schritt ist die Layout-Analyse, bei welcher das Programm auslotet, wo überall auf der Seite überhaupt Text zu finden ist. Dabei gibt es zwei Möglichkeiten: CITlab Advanced und die Printed Block Detection
Der finale Schritt ist schließlich die eigentliche Transkription, wobei es wiederum zwei grundlegende Möglichkeiten gibt: OCR (Abbyy FineReader) ist die Standardfunktion für gedruckten Text, bei der man die Sprache und die Schriftart, etwa Gotisch, Normal oder Kombiniert, auswählen kann. HTR (CITlab) hingegen bietet verschiedene, bereits trainierte Transkribier-Funktionen, wobei man bereits aus einer großen Anzahl auswählen kann. Trainiert wurden sie manuell von verschiedenen Personen, woraufhin sie in Transkribus, für jedermann verwendbar, zur Verfügung stehen.
Die Texte die ich mit Transkribus umwandelte wurden nicht von einer Oma verfasst, sondern entstammen dem Grazer Tagblatt des Novembers 1920. Die eingescannten Seiten fand ich auf ANNO und lud sie herunter, um sie mit Transkribus bearbeiten zu können. Die erste Schwierigkeit stellte sich bereits beim Versuch das Transkribier-Programm zu öffnen, da mein Antivirenprogramm etwas gegen diesen Vorgang hatte. Sobald ich diese Hürde überwunden hatte, lud ich die eingescannten Seiten hoch und wollte frisch zu Werke gehen, stieß allerdings schnell auf weitere Schwierigkeiten. Von Seiten der Universität war uns nämlich empfohlen worden, CITlab Advanced für die Layout-Analyse zu verwenden. Diese Funktion ist allerdings für das Layout einer Zeitung von 1920 in keiner Weise verwendbar, da die Seiten meist in drei Spalten, bestehend aus unterschiedlichen Artikeln, gegliedert sind.
CITlab Advanced scheint eine solche Aufteilung nicht zu kennen, wodurch die Zeilen des Textes über die gesamte Seite weitergeführt werden, jede Zeile also aus Teilen von drei unterschiedlichen Spalten und Artikeln bestanden hätte. Es kostete mich tatsächlich einige Zeit und Nerven bis ich dieses Problem lösen konnte, indem ich die Printed Block Detection verwendete, welche den Text, teilweise korrekt, in einzelne Textregionen unterteilt. Um ein weiterführen der Zeilen in die angrenzende Spalte zu verhindern, musste ich den Abstand zwischen den einzelnen Textregionen manuell vergrößern.
Die eigentliche Transkription gestaltete sich Anfangs nicht einfacher, da OCR (Abbyy FineReader), welches ebenfalls von Seiten der Universität empfohlen worden war, trotz den korrekten Einstellungen nur äußerst unzureichend arbeitete. Denn auch wenn meine Scans von sehr guter Qualität und für mich ausgezeichnet lesbar waren, konnte die Funktion kaum zwei Wörter hintereinander richtig transkribieren. Wie die Fehlerquote bei undeutlicheren Scans ausgesehen hätte, möchte ich mir nicht vorstellen. Um einen lesbaren Text zu erhalten begann ich die Fehler manuell auszubessern, stellte diese Arbeit allerdings schnell ein, da ich ansonsten wohl noch immer daran sitzen würde.
Tatsächlich überlegte ich sogar eine Funktion speziell für das Grazer Tagblatt zu trainieren, der Aufwand hätte sich allerdings für meine 28 Dateien des Monats November wohl kaum rentiert. Schließlich durchsuchte ich die Listen der bereits trainierten Modelle von HTR (CITlab) und fand, zwischen Funktionen für holländische Gedichts-Manuskripte und deutscher Kurrent-Schrift, die Funktion ONB_Newseye_GT_M1+. Trainiert wurde dieses Modell an deutschsprachigen Zeitungen, die, wie auch meine Dateien, aus ANNO stammen. Das Ergebnis war weitgehend fehlerfreie und nach einigen Tagen hatte ich alle meine 28 Zeitungsexemplare transkribiert.
An sich ist eine Transkription rein für spezifische Informationsgewinnung nicht sinnvoll, da man, sofern man natürlich mit der alten Schrift zurechtkommt, die Zeitung ja auch direkt lesen könnte. Sobald man jedoch große Textmengen weiter analysieren möchte, etwa auf die Häufigkeit einzelner Wörter oder Wortzusammenhänge, ist eine Transkription unumgänglich.
Zum Abschluss lässt sich sagen, dass Transkribus für die Umwandlung von vielen Textdateien ein ausgezeichnetes Programm ist, jedoch einige Übung benötigt um es sinnvoll und effektiv einsetzen zu können. Selber zweifelte ich tatsächlich kurzzeitig an der Sinnhaftigkeit des Programms, konnte es allerdings nach einigem herumprobieren doch zweckmäßig einsetzen.
Damit bin ich am Ende dieses Beitrags angelangt und hoffe, dass ich jenen, die bereits mit Transkribus arbeiten, eine Hilfestellung und jenen, für die die Theamtik noch komplett neu ist, immerhin einen Einblick geben konnte.
Gruß Leo