Benutzer:Mr N/Vortraege/Textübernahme aus (eingescannten) Dokumenten ohne Abtippen
Textübernahme aus (eingescannten) Dokumenten ohne Abtippen! Bearbeiten
- geplante Dauer
- 45 Min.
Zielgruppe Bearbeiten
Wikipedianer und Aktive bei Wikipedia Loves Monuments (kurz: WLM) mit wenig Vorkenntnissen im Einscannen von Dokumenten und Texterkennung.
Hintergrund und Entstehungsgeschichte Bearbeiten
Zum Wikipedia-Loves-Monuments- (kurz: WLM) Orga-Treffen in Weimar im Sommer 2015 stellte sich heraus, das ein Großteil der jährlichen (Vorbereitungs)arbeit aus wiederkehrenden Routineaufgaben besteht, welche unnötig viel Arbeitskraft und -zeit bindet. Anstatt diese zu automatisieren und sich dann um andere Dinge kümmern zu können, schienen einige Personen geradezu stolz auf ihre "Fleißarbeit" zu sein.
Ich schlug daraufhin vor, am konkreten Beispiel der automatisierten Textextraktion aus Denkmalslisten-PDF-Dateien, die Vorzüge einer gewissen Automatisierung aufzuzeigen. Anstelle jedes mal aufs neue die Denkmalslisten für WLM erneut abzutippen, möchte ich zum bewussten Automatisieren anregen (Scannen und Texterkennung(kurz: OCR) falls nötig, Textextraktion und PDF-Tools (Anmerkungen in PDF-Dateien, Quellenverwaltung)).
Natürlich alles mit Freie Software und Hinweis auf Wichtigkweit von OpenStandards!
Vortragsinhalt Bearbeiten
Inhaltsextraktion per "Copy&Paste" aus "guten" PDFs Bearbeiten
DETAILS: Für den Anfang also jene mit eingebetteten Text & Co. zum einfach rauskopieren
per Gui-Anwendung Bearbeiten
Siehe: www.pdfreaders.org
Für meine Arbeit verwend(et)e ich z.B.:
per Skript - für Freunde der Automatisierung Bearbeiten
Informationen über PDF-Dateien automatisiert ermitteln Bearbeiten
DETAILS: pdfinfo [options] [PDF-file]
automatisiert Klartext aus PDF-Dateien extrahieren Bearbeiten
DETAILS: pdftotext [options] [PDF-file [text-file]]
PDF-Datei automatisiert in HTML-Datei (Webseite) umwandeln Bearbeiten
DETAILS: pdftohtml [options] <PDF-file> [<HTML-file> <XML-file>]
Vorteile Bearbeiten
- sämtliche Texte, Bilder etc. sollten in extra Dateien (im angegebenen Verzeichnis) extrahiert werden
- Das Layout bleibt erhalten
- DETAILS:
- Die extrahierten PDF-Bestandteile werden in einer HTML-Datei (also eine Webseite) so eingebunden, das sie dem Layout des ursprünglichen PDFs möglichst nahe kommen
- HTML-Dateien können (im Webbrowser) betrachtet, (in einem einfachen Texteditor) bearbeitet und automatisiert weiterverarbeitet werden
in PDF-Dateien eingebettete (dargestellte) Bilder automatisiert extrahieren Bearbeiten
DETAILS: pdfimages [options] <PDF-file> <image-root>
in PDF-Dateien eingebettete Anhänge automatisiert extrahieren Bearbeiten
DETAILS: pdfdetach [options] [PDF-file]
Beides sind PDF-Hilfsprogramme auf Basis von "poppler-utils"
PDF-Annotationen automatisiert auslesen Bearbeiten
DETAILS: pdfannotextractor [options] <PDF files[.pdf]>
Was tun bei Ausdrucken, Fotos & Co.? Bearbeiten
DETAILS: Sollte wirklich kein PDF mit einfach entnehmbaren Inhalten verfügbar sein, können ein paar Zwischenschritte helfen
Einscannen Bearbeiten
DETAILS: Vor allem für Dinge geeignet, die sich gut in einen Scanner legen lassen - etwas (Buch-)seiten
Tipps Bearbeiten
siehe Bedienungsanleitung...
Fotografie(r)en Bearbeiten
DETAILS: Nicht immer ist ein Scanner in der Nähe und manche Dinge - etwa Hinweistafeln - lassen sich höchstens abfotografieren
Tipps Bearbeiten
DETAILS: Es kommt weniger auf "hübsche Bilder" als auf gut lesbaren Text an!
auf guten Kontrast und scharfe Schrift achten Bearbeiten
DETAILS: Autofokus, Weißabgleich, ggf. Stativ für ruhigere Fotos verwenden etc.
für möglichst gleichmäßige Ausleuchtung sorgen Bearbeiten
DETAILS: Vermeidung von Schatten, Lichtreflexen, lichtbedingten Verfärbungen - vielleicht hilft der Blitz oder eine zusätzliche Lichtquelle
Verzerrungen vermeiden Bearbeiten
DETAILS: Reduktion von perspektivischer Verzerrungen durch geschickte Wahl der Perspektive und Kameraeinstellung.
Fotofachhandel nachfragen bzw. in einschlägigen Fotocommunities informieren Bearbeiten
Fotoaufbereitung Bearbeiten
Perspektivische Korrektur Bearbeiten
DETAILS: Im Gegensatz zum Scanner sind i.d.R. alle Stellen des Fotoobjektes unterschiedlich weit von der Linse der Kamera entfernt, was zwangsläufig zu einer gewissen Verzerrung führt, die es zu kompensieren gilt.
Weißabgleich Bearbeiten
DETAILS: Was ist Text und was Hintergrund?
Moderne "Digitalkameras" nehmen dem Fotografen schon eine Menge Einstellarbeit ab. Dennoch ist etwas Nacharbeit ratsam.
Bildschärfe Bearbeiten
DETAILS: Auf das richtige Mittelmaß kommt es an. Bei zu unscharfen Bildern, kann schlecht zwischen Text und Hintergrund unterschieden werden. Überscharfe Bildern werden meist von Bildrauschen gestört, was zu Fehlerkennungen führen kann.
Entsprechenden Ausschnitt wählen Bearbeiten
DETAILS: Es interessiert nur der Teil des Bildes, mit dem Text
"Unpaper" & Co. Bearbeiten
Texterkennung Bearbeiten
DETAILS: Häufig auch als Optical-Character-Recognition (kurz: OCR) bezeichnet
Funktionsweise Bearbeiten
Es wird geschaut, ob das vorliegende Bild bekannte Buchstaben enthält Bearbeiten
DETAILS: Hierbei sind verschiedene Alfabete, Schriftarten und Formatierungen zu berücksichtigen. Wierum der Text auf dem Bild zu sehen ist, ist ebenfalls wichtig.
Wörterraten mit Heuristik Bearbeiten
DETAILS: Falls Buchstaben nicht eindeutig zugeordnet werden können, wird u.a. in einer Art Wörtebuch die wahrscheinlichste Buchstabenkombination ermittel.
Von Wörtern zum Fließtext Bearbeiten
DETAILS: Nachdem die Klar ist in welche Richtung die Zeilen bzw. Spalten verlaufen und wie sie aneinandergereiht sind, kann der Text Zeichen für Zeichen erkannt und ausgelesen werden.
weitere Herausforderungen Bearbeiten
DETAILS: ...gibt es viele: Mehrspaltiger Text, Tabellen, Abbildungen im Text
Tipps Bearbeiten
Bilder sorgfältig vorbereiten Bearbeiten
DETAILS: Texte sollten nicht verzerrt und die Buchstaben klar erkennbar sein. Möglichst mit schwarz/ weiß- Bildern arbeiten, damit die Unterscheidung von Text und Hintergrund leichter fällt. Mehrfarbige Hintergründe und Texte machen es unnötig schwer.
Bei komplexeren Layouts einzelene Abschnitte nacheinander abarbeiten Bearbeiten
DETAILS: Hierbei am besten auch gleich auf die richtige Drehung des Bildausschnittes achten.
Training für die Texterkennung Bearbeiten
DETAILS: Auch die OCR-Software musste erst lesen "lernen". Dies geschieht in der Regel mit sogenannten Trainingsdaten. Diese werden meist für die gebräuchlichsten Schriftarten in der jeweiligen Software gleich mitgeliefert. Manche Texterkennungssoftware kann aber auch auf neue Schriftarten trainiert werden.
Tools/ Werkzeuge Bearbeiten
gscan2pdf Bearbeiten
DETAILS: recht einfach gehalten
Yagf Bearbeiten
DETAILS: sehr einfach gehalten
OCRFeeder Bearbeiten
DETAILS:
- Scannen (einschließlich rudimentärer Bildbearbeitungstools)
- Texterkennung (unter Berücksichtigung des Layouts)
- Export nach LibreOffice (erkannter Text + enthaltene Bilder)
weitere (PDF-)Tools Bearbeiten
PDF-Betrachter Bearbeiten
DETAILS: siehe: http://pdfreaders.org/
PDFs bearbeiten Bearbeiten
mehrere Scans zu einem PDF zusammenfügen Bearbeiten
DETAILS: gscan2pdf
Seiten von PDFs und Metadaten ändern Bearbeiten
DETAILS:
- pdfmod [Dateiname]
- pdfshuffler [file1] [file2] ..
verschiedenes Bearbeiten
DETAILS:
- pdfchain
- pdftk
PDFs vergleichen Bearbeiten
DETAILS:
- diffpdf [file1] [file2]
- comparepdf [OPTIONS] file1.pdf file2.pdf
Siehe auch die beiden LinuxUser-Zeitschriftenartikel:
- Spurensuche - Unterschiede in PDF-Dokumenten finden[1]
- Papierlos - Paperwork im Kampf gegen wachsende Aktenberge[2]
Annotations- und Literaturverwaltung Bearbeiten
DETAILS: Für Erstellung, Bearbeitung und Weiterverarbeitung von (nachträglichen) Anmerkungen in PDF-Dateien sowie Ordnung solcher Dateien
Literaturverwaltungsprogramme gibt es viele, doch nicht alle unterstützen offene Standards und nur wenige sind Freie Software. Frei wie das Recht auf Freie Rede, nicht wie kostenfrei.
Docear - Literaturverwaltung per Mindmap Bearbeiten
Zum Einsatz kam die neueste Betaversion (1.2), die ich auch zur Vorbereitung meiner WikiCon-Beiträge verwendete.
Zotero - gemeinsame Literaturverwaltung per Plugin für Webbrowser und Textverwaltung Bearbeiten
Ein lieb gewonnener Helfer Zur Literaturrecherche und zum Austausch mit Kommilitonen im Studium.
in PDFs (automatisierbar) suchen Bearbeiten
DETAILS: pdfgrep [OPTION...] PATTERN FILE...
verborgene Überarbeitungen zeigen Bearbeiten
DETAILS: pdfresurrect file.pdf [-w][-q][-s][-i]
OrderCrazy's Projekt für die bayrische WLM Bearbeiten
https://hochnebel.net/denkmalparser/
Hinweis auf andere Institutionen und Projekte Bearbeiten
Hinweis auf meinen anderen Vortrag Bearbeiten
- ↑ Frank Hofmann: Unterschiede in PDF-Dokumenten finden » LinuxCommunity. In: LinuxCommunity. Abgerufen am 26. September 2015.
- ↑ Karsten Günther: Paperwork im Kampf gegen wachsende Aktenberge » LinuxCommunity. In: LinuxCommunity. Abgerufen am 26. September 2015.