DjVu-Viewer Integration

DjVu-Viewer Integration

SICHERHEITSHINWEISE

• NIEMALS wiki.genealogy.net ändern - Produktions-Wiki, absolut verboten
• NIEMALS fur.bitplan.com ändern - Intranet-Quellserver, nur lesend via scp
• NIEMALS genwiki39d.bitplan.com ändern - Intranet-Docker-Wiki, nur lesend
• Alle Arbeiten beschränken sich auf djvu-wiki.genealogy.net und genwiki39e.genealogy.net auf vm2180

Gitlab

• Issue #17: DjVu - temporäres Test-Wiki für DjVu-Migration

Server-Topologie

wikiId	URL	Standort
djvu-wiki	http://djvu-wiki.genealogy.net	vm2180 (dieser Server)
genwiki-farm	http://genwiki-farm.genealogy.net	vm2180 (dieser Server)
genwiki39e	http://genwiki39e.genealogy.net	vm2180 (dieser Server)
genwiki39	https://genwiki39.genealogy.net	separater öffentlicher Docker-Server
genwiki39d	http://genwiki39d.bitplan.com	fur.bitplan.com (nur Intranet)
djvu-viewer	http://djvu.bitplan.com	fur.bitplan.com (nur Intranet)
Produktion	https://wiki.genealogy.net	VERBOTEN, separater Server

Hintergrund

• Ursprung: DjVu-Thumbnails werden überhaupt nicht erzeugt (2017)
• 1,5 Jahre Entwicklung → djvu-viewer - see wiki.bitplan.com/Djvu-viewer
• Grundursache: Nicht-gebündelte (indirekte) DjVu-Dateien verursachen DjVuImage::getMultiPageInfo: multi-page DJVU file contained no pages
• Lösung: Ausschließlich gebündelte DjVu-Dateien verwenden
• Zukünftiges Ziel: djvu-viewer liest .djvu-Dateien direkt ohne Tar-Pakete

Speicherplatz-Beschränkungen

• vm2180 hat ~2TB — ausreichend nur für Dateien mit Präfix A/B
• 333 gebündelte A/B-Dateien haben Tar-Pakete in /genwiki/djvu_images/
• Originale .djvu-Dateien liegen auf fur.bitplan.com:/hd/luxio/genwiki/images/
• djvu-viewer (nur Intranet) verwendet derzeit Tar-Pakete; direkte .djvu-Lesefunktion geplant

Demo-Dateien

Logarithmische Seitengrößen, alle gebündelt, alle mit Dateinamen-Präfix A oder B, alle mit Tar-Paketen. Hinweis: AB1934-Oelde.djvu enthält zwar "Oelde" im Namen, fängt aber mit A an.

Datei	Seiten	Größe	Hash-Pfad
AB1938_Kreis-Beckum_Inhaltsverz.djvu	3	50 KB	c/c7
Auenheim-Frauweiler_Dokument-1693-03-09.djvu	10	3,9 MB	b/b8
AB1934-Oelde.djvu	105	4,1 MB	5/54
Adressbuch_Husum_1900.djvu	313	7,7 MB	d/d1
Aachen-Burtscheit-AB-1887.djvu	676	57 MB	a/a0

Einrichtungsschritte

Die folgenden Schritte werden als wiederverwendbares Skript djvu-setup.sh umgesetzt, damit dasselbe Verfahren später auf alle A/B-Dateien oder bei ausreichend Speicherplatz auf weitere Präfixe angewendet werden kann.

Schritt 1 - Verzeichnisse auf vm2180 anlegen

sudo mkdir -p /var/www/mediawiki/sites/djvu-wiki.genealogy.net/images/{c/c7,b/b8,5/54,d/d1,a/a0}
sudo chown -R www-data:www-data /var/www/mediawiki/sites/djvu-wiki.genealogy.net/images/

Schritt 2 - Dateien von fur kopieren (auf fur.bitplan.com ausführen)

Originalzeitstempel werden mit -p erhalten:

BASE=/hd/luxio/genwiki/images
VM=wf@vm2180.hostsharing.net:/var/www/mediawiki/sites/djvu-wiki.genealogy.net/images
scp -p $BASE/c/c7/AB1938_Kreis-Beckum_Inhaltsverz.djvu         $VM/c/c7/
scp -p $BASE/b/b8/Auenheim-Frauweiler_Dokument-1693-03-09.djvu $VM/b/b8/
scp -p $BASE/5/54/AB1934-Oelde.djvu                            $VM/5/54/
scp -p $BASE/d/d1/Adressbuch_Husum_1900.djvu                   $VM/d/d1/
scp -p $BASE/a/a0/Aachen-Burtscheit-AB-1887.djvu               $VM/a/a0/

Schritt 3 - Hardlinks in genwiki39e erstellen (auf vm2180, kein zusätzlicher Speicher)

Hinweis: genwiki39e.genealogy.net ist der lokale Site-Konfigurationsverzeichnisname auf vm2180.

DJVU=/var/www/mediawiki/sites/djvu-wiki.genealogy.net/images
GENWIKI=/var/www/mediawiki/sites/genwiki39e.genealogy.net/images
for hpath in c/c7 b/b8 5/54 d/d1 a/a0; do
  sudo mkdir -p $GENWIKI/$hpath
done
sudo ln $DJVU/c/c7/AB1938_Kreis-Beckum_Inhaltsverz.djvu         $GENWIKI/c/c7/
sudo ln $DJVU/b/b8/Auenheim-Frauweiler_Dokument-1693-03-09.djvu $GENWIKI/b/b8/
sudo ln $DJVU/5/54/AB1934-Oelde.djvu                            $GENWIKI/5/54/
sudo ln $DJVU/d/d1/Adressbuch_Husum_1900.djvu                   $GENWIKI/d/d1/
sudo ln $DJVU/a/a0/Aachen-Burtscheit-AB-1887.djvu               $GENWIKI/a/a0/

Schritt 4 - Dateien in MediaWiki via importImages.php registrieren

WIKI_SITE=djvu-wiki.genealogy.net php /var/www/mediawiki/code/maintenance/importImages.php \
  --user=wf /var/www/mediawiki/sites/djvu-wiki.genealogy.net/images/

Schritt 6 - Wiki-Seiten im djvu-wiki erstellen

• Vereinfachte Ortsseite mit AB1934-Oelde.djvu als Beispiel
• DjVu-Indexseite mit allen 5 Beispielen

djvu-setup.sh

Ein Skript unter /home/wf/djvu-wiki/djvu-setup.sh automatisiert die Schritte 1, 3 und 4.

Befehlsreihenfolge (muss in dieser Reihenfolge ausgeführt werden)

# 1. Vorschau welche Dateien verarbeitet werden
./djvu-setup.sh --list

# 2. scp-Befehle ausgeben um Dateien von fur zu kopieren (auf fur.bitplan.com ausführen)
./djvu-setup.sh --scp

# 3. Nach scp: Verzeichnisse erstellen und Hardlinks in genwiki39e
sudo ./djvu-setup.sh --link

# 4. Dateien in MediaWiki registrieren
sudo ./djvu-setup.sh --import

Oder --all für Schritte 3+4:

sudo ./djvu-setup.sh --all  # --link + --import

Siehe auch

• Hauptseite - Übersicht des djvu-wiki
• djvu-viewer auf GitHub
• Djvu-viewer Dokumentation (BITPlan Wiki)
• Ursprüngliche Problemstellung (StackOverflow)