✎ docsearch-Plugin: Dokumente durchsuchbar machen [Umweltschuzzug WIKI]

<h1 class="page-header pb-3 mb-4 mt-5"><svg viewBox="0 0 24 24" xmlns="http://www.w3.org/2000/svg" width="1em" height="1em" role="presentation" class="iconify mr-2"><path d="M13 9h5.5L13 3.5V9M6 2h8l6 6v12a2 2 0 0 1-2 2H6a2 2 0 0 1-2-2V4c0-1.11.89-2 2-2m9 16v-2H6v2h9m3-4v-2H6v2h12z"/></svg> docsearch-Plugin: Dokumente durchsuchbar machen</h1>
<div class="level1">

Mit dem docsearch-Plugin können Dokumente, die als Medien-Dateien im Wiki hinterlegt sind, durch die Volltextsuche durchsuchbar gemacht werden (z.B. Word, Excel, Powerpoint und PDF-Dateien).

<a href="https://www.dokuwiki.org/oIWIKIoplugin%3AdocsearchcIWIKIc" class="interwiki iw_doku" target="_blank" title="https://www.dokuwiki.org/oIWIKIoplugin%3AdocsearchcIWIKIc" rel="noopener">Dokumentation des docsearch-Plugins auf dokuwiki.org</a>

&lt;WRAP center round important 100%>
Im Gegensatz zu den meisten anderen DokuWiki-Plugins ist es beim docsearch-Plugin nicht ausreichend, einfach nur das Plugin zu installieren. Es sind noch weitergehende Konfigurationen auf der Betriebssystemebene sowie die Installation von Drittprogrammen notwendig!

Dies bedingt ein Administrator-Konto. Wird das Wiki auf einem normalen Webhosting-Paket betrieben, wird die Installation mit großer Wahrscheinlichkeit nicht durchführbar sein.
&lt;/WRAP>

</div>

<h3 class="page-header pb-3 mb-4 mt-5">Funktionsweise des docsearch-Plugins</h3>
<div class="level3">

Die DokuWiki-Software kann standardmäßig nur den <a href="/doku.php?id=wiki:hilfe:administration:suchindex" class="wikilink1" title="wiki:hilfe:administration:suchindex" data-wiki-id="wiki:hilfe:administration:suchindex">Suchindex</a> für Wiki-Seiten erzeugen, nicht aber für Dateien.

Das Plugin erreicht technisch gesehen auf folgendem Weg, dass auch Mediendateien durchsucht werden können:

<ol class="fix-media-list-overlap">
<li class="level1"> Starten des Programms durch eine zeitgesteuerte, automatisierte Betriebssystemfunktion (cronjob in Linux, geplante Aufgabe in Windows)</li>
<li class="level1"> Das Programm erstellt nun eine Liste von allen Mediendateien im Wiki</li>
<li class="level1"> Für die Dateitypen, für die ein converter definiert ist (anhand der Dateinamensendung), wird ein Drittprogramm (z.B. LibreOffice) aufgerufen, welches die Mediendatei in reinen Text umwandelt</li>
<li class="level1"> Die so erzeugte Textdatei kann nun von der DokuWiki-eigenen Funktion zur Erstellung des Suchindexes verarbeitet werden</li>
<li class="level1"> Die Inhalte der Mediendateien werden in den Suchergebnissen angezeigt</li>
</ol>

</div>

<h3 class="page-header pb-3 mb-4 mt-5">Grenzen des docsearch-Plugins</h3>
<div class="level3">

Da die Erzeugung des Suchindexes für Mediendateien ebenfalls auf dem Auslesen von maschinenlesbaren Inhalten basiert, können nur solche Dateien in den Suchindex aufgenommen werden, die auch lesbaren Text enthalten. Ein PDF, welches ein eingescanntes Dokument, also ein Bild enthält, kann durch die Suche nicht indiziert werden. Hier wäre zusätzlich die Nutzung einer Texterkennungssoftware notwendig. Dies verkompliziert die Konfiguration jedoch weiter und sorgt für einen vielfachen Ressourcenverbrauch.

</div>

<h2 class="page-header pb-3 mb-4 mt-5">Installation des Plugins</h2>
<div class="level2">

Dieses Plugin ist in der Standard-Einsatzleiterwiki-Installation nicht enthalten. Installieren Sie das Plugin, wie in der Anleitung <a href="/doku.php?id=wiki:hilfe:plugins:plugins_installieren" class="wikilink1" title="wiki:hilfe:plugins:plugins_installieren" data-wiki-id="wiki:hilfe:plugins:plugins_installieren">Plugins installieren</a> beschrieben. In den Suchergebnissen des Plugin-Managers wird das Plugin als Document Search Plugin bezeichnet.

</div>

<h2 class="page-header pb-3 mb-4 mt-5">Konfiguration des Plugins und Installation von Drittprogrammen in Linux-Betriebssystemen</h2>
<div class="level2">

&lt;WRAP center round important 100%>
Die hier beschriebenen Schritte gelten für Ubuntu-/Debian-basierte Linux-Installationen. Bei anderen Distributionen können für die Installation andere Befehle oder Paketnamen notwendig sein!
&lt;/WRAP>

Zum Auslesen von PDF-Dateien wird das Paket <code>poppler-utils</code> benötigt. Für Dokumente der Office-Formate, also sowohl Microsoft Office als auch OpenOffice/LibreOffice, kann das LibreOffice-Paket verwendet werden. Installieren sie die benötigten Pakete mit folgendem Befehl (für Debian/Ubuntu und verwandte Distributionen):

<pre class="code">sudo apt-get install poppler-utils libreoffice

</pre>

Legen Sie nach der Installation der Hilfsprogramme (ausgehend von Ihrem Wiki-Stammverzeichnis) im Verzeichnis <code>lib/plugins/docsearch/conf</code> die Datei <code>converter.sh</code> an (diese existiert noch nicht). Kopieren Sie nun den folgenden Inhalt in die Datei, alternativ können Sie diese hier auch durch Klick auf den Dateinamen herunterladen und direkt in das genannte Verzeichnis speichern:

<dl class="file">
<dt><a href="/doku.php?do=export_code&id=wiki:hilfe:plugins:optional:docsearch&codeblock=1" title="Schnipsel herunterladen" class="mediafile mf_sh">converter.sh</a></dt>
<dd><pre class="code file sh"># übergebene Argumente in Variablen schreiben 
INPUTFILE="$1"
OUTPUTFILE="$2"
 
# Dateiname ohne Pfad ermitteln
INPUTFILENAME=`basename "$INPUTFILE"`
 
#Pfad (ohne Dateiname) für die Ausgabedatei ermitteln
OUTPUTPATH=`dirname "$OUTPUTFILE"`
 
# Dateiendung der Eingabedatei ermitteln
INPUTFILEEXT=${INPUTFILE##*.}
 
# Dateiname ohne Dateiendung ermitteln
FILENAME=${INPUTFILENAME%.*}
 
# je nach Dateityp den entsprechenden Befehl ausführen
# siehe dazu auch https://de.wikipedia.org/wiki/Liste_der_Microsoft-Office-Dateinamenserweiterungen
case $INPUTFILEEXT in
 pdf)
 pdftotext -enc UTF-8 $INPUTFILE $OUTPUTFILE
 ;;
 doc|dot|docx|docm|dotx|dotm|xls|xlm|xlt|xlsx|xlsm|xltx|xltm|ppt|pot|pps|pptx|pptm|potx|potm|ppsx|ppsm|odt|ott|ods|ots|csv|odp|otp|odg)
 libreoffice --headless --convert-to "txt:Text (encoded):UTF8" --outdir "$OUTPUTPATH" "$INPUTFILE"
 mv $OUTPUTPATH/$FILENAME.txt $OUTPUTPATH/$INPUTFILENAME.txt
 ;;
esac

</pre> 
</dd></dl>

Definieren Sie nun, dass die Datei bzw. das Script als Programm ausgeführt werden darf. Da dafür vermutlich root-Rechte notwendig sind, verwenden Sie folgenden Befehl. Achten Sie darauf, den Pfad entsprechend an Ihre Ordnerstruktur anzupassen, der folgende Pfad wird nur beispielhaft verwendet:

<pre class="code">sudo chmod 755 /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh

</pre>

Legen Sie ebenfalls im Verzeichnis <code>lib/plugins/docsearch/conf</code> eine weitere Datei <code>converter.php</code> an (diese existiert auch noch nicht). Kopieren Sie nun den folgenden Inhalt in die Datei, alternativ können Sie diese hier auch durch Klick auf den Dateinamen herunterladen und direkt in das genannte Verzeichnis speichern:

<dl class="file">
<dt><a href="/doku.php?do=export_code&id=wiki:hilfe:plugins:optional:docsearch&codeblock=3" title="Schnipsel herunterladen" class="mediafile mf_php">converter.php</a></dt>
<dd><pre class="code file php">#< ?php die(); ?>
pdf /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
doc /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
dot /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
docx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
docm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
dotx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
dotm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xls /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xlm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xlt /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xlsx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xlsm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xltx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
xltm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
ppt /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
pot /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
pps /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
pptx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
pptm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
potx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
potm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
ppsx /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
ppsm /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
odt /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
ott /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
ods /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
ots /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
csv /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
odp /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
otp /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%
odg /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/conf/converter.sh %in% %out%

</pre> 
</dd></dl>

Passen Sie auch hier den Pfad in jeder Zeile an Ihre Ordnerstruktur an.

Möchten Sie bestimmte Dateitypen von der Aufnahme in den Suchindex ausschließen, so löschen Sie die entsprechende Zeile, welche mit der Dateiendung beginnt, aus der Datei <code>converter.php</code> heraus.

</div>

<h3 class="page-header pb-3 mb-4 mt-5">Funktion testen</h3>
<div class="level3">

Nun kann die Konfiguration getestet werden. Auch hier werden alle Befehle wieder als root ausgeführt. Der Befehl kann standardmäßig nicht durch den Benutzer des Webservers www-data (unter Ubuntu/Debian) ausgeführt werden, da dieser keine Berechtigung besitzt die Befehle direkt auszuführen. Statt der Verwendung des root-Accounts kann auch ein eigener Benutzer für diese Aufgabe angelegt werden, der dann allerdings auch Schreibrechte im <code>data</code>-Ordner des Wikis besitzen muss.

Zum Test wird nun das Kommando ausgeführt (auch hier müssen Sie natürlich wieder Ihren Installationspfad anpassen):

<pre class="code">sudo php /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/cron.php

</pre>

Nun werden Sie einigen Text auf Ihrem Bildschirm durchlaufen sehen. Die Meldung <code>Syntax Warning: Invalid Font Weight</code> können Sie ignorieren. PDF-Dateien werden ohne Meldung bearbeitet. Bei Office-Dokumenten wird für jede Datei eine Zeile ausgegeben. Lediglich wenn eine Zeile mit <code>Command failed</code> beginnt, konnte die Datei nicht konvertiert bzw. eingelesen werden. Bei Excel-Dateien scheint es hier noch teilweise zu Problemen zu kommen.

Nachdem das Programm durchgelaufen ist, können Sie Ihr Wiki öffnen und eine Suche nach einem Begriff durchführen, der sich in einem Dokument befindet. Auch der Suchergebnis-Seite sehen Sie nun einen neuen Abschnitt Ergebnisse in Dokumenten, in dem die Treffer in Medien-Dateien aufgelistet werden.

</div>

<h3 class="page-header pb-3 mb-4 mt-5">Suchindex für Media-Dateien regelmäßig automatisiert erzeugen</h3>
<div class="level3">

Damit Sie das Kommando nicht jedes Mal per Hand ausführen müssen, können Sie diesen Schritt auch automatisieren. Dazu muss der Befehl in die crontab eingetragen werden. Diese können sie wie folgt öffnen:

<pre class="code">sudo crontab -e

</pre>

Falls Sie noch nie die Crontab geöffnet haben, werden Sie beim ersten Mal gefragt, welchen Editor Sie verwenden möchten:

<pre class="code">no crontab for root - using an empty one

Select an editor.  To change later, run 'select-editor'.
  1. /bin/nano        &lt;---- easiest
  2. /usr/bin/vim.tiny
  3. /bin/ed

Choose 1-3 [1]:

</pre>

Geben Sie nun die Ziffer 1 ein und drücken Sie Enter.

Fügen Sie nun folgende Zeile am Ende der Datei ein (Pfad wieder anpassen):

<pre class="code">0 2 * * * php /var/www/html/einsatzleiterwiki/lib/plugins/docsearch/cron.php

</pre>

Damit wird der Suchindex für Mediendateien täglich um 2 Uhr neu erzeugt.

Die fünf Zahlen (oder Sternchen) bedeuten dabei:

<pre class="code">* * * * * Befehl der ausgeführt werden soll
- - - - -
|   | |   | |
|   | |   | +----- Wochentag (0 - 7) (Sonntag ist 0 und 7)
|   | | +------- Monat (1 - 12)
|   | +--------- Tag (1 - 31)
| +----------- Stunde (0 - 23)
+------------- Minute (0 - 59)

</pre>

Weitere Informationen dazu finden Sie unter <a href="https://wiki.ubuntuusers.de/Cron/" class="urlextern" target="_blank" title="https://wiki.ubuntuusers.de/Cron/" rel="ugc nofollow noopener">https://wiki.ubuntuusers.de/Cron/</a>

Speichern Sie nun die Crontab mit der Tastenkombination <code>STRG + o</code> (kleiner Buchstabe o) und bestätigen Sie mit Enter. Die Bearbeitung können Sie mittels der Tastenkombination <code>STRG + x</code> beenden.

Die Einrichtung ist damit abgeschlossen.

</div>

Aktiviere komplexe Tabellen Editorhöhe px Zusätzliche Unterstützung beim Einfügen von Bildern aus der Zwischenablage Ein

Zusammenfassung: Kleine Änderungen