View source for Documentation opérationelle Mediawiki

Installation du site LinguaLibre.org avec Mediawiki version 1.35

== Installation ==

=== Installation de MediaWiki version 1.35 ===

Lingua Libre utilisait jusqu'au début 2021 la version 1.31 de Mediawiki, la dernière version LTS, qui arrive en fin de vie en juin 2021 (voir [[mw:Special:MyLanguage/Version lifecycle|Version lifecycle sur Mediawiki]]), la nouvelle version LTS est la 1.35 (prévu pour durer jusqu'en septembre 2023).
Ce passage de 4 versions implique des incompatiblités dans les extensions spécifiques à Lingua Libre qui doivent être résolues.

Dans un second temps, il y aurait sans doute une passe à refaire pour vérifier que toutes les fonctionnalités de l'existant était bien utiles et corrects (par exemple, les diverses d'URL .fr / .org / .wikimedia.fr etc.).

Installation de Mediawiki en soi
* se connecter en SSH au serveur OVH
* il existe plusieurs façons d'installer Mediawiki
* la méthode Docker est déconseillée (elle n'est pas vraiment prévue pour la production)
* méthode Git ou dossier compressé : tar.gz

Dans cette documentation, on utilise la méthode Git, à préférer pour le suivi sur le long terme, celle-ci permet de voir les fichiers modifiés.

Caractéristiques du serveur :
* 2 CPU et 8 Go de RAM
* Ubuntu 20.04.2 LTS
* Linux 5.4.0-67-generic

En tant qu’utilisateur dans le groupe users (sudo adduser nom-utilisateur users)

Pré-requis :
* On commence par faire les mises à jour du serveur :

<pre>
sudo apt update
sudo apt -y upgrade
</pre>

* Installation de Nginx, MySQL MariaDB, PHP, Mediawiki :

<pre>
sudo apt install -y nginx (déjà installé)
sudo apt install -y mariadb-server
MariaDB 1:10.3.25-0ubuntu0.20.04.1
</pre>

* attention notamment à PHP (version 7.4.3 ou supérieure mais pas 8) : [[mw:Special:MyLanguage/Compatibility|Compatibility]]

<pre>
sudo apt install -y php7.4-fpm php7.4-mysql php7.4-gd php7.4-xml php7.4-zip php7.4-curl php7.4-apcu php7.4-intl
sudo apt install -y npm
sudo apt install -y composer
sudo apt install -y ffmpeg

sudo add-apt-repository ppa:ondrej/php (pour obtenir la version 7.4.9+ spécifique dont Mediawiki a besoin)
sudo apt update
sudo apt upgrade
</pre>

Pour MediaWiki 1.35, il a été utilisé PHP 7.4.16 provenant du PPA de ondrej.

Installer Let’s Encrypt : https://certbot.eff.org/lets-encrypt/ubuntufocal-nginx
<pre>
sudo snap install core; sudo snap refresh core
sudo snap install --classic certbot
sudo ln -s /snap/bin/certbot /usr/bin/certbot
sudo certbot --nginx
</pre>

* Entrer l’email de contact
* Accepter les CGV https://letsencrypt.org/documents/LE-SA-v1.2-November-15-2017.pdf
* Accepter ou refuser les newsletters de l’EFF (refusé en l’occurrence)

Configurer nginx : mettre le fichier nginx/lingualibre.org du dépôt operations (branche nouveau-serveur pour l’instant) dans /etc/nginx/sites-enabled/lingualibre.org, puis `sudo systemctl restart nginx.service`

Obtenir le dernier dump SQL :
* scp -p user@serveur:2020-05-29-llbackup.zip .
* cat 2020-05-29-llbackup.sql|sudo mysql

<pre>
cd /opt
sudo chmod g+w .
sudo chgrp users .
git clone https://github.com/lingua-libre/operations.git
mkdir -p /opt/mediawiki/1.35

Créer un mot de passe aléatoire avec :
head -c 1000 /dev/random|sha1sum

Créer un secret pour wgSecretKey avec :
head -c 1000 /dev/random|sha256sum

sudo mysql
> CREATE USER lingualibre@localhost IDENTIFIED BY 'mot de passe aléatoire';
> GRANT ALL ON lingua_libre_v2.* TO lingualibre@localhost;
sudo /opt/operations/deploy.sh
Mediawiki Release [REL1_31]: REL1_35
System user [www-data]: nom-utilisateur
Path [dev.lingualibre.org]: /opt/mediawiki/1.35
database name: lingua_libre_v2
database user: lingualibre
database password: mot de passe aléatoire
wiki secret key: (voir sur https://www.mediawiki.org/wiki/Manual:$wgSecretKey)
OAuth consumer key: 
OAuth consumer secret:
</pre>

Lancer la mise à jour de la base de données (opération à faire après chaque màj) :
<pre>
sudo -u www-data php maintenance/update.php --quick
</pre>

Remplacer le fichier LocalSettings local par celui du github :  https://github.com/lingua-libre/operations/blob/master/mediawiki-config/LocalSettings.php

Vérifier le fonctionnement du site MediaWiki.

En cas de problèmes (page blanche, Fatal exception of type "Error"), ajouter au LocalSettings.php les lignes suivantes pour activer le débug :

<pre>
error_reporting( -1 );
ini_set( 'display_errors', 1 );

$wgShowExceptionDetails = true;
$wgShowDBErrorBacktrace = true;
$wgShowSQLErrors = 1;
</pre>

==== Problèmes possibles ====
===== Class 'Wikibase\DataModel\Entity\ItemId' not found error =====

Liens utiles : https://stackoverflow.com/questions/67236687/class-wikibase-datamodel-entity-itemid-not-found-wikibase-installation, https://phabricator.wikimedia.org/T197868

S'assurer qu'il existe le fichier composer.local.json dans /opt/mediawiki/1.35, et ce dernier doit contenir (au moins) :

<pre>
{
  "extra": {
    "merge-plugin": {
      "include": [
        "extensions/Wikibase/composer.json"
      ]
    }
  }
}
</pre>

Puis faire <pre>composer update --no-dev</pre>. Puis
<pre>
sudo -u www-data php maintenance/update.php --quick
</pre>

=== Installation du Blazegraph ===

Pour installer le Blazegraph :

Suivre la documentation suivante : https://github.com/wikimedia/wikidata-query-rdf/blob/master/docs/getting-started.md

Pré-requis : Java et Maven

<pre>
sudo apt-get install -y openjdk-8-jdk maven
</pre>

(note : openjdk-8-jre ne suffit pas)

note à changer dans le getting-started : plus un unzip mais tar xfz service-*-dist.tar.gz

dans RWStore.properties, modifier le paramètre : com.bigdata.journal.AbstractJournal.file=lingualibre.jnl

Pour obtenir le dump .ttl (avant l’étape de munge dans la doc), il faut utiliser sur le Wikibase
<pre>
php extensions/Wikibase/repo/maintenance/dumpRdf.php|gzip > wikibase.ttl.gz
</pre>

Ajouter dans /opt/wikidata-query-rdf/dist/target/service-*-SNAPSHOT le fichier [https://github.com/lingua-libre/operations/blob/master/blazegraph/prefixes.conf prefixes.conf] disponible dans le repo Git "operations".

Installer nginx : sudo apt install nginx-light

Supprimer /etc/nginx/sites-enabled/default

Créer /etc/nginx/sites-enabled/blazegraph avec :
<pre>
```
proxy_cache_path /var/cache/nginx keys_zone=blazegraph:50m;

server {
    listen 9000 default_server;
    listen [::]:9000 default_server;

    location /bigdata/ {
        proxy_cache blazegraph;
        proxy_cache_methods GET HEAD POST;
        proxy_cache_key $scheme$proxy_host$request_uri$request_body;
        proxy_http_version 1.1;
        proxy_cache_valid 200 302 10m;
        add_header    'Access-Control-Allow-Origin' '$http_origin' always;
        add_header    'Access-Control-Allow-Methods' 'GET' always;
        add_header    'Access-Control-Allow-Headers' 'Origin, X-Requested-With, Content-Type, Accept' always;
        add_header    'Access-Control-Allow-Credentials' 'true' always;
        add_header    'Vary' 'Origin' always;
        proxy_set_header X-BIGDATA-MAX-QUERY-MILLIS "310000";
        proxy_set_header X-BIGDATA-READ-ONLY "yes";
        proxy_set_header Host $http_host;
        proxy_pass http://127.0.0.1:9999;
    }

    location /datasets/ {
        root /home/www;
        autoindex on;
    }
}
```
</pre>

Créer le fichier /etc/default/wdqs-blazegraph avec le contenu :
<pre>
```
HEAP_SIZE=24g
```
</pre>

Créer le service systemd blazegraph.service en créant le fichier /usr/local/lib/systemd/system/blazegraph.service avec le contenu provenant du [https://github.com/lingua-libre/operations/blob/master/systemd/blazegraph.service dépôt operations dossier systemd/blazegraph.service].

Et activer blazegraph.service avec :
<pre>
    sudo systemctl daemon-reload
    sudo systemctl start blazegraph.service
    sudo systemctl enable blazegraph.service
</pre>

Lancer l’updater avec `./runUpdate.sh -n wdq -- --wikibaseUrl https://dev.lingualibre.org --entityNamespaces 0,122 --conceptUri https://dev.lingualibre.org >/var/log/blazegraph/updater.log 2>/var/log/blazegraph/updater.err`

Créer le service systemd de l’updater en créant le fichier /usr/local/lib/systemd/system/updater.service avec le contenu provenant du [https://github.com/lingua-libre/operations/blob/master/systemd/updater.service dépôt operations dossier systemd/updater.service].

Optimisation Blazegraph : passer par l’IP privée pour arriver sur le serveur lingualibre.org en ajoutant
<pre>
10.42.0.50      lingualibre.org
</pre>
dans /etc/hosts sur le serveur où tourne le Blazegraph

=== Annexe : versions spécifiques d’extensions MediaWiki ===

Le tableau suivant indique les modifications par rapport aux versions officielles des extensions ou les spécificités utiles aux futures mises à jour.

{| class="wikitable sortable"
|-
! Extension
! Branche officielle
! Commit officiel
! Date commit officiel
! Commit déployé
! Commentaires
|-
| colspan="7" | Commit différent de l’officiel
|-
| InputBox
| REL1_35
| 7a552539
| 2021-05-11T02:00:56Z
| 96de7095
| Ajouté un cherry-pick de [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/InputBox/+/683034 253eb5e] pour supprimer un warning dans la console. Ce cherry-pick ne sera plus utile à partir de la branche REL1_37 mais reste nécessaire pour la branche REL1_36 (fusionné peu après la coupure REL1_36).
|-
| MultimediaViewer
| REL1_35
| f0de2f8a
| 2021-05-11T20:30:33Z
| 3dc8e160
| Ajouté un cherry-pick de [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/MultimediaViewer/+/683039 I3f689eea version 3] (actuellement en cours de relecture) pour supprimer un warning dans la console.
|-
| OAuthAuthentication
| master
| da1098db
| 2021-04-13T18:17:22Z
| ac62a114
| Ajouté [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/OAuthAuthentication/+/683885/4 I0bf0d4e0 (version 4)] qui met fortement à jour le code pour l’adapter notamment à AuthManager (mécanisme d’authentification standard de MediaWiki créé en MW 1.27), il intègre l’adaptation de OAuthAuthentication à MW 1.35 et en partie à 1.36 et 1.37. Ce patch est une actualisation du patch [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/OAuthAuthentication/+/251930/33 I0bf0d4e0 (version 32)] de Tgr.<br />Lorsque LinguaLibre utilisait MediaWiki 1.31, c’était [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/OAuthAuthentication/+/251930/25 I0bf0d4e0 (version 25, 7d7ddc41)] qui était utilisé.
|-
| Wikibase
| REL1_35
| 38d1b49e
| 2021-05-11T20:30:33Z
| 83f882ff
| Ajouté un cherry-pick de [https://gerrit.wikimedia.org/r/c/mediawiki/extensions/Wikibase/+/664228/ I0aee7d47] pour supprimer un warning dans la console. Ce cherry-pick ne sera plus utile à partir de la branche REL1_36.
|-
| colspan="7" | Commit officiel
|-
| RecordWizard
| master
| 42ade479
| 2021-05-27T17:28:29+02:00
| 42ade479
| Lors de la mise à jour 1.35, il est apparu que la bibliothèque de sérialisation JS d’items Wikibase avait été modifiée en retirant certaines fonctions utilisées par RecordWizard au moment de la création de l’item Wikibase (voir [[:phabricator:T234327|cette discussion vers le 30 mars 2021]]). Aussi, la librairie en question [https://github.com/lingua-libre/WikibaseSerializationJavaScript a été forkée] et est déclarée en tant que sous-module Git de l’extension RecordWizard.
|}

== Exploitation ==

=== Gestion des services ===

Sur le serveur frontend :
<syntaxhighlight lang="bash">
    sudo systemctl status nginx.service
    sudo systemctl status php7.4-fpm.service
    sudo systemctl status mariadb.service
</syntaxhighlight>

Sur le serveur backend :
<syntaxhighlight lang="bash">
    sudo systemctl status blazegraph.service
    sudo systemctl status updater.service
</syntaxhighlight>

Pour chacun des services, on pourra utiliser les commandes classiques systemd :
<syntaxhighlight lang="bash">
    sudo systemctl start ….service
    sudo systemctl stop ….service
    sudo journalctl -e -u ….service (affichage des derniers logs)
</syntaxhighlight>

=== Points particulier à vérifier ===
* l'apparence globale, pour repérer le manque de feuilles de style et la présence des messages systèmes (record, aboutwmfr, contact, …)
* tester le fonctionnement des outils, en particulier l'outil principal "RecordWizard" et s'assurer qu'à la fin le fichier est correctement importé sur Wikimédia Commons
* tester le Blazegraph et sa réactivité
* vérifier dans la console l'absence de message d'erreurs

Suggestion: stocker les extensions sur Gerrit Wikimedia plutôt que sur Github, permettrait peut-être une meilleure mise à jour (plus visible pour les devs qui feraient des brakings changes).

=== OAuth ===

Réinitialiser les tokens OAuth :
* pour tous les utilisateurs : SQL : <syntaxhighlight lang="sql">DELETE FROM oauthauth_user;</syntaxhighlight>
* pour un utilisateur : SQL : <syntaxhighlight lang="sql">DELETE FROM oauthauth_user WHERE oaau_username = 'Seb35';</syntaxhighlight>

Déconnecter de force les utilisateurs :
* tous les utilisateurs : SQL : <syntaxhighlight lang="sql">UPDATE user SET user_token = '';</syntaxhighlight>
* un utilisateur : SQL : <syntaxhighlight lang="sql">UPDATE user SET user_token = '' WHERE user_name = 'Seb35';</syntaxhighlight>

Pour une version de développement ou si les identifiants et mots de passe OAuth ont été perdus, il faut en recréer en faisant le demande sur cette page : [[m:Special:OAuthConsumerRegistration/propose|Special:OAuthConsumerRegistration/propose]]

Voir aussi la documentation complète d'OAuth sur [[mw:Special:MyLanguage/Extension:OAuth|Extension:OAuth]]


== Installation d'une instance de développement (dev.lingualibre.org) ==

Suivi de la procédure jusqu'au setup de nginx, attention à changer la destination des clés SSL Let's Encrypt (lingualibre.org -> dev.lingualibre.org). Créer une config nginx dédiée ?

== See also ==
{{Technicals}}
[[Category:Lingua Libre:Help]]