Incident du 3 aout 2020

Lundi 3 aout à 20h00 : Le volume `sysdisk02` est mis en mode 'read-only'

Mardi 4 aout : premier signalement d'une erreur sur la plateforme via twitter

https://twitter.com/clemDBA_Qc/status/1290712848155521024

Vendredi 7 aout à à 8h09 : Reboot de celeste2 et activation la console d'urgence pour forcer le redémarrage manuel.

Vendredi 7 aout à à 8h09 : erreurs dans /var/log/syslog

Aug 7 08:09:43 celeste2 kernel: kjournald starting. Commit interval 5 seconds
Aug 7 08:09:43 celeste2 kernel: EXT3-fs (xvda1): warning: ext3_clear_journal_err: Filesystem error recorded from previous mount: IO failure
Aug 7 08:09:43 celeste2 kernel: EXT3-fs (xvda1): warning: ext3_clear_journal_err: Marking fs in need of filesystem check.
Aug 7 08:09:43 celeste2 kernel: EXT3-fs (xvda1): warning: mounting fs with errors, running e2fsck is recommended
Aug 7 08:09:43 celeste2 kernel: EXT3-fs (xvda1): using internal journal

Le service PostgreSQL ne redémarre pas.

Aug 7 08:10:45 celeste2 postgresql@11-main[1120]: 2020-08-07 08:10:33.526 CEST [2478] fluxbb@fluxbb FATAL: the database system is starting up

Vendredi 7 aout à à 8h22 : Redémarrage à nouveau di serveur PostgreSQL. Les mêmes erreurs persistent.

Aug 7 08:22:02 celeste2 postgresql@11-main[16878]: 2020-08-07 08:21:57.600 CEST [16952] repli@dolibarr FATAL: the database system is starting up
Aug 7 08:22:02 celeste2 postgresql@11-main[16878]: pg_ctl: server did not start in time

Vendredi 7 aout à 8h39 : 3eme tentative de redémarrage de PostgreSQL. Cette fois le service est rétabli

Vendredi 7 aout à 9h37 : rétablissement de la repli logique vers Tantor2 (ansible-playbook rebuild_logical_replication.yml)