Demande #1799
WelcomeBot remplit de lignes vide son fichier de log et la partition /
0%
Description
Résumé d'intervention le 25 septembre 2016 par Cpm.
== la détection
01h00 : constat que vivivi couine sur #april-admin :
<vivivi4> [29] bots:DISK is WARNING: DISK WARNING - free space: / 475 MB (13% inode=82%):
<vivivi4> [30] bots:DISK is CRITICAL: DISK CRITICAL - free space: / 380 MB (10% inode=82%):
<vivivi4> [31] bots:Welcome Bot connection is CRITICAL: CRITICAL - bot /srv/welcomebot/bot.py is not connected
<vivivi4> [33] bots:Hebdobot connection is CRITICAL: CRITICAL - bot java is not connected
<vivivi4> [34] bots:DISK is CRITICAL: DISK CRITICAL - free space: / 0 MB (0% inode=82%):
<vivivi4> [35] bots:Welcome Bot connection is CRITICAL: CRITICAL - bot /srv/welcomebot/bot.py is not connected
<vivivi4> [36] scopolamine:Axialys link is CRITICAL: axialys: UNREACHABLE
<vivivi4> [37] bots:Hebdobot connection is CRITICAL: CRITICAL - bot java is not connected
<vivivi4> [38] bots:DISK is CRITICAL: DISK CRITICAL - free space: / 0 MB (0% inode=82%):
Connexion sur la machine bots.
Quelques du -sch m'amènent à conclure que le fichier de log de welcomebot se remplit déraisonnablement au point de remplir la partition /
Constat qu'un processus bot.py tourne.
Puis :
root@bots:/srv/welcomebot# df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/dm-0 3,7G 3,4G 8,0K 100% /
root@bots:/srv/welcomebot# df -h .
Filesystem Size Used Avail Use% Mounted on
/dev/dm-0 3,7G 3,4G 8,0K 100% /
root@bots:/srv/welcomebot# ll welcomebot.log rw-r--r- 1 welcomebot welcomebot 2,4G sept. 25 01:06 welcomebot.log
root@bots:/srv/welcomebot# grep "^$" welcomebot.log | wc -l
2549193265
root@bots:/srv/welcomebot# egrep -v "^$" welcomebot.log | wc -l
32481
Arrêt de welcomebot en suivant l'indication du wiki : service welcomebot stop
Confirmation de l'absence de processus bot.py (ps auxwww | grep bot.py)
Constat que la partition /tmp est différente de / et qu'elle dispose d'un peu de place :
root@bots:/srv/welcomebot# grep "^$" welcomebot.log | wc -l
2549193265
Décision de compresser le fichier de log pour l'archiver et le remplacer par une version sans les lignes vides :
root@bots:/srv/welcomebot# bzip2 -9 -c welcomebot.log > /tmp/welcomebot.log.bz2
root@bots:/srv/welcomebot# ll /tmp/welcomebot.log.bz2 rw-r--r- 1 root root 13K sept. 25 01:37 /tmp/welcomebot.log.bz2
root@bots:/srv/welcomebot# sed '/^$/d' welcomebot.log > /tmp/welcomebot-wo_emtpy_lines.log
root@bots:/srv/welcomebot# cp /tmp/welcomebot-wo_emtpy_lines.log welcomebot.log
root@bots:/srv/welcomebot# df -h .
Filesystem Size Used Avail Use% Mounted on
/dev/dm-0 3,7G 1,1G 2,4G 31% /
root@bots:/srv/welcomebot# mkdir 20160925-incident ; cp /tmp/wel* 20160925-incident/
01h39 fin d'alerte<vivivi[4]> bots:DISK is OK: DISK OK
<vivivi[4]> [42] bots:Hebdobot connection is CRITICAL: CRITICAL - bot java is not connected
1) La partition / est redevenue opérationnelle.
2) WelcomeBot semble avoir un bug gênant.
3) Je n'ai pas redémarrer WelcomeBot pour éviter qu'il ne recommence.
4) Recommandation de ne pas mettre /srv sur /
Historique
Mis à jour par Christian P. Momon il y a plus de 7 ans
Pour information, le fichier de log original en version bzip2 est disponible dans le dossier /srv/welcomebot/20160925-incident/
ATTENTION : il fait 2,4 Go décompressé.
Mis à jour par François Poulain il y a plus de 7 ans
La blague est réapparue ce soir.
J'ai édité le script de lancement (bot.sh) pour éviter de logguer trop de choses.
Mis à jour par François Poulain il y a plus de 7 ans
- Statut changé de Nouveau à Résolu
le fichier de log n'explose plus comme un fou.
Mis à jour par Quentin Gibeaux il y a presque 7 ans
- Statut changé de Résolu à Confirmé
La blague est réapparue cette nuit :(
Mis à jour par François Poulain il y a presque 7 ans
beh le filtre de logs dans /srv/welcomebot/git/bot.sh est pas bon. Il filtre les lignes vides mais il y a un horodatage qui s'impose.
Les logs sont remplis de :
2017-07-07T08:39:10.636884
Cet horodatage est nouveau car la fois dernière que j'ai filtré les logs, ils avaient explosé par des retours chariots.
Mbon, ce bot est une merde en plus d'être inutile.