Projet

Général

Profil

Demande #5246

Politique de gestion des logs nginx sur bastion

Ajouté par Christian P. Momon il y a environ 3 ans. Mis à jour il y a environ 3 ans.

Statut:
Fermé
Priorité:
Normale
Assigné à:
Christian P. Momon
Catégorie:
-
Début:
26/02/2021
Echéance:
% réalisé:

0%

Temps estimé:

Description

En novembre dernier, la configuration du logrotate de nginx sur la vm bastion a connu des changements :

=(^-^)=root@bastion:/etc/logrotate.d# git diff 0e09b3d0141908cf3c06daa06446968e81ad5ce1 5b3261f55d7e2817dce62db07f4a73a48715f9e2 nginx
 /var/log/nginx/*.log /var/log/nginx/*/*log {
-       weekly
+       monthly
+       rotate 3

Avec pour conséquences :
  • de gros fichiers de logs ;
  • de vieux fichier rotate weekly qui trainent ;
  • un dossier /var/log/nginx qui prend beaucoup de place disque.

Exemple :

=(^-^)=root@bastion:/var/log/nginx# du -sch .
7,2G    .
7,2G    total

=(^-^)=root@bastion:/var/log/nginx/valise.chapril.org# ll -h
total 2,7G
-rw-r----- 1 www-data adm 977M févr. 26 17:07 valise.chapril.org.access_log
-rw-r----- 1 www-data adm 1,3G févr.  1 00:02 valise.chapril.org.access_log.1
-rw-r----- 1 www-data adm  12M sept.  6 00:01 valise.chapril.org.access_log.10.gz
-rw-r----- 1 www-data adm 9,9M août  30 00:01 valise.chapril.org.access_log.11.gz
-rw-r----- 1 www-data adm 8,7M août  23  2020 valise.chapril.org.access_log.12.gz
-rw-r----- 1 www-data adm 6,7M août  16  2020 valise.chapril.org.access_log.13.gz
-rw-r----- 1 www-data adm 5,3M août   9  2020 valise.chapril.org.access_log.14.gz
-rw-r----- 1 www-data adm 7,1M août   2  2020 valise.chapril.org.access_log.15.gz
-rw-r----- 1 www-data adm 7,4M juil. 26  2020 valise.chapril.org.access_log.16.gz

Proposition :
  1. faire le ménage sur les vieux fichiers de logs .xx.gz ;
  2. une nouvelle politique de logs nginx :
    • repasser à weekly afin de bénéficier de la compression plus rapidement et donc limiter l'espace disque utilisé ;
    • mettre rotate 13 afin d'avoir 3 mois de log entier.

Pour avis avant action.

Historique

#1

Mis à jour par François Poulain il y a environ 3 ans

Comme tu veux. On peut aussi calquer la conf de l'april qui fait un log par jour (perso j'aime bien). On peut aussi faire comme chez Cliss XXI et rotater avec des dates (option dateext de logrotate) plutôt que d'ouvrir un hôtel de Hilbert.

La vraie question par ailleurs est combien de temps de rétention.

#2

Mis à jour par Christian P. Momon il y a environ 3 ans

  • Statut changé de Nouveau à En cours de traitement

François Poulain a écrit :

On peut aussi calquer la conf de l'april qui fait un log par jour (perso j'aime bien).

Heu … si on part sur 12 semaines de logs, ça fait 84 fichiers, pfff ça fait beaucoup hein ! En quoi est-c'est mieux que 12 fichiers ?

On peut aussi faire comme chez Cliss XXI et rotater avec des dates (option dateext de logrotate) plutôt que d'ouvrir un hôtel de Hilbert.

Sophistication intéressante. Mais commençons par faire simple :)

La vraie question par ailleurs est combien de temps de rétention.

Me semble que nous avions dit que 3 mois était un maximum suffisant. Notamment pour pouvoir générer des statistiques anonymes sur le mois précédent.

#3

Mis à jour par Christian P. Momon il y a environ 3 ans

Actions :
  • logrotate nginx mis à weekly 13 ;
  • find -mtime +100 -type f -name "*gz" -exec mv {} /var/log/T/ \; (et suppression de /var/log/T).
#4

Mis à jour par Christian P. Momon il y a environ 3 ans

  • Statut changé de En cours de traitement à Résolu

Fait.

#5

Mis à jour par Quentin Gibeaux il y a environ 3 ans

  • Statut changé de Résolu à Fermé
#6

Mis à jour par Christian P. Momon il y a environ 3 ans

  • Version cible changé de Backlog à Sprint 2021 février

Formats disponibles : Atom PDF