Projet

Général

Profil

Actions

Anomalie #4524

fermé

Pas de purge des pré-sauvegardes Influxdb sur la vm admin ?

Ajouté par Christian P. Momon il y a plus de 4 ans. Mis à jour il y a plus de 4 ans.

Statut:
Fermé
Priorité:
Élevée
Assigné à:
Christian P. Momon
Catégorie:
-
Version cible:
Début:
03/06/2020
Echéance:
% réalisé:

0%

Temps estimé:
Difficulté:
2 Facile

Description

Sur la vm admin, le /var approche à nouveau de la saturation :

(April) root@admin:/var/# df -h /var
Sys. de fichiers         Taille Utilisé Dispo Uti% Monté sur
/dev/mapper/vg_admin-var   9,6G    8,4G  731M  93% /var

En regardant ce qui prend de la place dans /var, on voit :

(April) root@admin:/var/backups/influxdb/icinga2# du -sch .
3,2G    .

Or la base influxdb ne semble pas occuper autant :

(April) root@admin:/var/backups/influxdb/icinga2# du -sch /var/lib/influxdb/
247M    /var/lib/influxdb/

De plus :

(April) root@admin:/var/backups/influxdb/icinga2# ll |wc -l
398

(April) root@admin:/var/backups/influxdb/icinga2# ll *.s14.tar.gz
-rw------- 1 root root 2,8M mai   11 20:00 20200511T180009Z.s14.tar.gz
-rw------- 1 root root 3,3M mai   11 21:11 20200511T191129Z.s14.tar.gz
-rw------- 1 root root 6,3M mai   12 20:00 20200512T180003Z.s14.tar.gz
-rw------- 1 root root 6,7M mai   12 21:16 20200512T191602Z.s14.tar.gz
-rw------- 1 root root 9,2M mai   13 20:00 20200513T180005Z.s14.tar.gz
-rw------- 1 root root 9,6M mai   13 21:08 20200513T190829Z.s14.tar.gz
-rw------- 1 root root  13M mai   14 20:00 20200514T180004Z.s14.tar.gz
-rw------- 1 root root  13M mai   14 21:04 20200514T190441Z.s14.tar.gz
-rw------- 1 root root  16M mai   15 20:00 20200515T180005Z.s14.tar.gz
-rw------- 1 root root  16M mai   15 21:03 20200515T190320Z.s14.tar.gz
-rw------- 1 root root  18M mai   16 20:00 20200516T180007Z.s14.tar.gz
-rw------- 1 root root  19M mai   16 21:04 20200516T190433Z.s14.tar.gz
[…]
-rw------- 1 root root  22M mai   28 13:06 20200528T110640Z.s14.tar.gz
-rw------- 1 root root  22M mai   28 20:05 20200528T180454Z.s14.tar.gz
-rw------- 1 root root  22M mai   29 13:25 20200529T112511Z.s14.tar.gz
-rw------- 1 root root  22M mai   29 20:02 20200529T180218Z.s14.tar.gz
-rw------- 1 root root  22M mai   30 13:00 20200530T110004Z.s14.tar.gz
-rw------- 1 root root  22M mai   30 20:06 20200530T180632Z.s14.tar.gz
-rw------- 1 root root  22M mai   31 13:00 20200531T110006Z.s14.tar.gz
-rw------- 1 root root  22M mai   31 20:02 20200531T180159Z.s14.tar.gz
-rw------- 1 root root  22M juin   1 13:04 20200601T110429Z.s14.tar.gz
-rw------- 1 root root  22M juin   1 20:00 20200601T180017Z.s14.tar.gz
-rw------- 1 root root  22M juin   2 13:08 20200602T110755Z.s14.tar.gz
-rw------- 1 root root  22M juin   2 20:00 20200602T180008Z.s14.tar.gz

C'est comme si l'export de pré-sauvegarde n'était jamais purgé.

Demande :
  • valider l'hypothèse ;
  • purger manuellement ;
  • modifier le backup pour purger les pré-sauvegardes.

Mis à jour par Christian P. Momon il y a plus de 4 ans

  • Description mis à jour (diff)

Mis à jour par François Poulain il y a plus de 4 ans

C'est comme si l'export de pré-sauvegarde n'était jamais purgé.

Probable. Je pensais qu'il s'écraserait chaque jour.

Demande :

+ vérifier la restauration et/ou valider le minimum nécessaire à conserver en vue d'une restauration.

Mis à jour par Christian P. Momon il y a plus de 4 ans

Extrait de https://docs.influxdata.com/influxdb/v1.8/administration/backup_and_restore/ :

backup creates and stores the following in a specified directory (filenames include UTC timestamp when created):

Mis à jour par Christian P. Momon il y a plus de 4 ans

  • Statut changé de Nouveau à En cours de traitement
  • Assigné à mis à Christian P. Momon

Mis à jour par Christian P. Momon il y a plus de 4 ans

François Poulain a écrit :

+ vérifier la restauration et/ou valider le minimum nécessaire à conserver en vue d'une restauration.

Après lancement manuel d'une sauvegarde d'Influxdb, le résultat est conforme à l'état courant de la base (même taille et mêmes fichiers).
Donc chaque backup d'Influxdb exporte toute la base indiquée. Ces fichiers une fois backupés par Backuppc, ne sont plus indispensables.

Donc dans le script /etc/rrsync.d/dump-influxdb, possibilité de les supprimer avant le dump.

Actions :
  • purge des pré-sauvegardes du mois de mai ; *

Mis à jour par François Poulain il y a plus de 4 ans

Oui on peut faire un find /var/backups/influxdb/icinga2 -mtime +10 -delete

Mis à jour par François Poulain il y a plus de 4 ans

(April) root@admin:/etc[master]# git show HEAD
commit 6e569eb8e4a31d7f10088eee72e3142de310f766 (HEAD -> master)
Author: François Poulain <francois.poulain@cliss21.org>
Date:   Wed Jun 3 20:07:17 2020 +0200

    dump-influxdb: ajoute de quoi pruner

diff --git a/rrsync.d/dump-influxdb b/rrsync.d/dump-influxdb
index b45ced2..b16b89a 100755
--- a/rrsync.d/dump-influxdb
+++ b/rrsync.d/dump-influxdb
@@ -7,6 +7,12 @@ fi
 backup_dir=/var/backups/influxdb
 db=icinga2

+# prepare
 mkdir -p $backup_dir
 chmod 700 $backup_dir
+
+# backup
 influxd backup -portable -database $db -host localhost:8088 $backup_dir/$db
+
+# prune
+find $backup_dir/$db -type f -mtime +10 -delete

Mis à jour par Christian P. Momon il y a plus de 4 ans

François Poulain a écrit :

(April) root@admin:/etc[master]# git show HEAD

Ha bah oui, mais non ;-)

(April) root@admin:/etc/rrsync.d[master]# dpkg -S dump-influxdb
april-backup: /etc/rrsync.d/dump-influxdb

:DDDDDDDDDDD

François Poulain a écrit :

+# prepare
 mkdir -p $backup_dir
 chmod 700 $backup_dir
+
+# backup
 influxd backup -portable -database $db -host localhost:8088 $backup_dir/$db
+
+# prune
+find $backup_dir/$db -type f -mtime +10 -delete

J'aime beaucoup les modifications (j'avais fait mais en trop compliqué).
Mais à quoi ça sert de garder 10*2 pré-backups puisqu'ils sont backupés dans Backuppc ?
À 100 Mo la sauvegarde, ça mange 2 Go !
Suggestion d'un mtime à 2 max.

Mis à jour par François Poulain il y a plus de 4 ans

Suggestion d'un mtime à 2 max.

Oui pas de soucis.

Mis à jour par Christian P. Momon il y a plus de 4 ans

  • Statut changé de En cours de traitement à Résolu
Actions :
  • modification dans le paquet april-backup ;
  • génération version 1.6 ;
  • apt-get update && apt-get dist-upgrade.

Mis à jour par Quentin Gibeaux il y a plus de 4 ans

  • Statut changé de Résolu à Fermé
Actions

Formats disponibles : Atom PDF