Project

General

Profile

Demande #4940

Demande #4926: La partition de backup est presque pleine

Spliter la sauvegarde de la vm drop

Added by Christian P. Momon about 1 year ago. Updated 9 months ago.

Status:
Fermé
Priority:
Normale
Category:
Sauvegardes
Start date:
11/28/2020
Due date:
% Done:

0%

Estimated time:

Description

Dans le ticket #4926, on constate la saturation de la partition des backups sur la vm icinga2.

Y est évoqué la possibilité de scinder en 2 la sauvegarde :
  • système : comme d'habitude ;
  • data de drop.chapril.org : uniquement les données utilisateurs périssables.

Gain espéré : ~40 Go.


Files

History

#1

Updated by François Poulain 12 months ago

Du coup Romain tu peux splitter quand tu veux la conf.

Il faut :

  • cp /etc/borgmatic.d/root.yaml /etc/borgmatic.d/data.yaml
  • éditer le fichier pour changer : source_directories, exclude_patterns, repositories, retention, hooks.
  • le prefix est lié à archive_name_format ; je recommande de ne pas y toucher

Le plus important c'est de bien changer le repositories. Comme ça ya pas de confusion avec le dépôt « root ».

Dans les hooks il faut changer les echo " ... root backup at ..." pour "... data backup at ...". C'est le nom qui permet au monitoring de retrouver ses petits dans les logs. Ça peut être n'importe quel nom qui valide '\w+'

Ensuite il va falloir initialiser le dépot borg. Pour ça sur felicette il faut donner accès au dossier défini par le repository (celui de la conf borgmatic) au niveau de /etc/ssh/authorized_keys/backup
Ce vieux borgmatic ne gère peut être pas l'init. Si c'est le cas il faut s'inspirer du postinst paquet backup-chapril :

BORG_RSH="ssh -p 2242 -A" /usr/bin/borg init --encryption none backup@backup.chapril.org:/srv/backups/$(hostname --fqdn)-data # à corriger suivant ton repo

Enfin, pour forcer la sauvegarde :

borgmatic

Pour lister les sauvegardes :

borgmatic -l

Normalement c'est « tout » (mais jamais essayé).
Tu peux forcer autant de backups que tu veux, c'est sans incidence.
Les backups ainsi forcés ne sont pas collectés par syslog et ne sont pas pris en compte par le monitoring. Il faudrait lancer via systemctl pour ça mais ça commence par un sleep 30. (Je crois que je vais virer ce sleep pour qq chose de plus intelligent.)

NB: si tu as un db redis il te faudrait un script de dump dans /etc/borg/scripts/pre-hooks/

#2

Updated by François Poulain 12 months ago

  • Assignee changed from François Poulain to Romain H.
#3

Updated by François Poulain 12 months ago

Romain, je t'assigne ce ticket dans le soucis du partage de compétence mais si ça t'emmerde et que tu préfères que je le fasse, pas de soucis dis le moi.

#4

Updated by Christian P. Momon 11 months ago

  • Category set to Sauvegardes
#5

Updated by François Poulain 10 months ago

Bon, je vais le faire. :)

#6

Updated by François Poulain 10 months ago

  • Status changed from Nouveau to En cours de traitement
  • Assignee changed from Romain H. to François Poulain

C'est en place. On verra ce que ça donne demain.

#7

Updated by François Poulain 10 months ago

Ça a marché du premier coup. Le monitoring suit sans rien faire. Pour un exemple de backup splitté on a donc :

git -C /etc show e2b2b3828beb63cb8aaad7e0176e6db9b5b57d30

#8

Updated by François Poulain 10 months ago

Je commente #keep_weekly: 4 temporairement dans /etc/borgmatic.d/root.yaml et je prune les archives pour libérer de la place :

borgmatic --prune

On peut comparer avant/après avec borgmatic --list .

#10

Updated by François Poulain 10 months ago

  • Status changed from En cours de traitement to Résolu
#11

Updated by Quentin Gibeaux 10 months ago

  • Status changed from Résolu to Fermé
#12

Updated by Christian P. Momon 10 months ago

  • Target version changed from Backlog to Sprint 2021 janvier
#13

Updated by François Poulain 9 months ago

On voit dans la durée que ça tient la route. La VM drop est la courbe mauve qui décroît.

Also available in: Atom PDF