Project

General

Profile

Actions

Anomalie #4572

open

Sauvegardes simultanées et saturation SI

Added by Christian P. Momon over 4 years ago. Updated 9 days ago.

Status:
En cours de traitement
Priority:
Normale
Assignee:
Category:
-
Target version:
Start date:
06/29/2020
Due date:
% Done:

0%

Estimated time:
Difficulté:
2 Facile

Description

Très fréquemment, à partir de vers 20h, les sites April se mettent à ramer au point d'être parfois indisponibles.

Souvent, on constate qu'il y a des sauvegardes en cours et on ne fait rien.

En général, paralléliser les sauvegardes des machines est une bonne idée mais là toutes nos vms surchargent le même disque dur.

Demande :
  • valider que la saturation SI vient des sauvegardes simultanées ;
  • rendre impossible les sauvegardes simultanées.

Files

io_wait.png (1.24 MB) io_wait.png Romain H., 11/28/2020 11:18 AM
Actions #1

Updated by Quentin Gibeaux over 4 years ago

  • Assignee set to Romain H.
Actions #2

Updated by Quentin Gibeaux over 4 years ago

  • Target version changed from Juin 2020 to Été 2020
Actions #3

Updated by Christian P. Momon over 4 years ago

  • Status changed from Nouveau to En cours de traitement
Actuellement :
  • MaxBackups :
    • Maximum number of simultaneous backups to run. If there are no user backup requests then this is the maximum number of simultaneous backups.
    • backuppc : 2
    • backuppc2 : 4
  • MaxUserBackups :
    • Additional number of simultaneous backups that users can run. As many as $Conf{MaxBackups} + $Conf{MaxUserBackups} requests can run at the same time.
    • backuppc : 4
    • backuppc2 : 4

Donc si on considère rare le lancement de UserBackup, on peut avoir 6 backups en parallèle.

Proposition de passer le MaxBackups de backuppc2 de 4 à 2, ce qui baisserait le nombre de maximal de sauvegardes en parallèle de 6 à 4.

Fait pour tester cet été.

Actions #4

Updated by Quentin Gibeaux over 4 years ago

  • Target version changed from Été 2020 to Septembre 2020
Actions #5

Updated by Quentin Gibeaux about 4 years ago

  • Target version changed from Septembre 2020 to Octobre 2020
Actions #6

Updated by Romain H. about 4 years ago

En se basant sur les dernières sauvegardes complètes, le total est de 660 Go avec une durée de 26h.

Les serveurs ne font pas les sauvegardes complètes en même temps, chaque nuit les sauvegardes incrémentales et complètes s'entremêlements et le temps est donc beaucoup plus court.

Sur la journée du 26/10 par exemple, le temps total de sauvegarde est de 7,9 heures.
Si on souhaite que les sauvegardes soient réalisées une par une, il faut au moins prévoir 8 heures.

Cette journée est un exemple, l'alternance entre sauvegardes complètes et incrémentales peut faire varier plus ou moins cette durée, il faudrait prévoir une marge car c'est compliqué de déterminer à l'avance toutes les combinaisons possibles.

Actions #7

Updated by Quentin Gibeaux about 4 years ago

  • Target version changed from Octobre 2020 to Novembre 2020
Actions #8

Updated by Quentin Gibeaux about 4 years ago

  • Target version changed from Novembre 2020 to Décembre 2020
Actions #9

Updated by Romain H. about 4 years ago

Dans la réunion admin de novembre, nous avons évoqué le fait de faire un test en exécutant les sauvegardes par Guarana et Galanga sur des créneaux horaires différents en divisant le créneau l'actuel en deux.
Pour les weekends, j'ai configuré Galanga sur 00h00 -> 05H00 et Guarana sur 05h00 -> 10h00.

Actions #10

Updated by Romain H. about 4 years ago

Ci-joint, la comparaison des IO Wait entre le 27 et le 28 suite au changement de configuration.
Il ne semble pas y avoir d'évolution remarquable.

Actions #11

Updated by Romain H. about 4 years ago

J'ai remis les sauvegardes du weekend à la planification précédente (00h00->10h00) comme il n'y avait pas l'air d'y avoir d'impact positif et que toutes les sauvegardes ne passaient plus.

Actions #12

Updated by Christian P. Momon about 4 years ago

Serait-il possible d'avoir dans un tableau de bord Grafana en même temps :
  • pour virola :
    • I/O Wait DRBD
    • volume lecture et écriture sur le lien inter-machine
    • volume lecture et écriture sur le lien internet
    • volume lecture et écriture sur le disque
Actions #13

Updated by Quentin Gibeaux almost 4 years ago

  • Target version changed from Décembre 2020 to Janvier 2021
Actions #14

Updated by Romain H. almost 4 years ago

J'ai fait un premier jet de Dashboard sur https://grafana.april.org/d/I_D76iYGk/romaindashboardio?orgId=1 .
Je cherche à faire le "volume lecture et écriture sur le disque" mais je suis pas certain que les infos soient déjà en base de données.

Actions #15

Updated by Quentin Gibeaux almost 4 years ago

  • Target version changed from Janvier 2021 to Février 2021
Actions #16

Updated by Romain H. almost 4 years ago

Voir pour récupérer les infos de atopsar via une sonde icinga2 pour intégrer les infos dans Grafana.

Actions #17

Updated by Quentin Gibeaux almost 4 years ago

  • Target version changed from Février 2021 to Mars 2021
Actions #18

Updated by Quentin Gibeaux over 3 years ago

  • Target version changed from Mars 2021 to Avril 2021
Actions #19

Updated by Quentin Gibeaux over 3 years ago

  • Target version changed from Avril 2021 to Mai 2021
Actions #20

Updated by Quentin Gibeaux over 3 years ago

  • Target version changed from Mai 2021 to Juin 2021
Actions #21

Updated by Quentin Gibeaux over 3 years ago

  • Target version changed from Juin 2021 to Été 2021
Actions #22

Updated by Quentin Gibeaux over 3 years ago

  • Target version changed from Été 2021 to Septembre 2021
Actions #23

Updated by Quentin Gibeaux about 3 years ago

  • Target version changed from Septembre 2021 to Octobre 2021
Actions #24

Updated by Quentin Gibeaux about 3 years ago

  • Target version changed from Octobre 2021 to Novembre 2021
Actions #25

Updated by Quentin Gibeaux about 3 years ago

  • Target version changed from Novembre 2021 to Décembre 2021
Actions #26

Updated by Quentin Gibeaux almost 3 years ago

  • Target version changed from Décembre 2021 to Janvier 2022
Actions #27

Updated by Quentin Gibeaux almost 3 years ago

  • Target version changed from Janvier 2022 to Février 2022
Actions #28

Updated by Quentin Gibeaux almost 3 years ago

  • Target version changed from Février 2022 to Mars 2022
Actions #29

Updated by Quentin Gibeaux over 2 years ago

  • Target version changed from Mars 2022 to Avril 2022
Actions #30

Updated by Quentin Gibeaux over 2 years ago

  • Target version changed from Avril 2022 to Mai 2022
Actions #31

Updated by Quentin Gibeaux over 2 years ago

  • Target version changed from Mai 2022 to Juin 2022
Actions #32

Updated by Quentin Gibeaux over 2 years ago

  • Target version changed from Juin 2022 to Été 2022
Actions #33

Updated by Quentin Gibeaux over 2 years ago

  • Target version changed from Été 2022 to Septembre 2022
Actions #34

Updated by Quentin Gibeaux about 2 years ago

  • Target version changed from Septembre 2022 to Octobre 2022
Actions #35

Updated by Quentin Gibeaux about 2 years ago

  • Target version changed from Octobre 2022 to Novembre 2022
Actions #36

Updated by Quentin Gibeaux about 2 years ago

  • Target version changed from Novembre 2022 to Décembre 2022
Actions #37

Updated by Quentin Gibeaux almost 2 years ago

  • Target version changed from Décembre 2022 to Janvier 2023
Actions #38

Updated by Quentin Gibeaux almost 2 years ago

  • Target version changed from Janvier 2023 to Février 2023
Actions #39

Updated by Frédéric Couchet almost 2 years ago

  • Target version changed from Février 2023 to Mars 2023
Actions #40

Updated by Quentin Gibeaux over 1 year ago

  • Target version changed from Mars 2023 to Avril 2023
Actions #41

Updated by Quentin Gibeaux over 1 year ago

  • Target version changed from Avril 2023 to Mai 2023
Actions #42

Updated by Quentin Gibeaux over 1 year ago

  • Target version changed from Mai 2023 to Juin 2023
Actions #43

Updated by Quentin Gibeaux over 1 year ago

  • Target version changed from Juin 2023 to Été 2023
Actions #44

Updated by Quentin Gibeaux over 1 year ago

  • Target version changed from Été 2023 to Septembre 2023
Actions #45

Updated by Quentin Gibeaux about 1 year ago

  • Target version changed from Septembre 2023 to Octobre 2023
Actions #46

Updated by Quentin Gibeaux about 1 year ago

  • Target version changed from Octobre 2023 to Novembre 2023
Actions #47

Updated by Quentin Gibeaux about 1 year ago

  • Target version changed from Novembre 2023 to Décembre 2023
Actions #48

Updated by Quentin Gibeaux 12 months ago

  • Target version changed from Décembre 2023 to Janvier 2024
Actions #49

Updated by Quentin Gibeaux 10 months ago

  • Target version changed from Janvier 2024 to Février 2024
Actions #50

Updated by Quentin Gibeaux 9 months ago

  • Target version changed from Février 2024 to Mars 2024
Actions #51

Updated by Quentin Gibeaux 8 months ago

  • Target version changed from Mars 2024 to Avril 2024
Actions #52

Updated by Quentin Gibeaux 7 months ago

  • Target version changed from Avril 2024 to Mai 2024
Actions #53

Updated by Quentin Gibeaux 6 months ago

  • Target version changed from Mai 2024 to Juin 2024
Actions #54

Updated by Quentin Gibeaux 5 months ago

  • Target version changed from Juin 2024 to Été 2024
Actions #55

Updated by Quentin Gibeaux 3 months ago

  • Target version changed from Été 2024 to Septembre 2024
Actions #56

Updated by Quentin Gibeaux about 2 months ago

  • Target version changed from Septembre 2024 to Octobre 2024
Actions #57

Updated by Quentin Gibeaux about 1 month ago

  • Target version changed from Octobre 2024 to Novembre 2024
Actions #58

Updated by Quentin Gibeaux 9 days ago

  • Target version changed from Novembre 2024 to Décembre 2024
Actions

Also available in: Atom PDF