Demande #2989
Demande #1903: Commander, installer une machine comme passerelle réseau pour le local / réinstaller/remplancer Opium ?
Backuppc sur Nabilone est trop lent pour absinthe
0%
Description
La machine a du mal à backuper absinthe et passe des heures sur le dossier .mozilla/firefox.
Quelques remarques :
13:59:13 heraclide | QGuLL: sans vouloir faire la mouche du coche : p-e verifier que le repertoire cible sur le serveur de backup est bien monté en "noatime" + si tu as plein d'accès concurrents sur la machine, essaie de changer de scheduleur 13:59:31 heraclide | ( echo deadline > /sys/block/sda/queue/scheduler ) 14:00:17 QGuLL | heraclide: il est en relatime, comme pour l'autre machine qui fait du backup 14:00:38 heraclide | + verifier que vous avez bien aligné filesystem et block en dessous : si vous avez une carte raide physique, verifier que le strip-size = le block size du fs au dessus ; si vous faites du raid a base de lvm, verifier que le lvm_stripsize = le block size du fs au dessus
J'ai déjà modifié la conf pour sauvegarder l'infra la nuit, et les laptop le jour (paramètre BlackoutPeriod)
Historique
Mis à jour par Quentin Gibeaux il y a environ 6 ans
Rappel du CR de la réunion 09/17 http://pad.april.org/p/20170914_adminsys :
*** un backup virtualisé implose les performances donc du coup ne sera dans VM *** la virtualisation à tendance à complexifier (sauf si macvtap mais implique ip publique)
Peut être devrions-nous migrer backuppc directement sur guarana, si les performances sont vraiment limites ?
Mis à jour par Quentin Gibeaux il y a environ 6 ans
- couper nabilone
- monter la partition backuppc sur guarana (c'est un volume logique montable directement)
- installer backuppc rapidement pour tester
- fixer l'id user/group de backuppc en correspondance avec la partition
- voir le temps que met absinthe a se backuper dans ces conditions
Mis à jour par François Poulain il y a environ 6 ans
Peut être qu'on peut faire des tests d'écriture sur le volume ; par ex 1Go en un gros fichier et 1Go de petits fichiers, chacun exécuté via nabilone ou via guarana après montage du même volume. Ça permettra de comparer si la virtu impacte fortement les perfs. On peut aussi comparer par rapport au même test sur galanga. Exemple de tests: https://www.thomas-krenn.com/en/wiki/Linux_I/O_Performance_Tests_using_dd
Pour le montage du noatime, sur une machine normale ça me semble très superflu ; mais avec bpc on peut supposer que ça peut compter.
Enfin, iirc avec absinthe on a eu des gros soucis dans le passé (sans me souvenir comment on les a contourné). Ne pas négliger que le soucis est possiblement en dehors de nabilone. :)
Mis à jour par François Poulain il y a environ 6 ans
Sur guarana (etx4 dans volume lvm sur le raid)¶
Débit¶
(April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 9,18502 s, 117 MB/s (April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 10,4271 s, 103 MB/s (April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 10,4135 s, 103 MB/s
Latence¶
(April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 102,378 s, 5,0 kB/s (April) root@guarana:~# (April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 99,9671 s, 5,1 kB/s
À première vue la latence n'est pas bonne du tout.
EDIT: Recommencé après avoir coupé backuppc
(April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 31,157 s, 16,4 kB/s (April) root@guarana:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 28,9419 s, 17,7 kB/s
Mis à jour par François Poulain il y a environ 6 ans
Sur nabilone (ext4 dans volume lvm sur le qcow porté par l'hyperviseur)¶
Débit¶
(April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 9,76066 s, 110 MB/s (April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 13,0839 s, 82,1 MB/s (April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 12,3358 s, 87,0 MB/s
=> idem que sur l'hote.
Latence¶
(April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 113,976 s, 4,5 kB/s (April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 117,979 s, 4,3 kB/s
EDIT: Recommencé après avoir coupé backuppc
(April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 42,682 s, 12,0 kB/s (April) root@nabilone:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 42,2941 s, 12,1 kB/s
=> idem que sur l'hote.
Mis à jour par François Poulain il y a environ 6 ans
Sur nabilone (ext4 dans volume lvm sur le raid, mis à disposition via le pool libvirt)¶
EDIT: Recommencé après avoir coupé backuppc
Débit¶
(April) root@nabilone:~# dd if=/dev/zero of=/var/lib/backuppc/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 12,5418 s, 85,6 MB/s (April) root@nabilone:~# dd if=/dev/zero of=/var/lib/backuppc/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 11,325 s, 94,8 MB/s (April) root@nabilone:~# dd if=/dev/zero of=/var/lib/backuppc/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 10,1011 s, 106 MB/s
=> comparable à ce qu'on trouve sur l'hote.
Latence¶
(April) root@nabilone:~# dd if=/dev/zero of=/var/lib/backuppc/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 52,3842 s, 9,8 kB/s (April) root@nabilone:~# dd if=/dev/zero of=/var/lib/backuppc/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 53,43 s, 9,6 kB/s
=> meilleure après la coupure de bpc.
Mis à jour par François Poulain il y a environ 6 ans
François Poulain a écrit :
À première vue la latence n'est pas bonne du tout.
En comparaison, sur coon (avec du drbd) :
=(^-^)=root@coon:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 36,4131 s, 14,1 kB/s =(^-^)=root@coon:~# dd if=/dev/zero of=/root/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 38,9081 s, 13,2 kB/s
Je ne fais pas de test sur galanga pour comparer car son RAID est HS.
Mis à jour par François Poulain il y a environ 6 ans
Sur guarana (etx4 dans volume lvm (nabilone-data) sur le raid)¶
Débit¶
(April) root@guarana:~# dd if=/dev/zero of=/mnt/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 8,70795 s, 123 MB/s (April) root@guarana:~# dd if=/dev/zero of=/mnt/testfile bs=1G count=1 oflag=dsync ^[[A1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 8,33276 s, 129 MB/s (April) root@guarana:~# dd if=/dev/zero of=/mnt/testfile bs=1G count=1 oflag=dsync 1+0 enregistrements lus 1+0 enregistrements écrits 1073741824 bytes (1,1 GB, 1,0 GiB) copied, 9,35408 s, 115 MB/s
Latence¶
(April) root@guarana:~# dd if=/dev/zero of=/mnt/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 54,5389 s, 9,4 kB/s (April) root@guarana:~# dd if=/dev/zero of=/mnt/testfile bs=512 count=1000 oflag=dsync 1000+0 enregistrements lus 1000+0 enregistrements écrits 512000 bytes (512 kB, 500 KiB) copied, 52,5549 s, 9,7 kB/s
Mis à jour par François Poulain il y a environ 6 ans
Du coup la conclusion de tout ça, pour moi, c'est que kvm n'engendre pas effondrement de performance. Les seuls soucis constatés viennent de backuppc. :)
Mis à jour par François Poulain il y a environ 6 ans
François Poulain a écrit :
François Poulain a écrit :
À première vue la latence n'est pas bonne du tout.
En comparaison, sur coon (avec du drbd) :
[...]Je ne fais pas de test sur galanga pour comparer car son RAID est HS.
J'ai fait le test sur un srv perso e taille comparable avec du RAID et sans DRBD ; le résultats sont similaires.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
J'ai procédé à la bascule temporaire de backuppc sur guarana (installation de backuppc, fixer les id du user, mounter la partition data de nabilone, etc).
Rien n'est documenté, c'est encore tout frais.
On va voir si c'est plus rapide pour les backups.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
Backup réussi d'absinthe en environ 4h30.
Pour les autres backup il semblerait que ce soit 2 à 3 fois plus rapide.
Bizarrement l'historique de backup de quelques VM est passé à la trappe, mais pas celui des laptop : peut être dû à un trashclean arrêté trop brutalement.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
J'ai commenté nabilone dans icinga pour éviter les alertes.
A décommenter si nabilone revient à la vie un jour.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
- Assigné à mis à Quentin Gibeaux
- Version cible changé de Backlog à Avril 2018
Il faut supprimer nabilone.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
- qcow de nabilone supprimé
- backup de nabilone supprimé sur guarana et galanga
- conf backuppc de nabilone supprimé sur guarana et galanga
- lvm nabilone-data renommé en backuppc-data
- bail dhcp supprimé de guarana
- conf icinga de nabilone supprimée de galanga
Reste le dns sur guarana qui persiste, je n'ai pas trouvé comment le supprimer (il vient directement du démon dhcp, pourtant le bail a été supprimé).
Également un reboot de guarana à prévoir pour s'assurer que tout est ok.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
Conf bind nettoyée : il fallait redémarrer le démon dhcp, puis nettoyer la conf, et non l'inverse :)
Reboot à prévoir de guarana.
Mis à jour par Quentin Gibeaux il y a environ 6 ans
- Statut changé de Nouveau à Résolu
Reboot de guarana effectué, ràs