Admins

On manque a minima d'une machine de backup 100% dédiée à ça, pour éviter la galère du backup croisé.
Et sûrement d'1 ou 2 autres machines physiques, celles indiquées par Loïc me semblent pas mal.
(Attention à Hertzner, bp limitée à 10Mb/s passé 10To de conso (cf les petites lignes) !)

Par contre, doubler toute l'infra, c'est à mon avis juste too much.
À la limite, de la redondance N+1, mais pas du 2N.

Les VM, on peut effectivement envisager de pouvoir les migrer à chaud vers un autre physique (gestion de conf + backup + intégration continue), si le physique commence à saturer par exemple.
En cas de grosse panne d'une VM, on a même pas besoin d'un nouveau physique, on crash l'existante et on la réinstalle from scratch avec les services associés.

Si on perd une machine physique, j'imagine assez mal qu'on puisse rétablir le service en claquant des doigts, même avec une machine en spare de suite dispo.
Certains services méritent même mieux d'être complètement down qu'à moitié rétabli ou avec des veilles backups (le mail par exemple).
Il y aura déjà le temps qu'un admin soit dispo pour analyser le problème, qu'on investigue un peu pour voir si c'est grave et si ça nécessite réellement une migration, qu'on réinstalle tous les services sur le nouveau physique, qu'on remonte tous les backups, qu'on reroute manuellement les IP…
En moins de 1j, je pense qu'on ferait plus de mal que de bien, avec des décisions prises trop à chaud.

Et même si Fred a dit « on regarde pas les coûts pour le moment », je pense que l'utilité d'un 2N rapporté à son coût (~1k€ supplémentaire/an/machine) par rapport à un simple N+1 est très largement discutable.
OK, on est franchement à poil en terme de résilience actuellement, mais attention à ne pas en faire trop quand même, on reste « petit », avec des services peu critiques et qu'avec des bénévoles !

À priori on est d'accord sur les points suivants :

• Il faut deux machines dans deux datacenter différents.
• Il faut une troisième machine, dans un autre datacenter, qui ne sert qu'aux backups.

• Combien on met de machines par baie ? Loïc en propose deux. Nicolas pense que c'est beaucoup. Pour ma part, je pense que c'est confortable, mais c'est un peu du luxe. D'un autre côté en cas de crash machine, rien ne garanti qu'on pourra obtenir une autre machine dans la même baie (ça serait même très surprenant). Resterait à attendre une réparation ou à en remonter une ailleurs (dans ce cas on se tape tout de même la propagation dns).
• Qu'est ce qu'on ferait des machines actuelles si on prend deux dédiés ? Yopo et pavot sont loin d'être obsolète. Yoyo notamment pourrait être l'un des deux nœuds ou le backup.

Je pense, mais c'est un avis tout personnel, qu'on travaille moins bien quand on a pas des ressources en trop. Un exemple qui m'arrive fréquement : j'ai envie de faire un essai, j'ai la motivation et le temps : une demi journée ou une journée devant moi. Si j'ai une machine inutilisée sous la main je vais faire le travail, si je dois me demander ou les ressources sont disponibles et que je sais que c'est taillé juste parceque la politique générale c'est de ne pas gacher de ressources, alors je ne vais pas faire l'essai en question. Autrement dit, de mon point de vue les ressources inutilisées sont autant d'invitation au bénévolat, à l'expérimentation, a faire les choses proprement parcequ'on est pas trop à l'étroit.

J'avoue avoir tendance a voir toujours un peu trop large et je tiens beaucoup à mon confort. Mon rationale est assez simple : le materiel coutera toujours moins cher que le temps homme perdu par manque de ressources. FSF France a pratiquement 10 fois plus de ressources que l'April alors qu'il y a 5 fois moins de besoins ... et encore. Je reconnais aussi que l'April a historiquement la tendance inverse : voir trop juste et se retrouver coincé dans des situations inconfortables par manque de ressources matérielles. Il faut probablement trouver un juste milieu. Je proposerais bien une regle du genre : il y a toujours une machine spare qui ne sert a rien, qui est juste configurée et prête a l'emploi. Ma regle c'est plutot de toujours avoir deux fois plus de ressources que nécessaire ;-)

Dans ce cas, on pourrait faire quelque chose dans le genre :

• Deux serveurs dédiés pour le fonctionnement de l'April
• Yopo en serveur de backup
• Pavot en serveur d'expérimentation/terrain de jeu, etc.
• Un éventuel autre dédié pour DRP

• Yopo en serveur de backup

Yopo ayant été donné en remplacement de ns1, je pense que ça doit être son role. Il n'y a pas la force de travail nécessaire pour migrer ns1 vers un autre environnement de virtualisation dans des délais raisonables. Pour être correct avec la structure qui a fait la donation de yopo, il faut un plan de migration réaliste qui puisse etre mis en oeuvre dans les semaines à venir ( voir #1034 ).

• Pavot en serveur d'expérimentation/terrain de jeu, etc.

Pavot a déjà des fonctions, pourquoi changer sa finalité ?

• Un éventuel autre dédié pour DRP

DRP ?

Autrement dit, de mon point de vue les ressources inutilisées sont autant d'invitation au bénévolat

Si on a besoin de ressources en plus, déjà je ne pense pas que les machines seront raz-la-gueule non plus, même avec 3 physiques uniquement, mais en plus on peut toujours envisager du cloud-on-demand OVH pour que les AS fassent mumuse, ça reviendra à bien moins cher tout en étant plus sûr et plus flexible.

Sans compter que s'éclater sur les machines de prod, c'est pas forcément folichon non plus =)

Yopo notamment pourrait être l'un des deux nœuds ou le backup.

Sûrement pas backup. Ça serait gâcher sa puissance pour pas grand chose.
Si on a des backups sélectifs, on a vraiment plus besoin d'une machine surpuissante, juste de HDD.
Une petite machine dédiée OVH suffirait largement sans gaspiller inutilement des ressources avec une physique bien péchue comme Yopo.
Même Pavot, c'est juste gâcher de la ressource que de le mettre en backup…

• Moyens actuels
  • Bénévolat
    Durant le mois de novembre Benjamin Drieu, Maxence Dunnewind, Theocrite, Nicolas Vinot, Vincent-Xavier Jumel et Loïc Dachary ont donné de leur temps. La somme de leur travail équivaut à peu près à un administrateur système à temps plein. Cédric Coraza a rejoint l'équipe courant novembre.
  • Prestations
    Durant le mois de novembre Frédéric Couchet a participé aux travaux d'administration système pour un total d'environ 8h.
  • Matériel
    Deux machines (l'une à Rennes http://pavot.april.org/ et l'autre à Bezon http://yopo.april.org/ ) physiques totalisant 12 cores, 40 GB de RAM, 3 TB de disque. Elles sont utilisées à plus de 50% de leur capacité. Moins de 10 IPv4 sont réservées et toutes ne sont pas utilisées. La bande passante utilisée est inférieure à 1Mb/s en moyenne et les pics ne dépassent pas 30Mb/s. Note: on considère que http://ns1.april.org/ est supprimé et que ses ressources sont réparties sur les deux autres machines.
• Moyens futurs
  • Bénévolat
    Tout indique que les bénévoles actuels se maintiendront et continueront sur leur rythme actuel. De nouveaux bénévoles pourront participer à des tâches faciles avec pour objectif de stabiliser l'équivalent d'un temps plein supplémentaire d'ici juin 2013.
  • Prestations
    Frédéric Couchet continuera à participer aux travaux d'administration système en tant que "Responsable Produit" pour un total d'environ 8h par mois.
    Un administrateur système embauché pour une période de six mois début 2013 exécutera les taches au coté des bénévoles, en tant que "Membre de l'équipe". Il aura pour mission de s'occuper en priorité des tâches qui ne sont pas prises en charge par les bénévoles.
  • Matériel
    Deux machines (l'une à Rennes http://pavot.april.org/ et l'autre à Bezon http://yopo.april.org/ ) physiques totalisant 12 cores, 40 GB de RAM, 3 TB de disque.
    Deux machines chez OVH ( http://www.ovh.com/fr/serveurs_dedies/sp_32g.xml )
    Une machine chez Hetzner ( http://www.hetzner.de/hosting/produkte_rootserver/ex5 )
    Trois plages d'IPv6
    16 IPv4

Brouillon de proposition

Pour archive parceque pas de diff du descriptif

Nicolas Vinot

• Matériel
  • 1 machine de backup (OVH SP 16G)
  • 1 machine d'accueil de service (OVH SP 32G)
  • éventuellement 1 machine de spare en cas de panne (OVH SP 32G)

• Humain
  • 1 personne à temps plein sur 6 mois, pour mettre en place la nouvelle infra
    • Réorga des services (consolidation MySQL ?)
    • Gestion de conf de tous les services
    • Backup (réfléchi !) de tous les services
    • Monitoring de tous les services

le brouillon en question contient plein de choses qui sortent juste de ma tête et donc sont sujet à discussion et contradiction ;-) C'est juste pour faire avancer le sujet : il nous reste 48h pour proposer un truc a fred.

(04:07:08 PM) theo_taf: Combien on a de disque sur yopo ?
(04:07:11 PM) theo_taf: 2x2To ?
(04:20:56 PM) dachary: 2TB utile
(04:20:59 PM) dachary: theo_taf: 
(04:21:10 PM) theo_taf: dachary: merci.
(04:21:11 PM) theo_taf: dachary: utile ?
(04:21:21 PM) theo_taf: Utilisable ?
(04:21:31 PM) dachary: J'ai préparé un brouillon pour https://agir.april.org/issues/1001 : https://agir.april.org/projects/admins/wiki/Moyens
(04:21:38 PM) dachary: theo_taf: oui ;-)
(04:22:14 PM) dachary: root@bm0008:~# pvs
(04:22:14 PM) dachary:   PV         VG   Fmt  Attr PSize PFree
(04:22:14 PM) dachary:   /dev/md0   vg   lvm2 a--  1,82t 1,32t
(04:22:35 PM) dachary: 2x2TB en raid donc 2TB utilisables
(04:23:37 PM) dachary: le brouillon en question contient plein de choses qui sortent juste de ma tête et donc sont sujet à discussion et contradiction ;-) C'est juste pour faire avancer le sujet : il nous reste 48h pour proposer un truc a fred.
(04:42:58 PM) theo_taf: dachary: ah ok, je vois ce que tu voulais dire.
(04:44:15 PM) theo_taf: Ah ah, quel grand fou ce dachary, il utilise carrément le wiki du redmine.
(04:45:50 PM) theo_taf: dachary: je peux éditer ?
(04:48:04 PM) theo_taf: dachary: comment tu calcules "La somme de leur travail équivaut à peu près à un administrateur système à temps plein" ?
(04:50:08 PM) theo_taf: dachary: je ne suis toujours pas convaincu par le fait de prendre les serveurs par paires btw. :)
(04:52:41 PM) dachary: theo_taf: tu verra que j'ai mis 2 serveurs dans un cas et un seul dans l'autre
(04:53:02 PM) dachary: tu peux éditer
(04:53:47 PM) dachary: "La somme de leur travail équivaut à peu près à un administrateur système à temps plein"  => c'est au pif
(04:53:59 PM) dachary: c'est moins que 2 personnes a temps plein c'est sur
(04:54:14 PM) dachary: c'est plus qu'un mi temps (c'est le temps que j'y passe sur novembre, au moins)
(04:54:20 PM) dachary: donc ~1 temps plein ;-)
(05:03:54 PM) theo_taf: Ouais, ok. :)
(05:06:26 PM) dachary: c'est super subjectif :-)
(05:06:40 PM) dachary: tu as l'impression qu'il y a plus ou moins de force de travail ? 
(05:08:53 PM) dachary: https://agir.april.org/projects/admins/time_entries/report?columns=month&criterias[]=member&criterias[]=&from=2009-12-12&period=all&period_type=1&to=2012-11-26 dit que j'ai passé ~75 heures c'est en gros un mi temps
(05:09:37 PM) theo_taf: dachary: depuis que tu es arrivé, je dirais plus. Mais je peux me tromper.
(05:09:43 PM) dachary: sur novembre
(05:09:48 PM) theo_taf: Pour être précis, il faudrait que tout le monde bénévalorise, mais bon. :)
(05:10:06 PM) theo_taf: Oui, sur novembre.
(05:10:07 PM) dachary: theo_taf: c'est quoi ton intuition ? 
(05:11:32 PM) theo_taf: dachary: hm, je pense que le redmine est encore moins fiable que le bénévalo :)
(05:12:11 PM) theo_taf: dachary: vu que tu estimes un mi-temps rien que pour toi et que tu poses plein de questions et interragit beaucoup avec les autres admins, je dirais largement plus d'un autre mi-temps pour les autres admins.
(05:12:11 PM) dachary: ha bon ? 
(05:12:30 PM) theo_taf: Notamment avec VX et _aeris_.
(05:12:38 PM) dachary: donc 2 pleins temps plutot ? 
(05:12:44 PM) dachary: C'est bcp 1 temps plein
(05:12:56 PM) dachary: 1.5 temps plein ? 
(05:13:10 PM) theo_taf: dachary: ouais, 1.5.
(05:13:15 PM) dachary: ok, deal ;-)
(05:13:15 PM) theo_taf: De toutes façons c'est au doigt mouillé.
(05:13:18 PM) dachary: voila
(05:13:23 PM) theo_taf: :)
(05:13:25 PM) dachary: 2 ca me parait gros
(05:13:38 PM) dachary: c'est juste *enorme* un temps plein
(05:14:48 PM) dachary:  La somme de leur travail équivaut à peu près à 1.5 administrateur système  à temps plein ( évaluation pifométrique partagée entre Theocrite et Loïc )
(05:25:04 PM) theo_taf: :)
(05:25:23 PM) theo_taf: Un temps plein c'est énorme, mais deux personnes qui travaillent un mi-temps ont plus d'amplitude qu'un temps plein.
(05:25:38 PM) theo_taf: (Même si on y perd en progapation de l'information et en formation)
(05:26:30 PM) dachary: c'est vrai
(05:28:15 PM) dachary: theo_taf: je peux éditer  https://agir.april.org/projects/admins/wiki/Moyens ?
(05:32:27 PM) dachary: je le fais ;-)
(05:34:45 PM) dachary: https://agir.april.org/wiki/admins/Moyens/diff?version=2&version_from=1&commit=View+differences
(05:35:58 PM) theo_taf: Ah ah, ceph :)
(05:36:24 PM) dachary: theo_taf: oui, je me retiens, tu te rend pas compte de l'attraction ;-)
(05:38:00 PM) theo_taf: Je me doute :)

demande de rendez-vous envoyée à theo

demande a madix de lire https://agir.april.org/projects/admins/wiki/Moyens
demande a vincentxavier de commenter https://agir.april.org/projects/admins/wiki/Moyens
demande a aeris de discuter et commenter https://agir.april.org/projects/admins/wiki/Moyens samedi