Project

General

Profile

Actions

Demande #6015

closed

Pic d'utilisation (création d'utilisateurs)

Added by Quentin Gibeaux over 1 year ago. Updated over 1 year ago.

Status:
Fermé
Priority:
Normale
Assignee:
-
Start date:
11/09/2022
Due date:
% Done:

0%

Estimated time:

Description

Suites à l'actualité du rachat de twitter, l'instance pouet.chapril.org a enduré un pic de création de compte : +3000 comptes.

Les ressources se sont affolées.


Related issues 1 (0 open1 closed)

Related to Infra Chapril - Demande #6023: Espace disque manquant pour les sauvegardesFermépitchum .11/20/2022

Actions
Actions #1

Updated by Quentin Gibeaux over 1 year ago

Actions réalisées :
1/ fermeture de la création de compte, pour stabiliser l'instance (comptes 4500+ comptes)
2/ augmentation des ressources : ajout de 2 vcpu (4 à 6) et 2G de ram (8 à 10)
3/ augmentation des workers :
- pgsql : 300->500 (voir conf /etc)
- sidekiq : 100->500 (voir conf /etc)
- puma (frontend) : 1->5 (voir conf /etc)
- nginx : 768 -> 1536 (voir conf /etc)
4/ augmentation de l'espace disque /home : +50G
5/ augmentation de ulimit (nb d'accès fichiers disques) : 1024 -> 8192
- via ulimit -n 8192, mais temporaire et pas reboot proof
- via sysctl.d/90-ressources.conf (normalement ok mais pas reboot testé)

Problèmes observés (connecté en admin) : https://pouet.chapril.org/sidekiq/queues
- accumulation des taches sidekiq, non défilement de ces tâches : on a atteint plus de 600k tâches et ça s'accumulait sans traiter : problèmes de limites disques, problèmes de sql saturés, problèmes réseau.
- résolu via augmentation ulimit
- impossible de défiler le retard accumulé : tout a été dropé via l'interface (bouton delete), maintenant ça suit son cours et on est stabilisé à moins de 6 de charge.

Action utile : ajouter du monitoring des tâches sidekiq (busy, enqueud, retry, schedule) pour suivre l'évolution dans le temps

Actions #2

Updated by Quentin Gibeaux over 1 year ago

  • Status changed from Nouveau to Résolu
Actions #3

Updated by pitchum . over 1 year ago

  • Related to Demande #6023: Espace disque manquant pour les sauvegardes added
Actions #4

Updated by Quentin Gibeaux over 1 year ago

  • Status changed from Résolu to Fermé
Actions #5

Updated by Pierre-Louis Bonicoli over 1 year ago

  • Target version changed from Backlog to Sprint 2022 décembre
Actions

Also available in: Atom PDF