Project

General

Profile

Demande #6015

Pic d'utilisation (création d'utilisateurs)

Added by Quentin Gibeaux 3 months ago. Updated 2 months ago.

Status:
Fermé
Priority:
Normale
Assignee:
-
Target version:
Start date:
11/09/2022
Due date:
% Done:

0%

Estimated time:

Description

Suites à l'actualité du rachat de twitter, l'instance pouet.chapril.org a enduré un pic de création de compte : +3000 comptes.

Les ressources se sont affolées.


Related issues

Related to Infra Chapril - Demande #6023: Espace disque manquant pour les sauvegardesEn cours de traitement11/20/2022

Actions

History

#1

Updated by Quentin Gibeaux 3 months ago

Actions réalisées :
1/ fermeture de la création de compte, pour stabiliser l'instance (comptes 4500+ comptes)
2/ augmentation des ressources : ajout de 2 vcpu (4 à 6) et 2G de ram (8 à 10)
3/ augmentation des workers :
- pgsql : 300->500 (voir conf /etc)
- sidekiq : 100->500 (voir conf /etc)
- puma (frontend) : 1->5 (voir conf /etc)
- nginx : 768 -> 1536 (voir conf /etc)
4/ augmentation de l'espace disque /home : +50G
5/ augmentation de ulimit (nb d'accès fichiers disques) : 1024 -> 8192
- via ulimit -n 8192, mais temporaire et pas reboot proof
- via sysctl.d/90-ressources.conf (normalement ok mais pas reboot testé)

Problèmes observés (connecté en admin) : https://pouet.chapril.org/sidekiq/queues
- accumulation des taches sidekiq, non défilement de ces tâches : on a atteint plus de 600k tâches et ça s'accumulait sans traiter : problèmes de limites disques, problèmes de sql saturés, problèmes réseau.
- résolu via augmentation ulimit
- impossible de défiler le retard accumulé : tout a été dropé via l'interface (bouton delete), maintenant ça suit son cours et on est stabilisé à moins de 6 de charge.

Action utile : ajouter du monitoring des tâches sidekiq (busy, enqueud, retry, schedule) pour suivre l'évolution dans le temps

#2

Updated by Quentin Gibeaux 3 months ago

  • Status changed from Nouveau to Résolu
#3

Updated by pitchum . 3 months ago

  • Related to Demande #6023: Espace disque manquant pour les sauvegardes added
#4

Updated by Quentin Gibeaux 2 months ago

  • Status changed from Résolu to Fermé

Also available in: Atom PDF