Anomalie #4405
ferméDes fichiers de plus de 5 jours ne sont pas purgés
100%
Description
Normalement, d'après le formulaire de téléversement de notre FirefoxSend, un fichier ne peut pas rester plus de 5 jours.
Or :
=(^-^)=root@drop:/var/drop/files# ll -h 5-43dd40c8898079ed -rw-r--r-- 1 app app 43M avril 2 23:56 5-43dd40c8898079ed =(^-^)=root@drop:/var/drop/files# find -cnewer 5-43dd40c8898079ed |wc -l 234 =(^-^)=root@drop:/var/drop/files# du -sch `find -cnewer 5-43dd40c8898079ed | sed s#./##g`|sed s/.// 6G . 6G total =(^-^)=root@drop:/var/drop/files# ls -lt | tail -rw-r--r-- 1 app app 1848939 janv. 16 16:15 1-733214ad1391e1d3 -rw-r--r-- 1 app app 4338209 janv. 15 05:22 1-524abe2c76056563 -rw-r--r-- 1 app app 32312 janv. 13 06:52 1-92aafe869634436b -rw-r--r-- 1 app app 18019931 janv. 11 17:03 1-06b330d34ef76761 -rw-r--r-- 1 app app 393237 janv. 4 18:08 1-3c6368674bd9a47d -rw-r--r-- 1 app app 1048597 déc. 27 08:31 1-a9f55b5d8905b0db -rw-r--r-- 1 app app 12743 nov. 27 22:09 1-7eaa9c4f98b5180a -rw-r--r-- 1 app app 42 nov. 24 00:00 1-c255370c68c0f7d7 -rw-r--r-- 1 app app 42 nov. 23 23:55 1-d199cf5cf71bfd0e -rw-r--r-- 1 app app 42 nov. 23 23:54 1-ed51e136eb0e1d28
Alors, bonne nouvelle, ça ne représente « que » 6 Go mais ils sont quand même un peu nombreux et certains remontent à novembre !
Demande :- trouver pourquoi la purge ignore certains fichiers ;
- faire le ménage ?
- faire en sorte que ça n'arrive plus.
Mis à jour par Romain H. il y a plus de 4 ans
- Statut changé de Nouveau à En cours de traitement
- % réalisé changé de 0 à 20
Mozilla utilise Amazon S3 pour le stockage, ils gèrent la suppression des fichiers avec le système de règles intégré au service.
De notre côté nous utilisons le système de fichier pour le stockage, normalement la suppression des fichiers se produit lors de l'expiration de l'entrée dans la base de données (redis).
D'après l'anomalie 1376 (https://github.com/mozilla/send/issues/1376), il y a un bug dans la fonctionnalité de suppression des fichiers quand le stockage via système de fichier est utilisé. Elle est dans le backlog du produit et devrait être corrigée prochainement.
En attendant que ça soit corrigé, je vais rajouter une cron qui supprime les fichiers qui ont dépassé le délais maximum.
Mis à jour par Romain H. il y a plus de 4 ans
- Statut changé de En cours de traitement à Résolu
- % réalisé changé de 20 à 100
J'ai ajouté la cron tous les jours à 00h30 (dans le dépôt drop.chapril.org-tools).
Mis à jour par Christian P. Momon il y a plus de 4 ans
- Lié à Demande #4411: Désactiver le cron de purge de fichier ajouté
Mis à jour par Christian P. Momon il y a environ 4 ans
- Version cible changé de Backlog à Sprint 2020 avril