Project

General

Profile

Anomalie #4405

Des fichiers de plus de 5 jours ne sont pas purgés

Added by Christian P. Momon 3 months ago. Updated 2 months ago.

Status:
Fermé
Priority:
Élevée
Assignee:
Start date:
04/08/2020
Due date:
% Done:

100%

Estimated time:

Description

Normalement, d'après le formulaire de téléversement de notre FirefoxSend, un fichier ne peut pas rester plus de 5 jours.

Or :

=(^-^)=root@drop:/var/drop/files# ll -h 5-43dd40c8898079ed
-rw-r--r-- 1 app app 43M avril  2 23:56 5-43dd40c8898079ed
=(^-^)=root@drop:/var/drop/files# find -cnewer  5-43dd40c8898079ed |wc -l
234
=(^-^)=root@drop:/var/drop/files# du -sch `find -cnewer  5-43dd40c8898079ed | sed s#./##g`|sed s/.// 
6G      .
6G      total
=(^-^)=root@drop:/var/drop/files# ls -lt | tail
-rw-r--r-- 1 app app   1848939 janv. 16 16:15 1-733214ad1391e1d3
-rw-r--r-- 1 app app   4338209 janv. 15 05:22 1-524abe2c76056563
-rw-r--r-- 1 app app     32312 janv. 13 06:52 1-92aafe869634436b
-rw-r--r-- 1 app app  18019931 janv. 11 17:03 1-06b330d34ef76761
-rw-r--r-- 1 app app    393237 janv.  4 18:08 1-3c6368674bd9a47d
-rw-r--r-- 1 app app   1048597 déc.  27 08:31 1-a9f55b5d8905b0db
-rw-r--r-- 1 app app     12743 nov.  27 22:09 1-7eaa9c4f98b5180a
-rw-r--r-- 1 app app        42 nov.  24 00:00 1-c255370c68c0f7d7
-rw-r--r-- 1 app app        42 nov.  23 23:55 1-d199cf5cf71bfd0e
-rw-r--r-- 1 app app        42 nov.  23 23:54 1-ed51e136eb0e1d28

Alors, bonne nouvelle, ça ne représente « que » 6 Go mais ils sont quand même un peu nombreux et certains remontent à novembre !

Demande :
  • trouver pourquoi la purge ignore certains fichiers ;
  • faire le ménage ?
  • faire en sorte que ça n'arrive plus.

Related issues

Related to drop.chapril.org - Demande #4411: Désactiver le cron de purge de fichierAttente d'information04/11/2020

Actions

History

#1

Updated by Romain H. 3 months ago

  • Status changed from Nouveau to En cours de traitement
  • % Done changed from 0 to 20

Mozilla utilise Amazon S3 pour le stockage, ils gèrent la suppression des fichiers avec le système de règles intégré au service.
De notre côté nous utilisons le système de fichier pour le stockage, normalement la suppression des fichiers se produit lors de l'expiration de l'entrée dans la base de données (redis).

D'après l'anomalie 1376 (https://github.com/mozilla/send/issues/1376), il y a un bug dans la fonctionnalité de suppression des fichiers quand le stockage via système de fichier est utilisé. Elle est dans le backlog du produit et devrait être corrigée prochainement.

En attendant que ça soit corrigé, je vais rajouter une cron qui supprime les fichiers qui ont dépassé le délais maximum.

#2

Updated by Romain H. 3 months ago

  • Status changed from En cours de traitement to Résolu
  • % Done changed from 20 to 100

J'ai ajouté la cron tous les jours à 00h30 (dans le dépôt drop.chapril.org-tools).

#3

Updated by Christian P. Momon 3 months ago

  • Related to Demande #4411: Désactiver le cron de purge de fichier added
#4

Updated by Romain H. 2 months ago

  • Status changed from Résolu to Fermé
#5

Updated by Christian P. Momon 2 months ago

  • Target version changed from Backlog to Sprint 2020 avril

Also available in: Atom PDF