Projet

Général

Profil

Anomalie #3524

candidats.fr à terre pendant un crawl

Ajouté par Quentin Gibeaux il y a plus de 5 ans. Mis à jour il y a plus de 5 ans.

Statut:
Fermé
Priorité:
Normale
Assigné à:
Catégorie:
-
Version cible:
Début:
21/12/2018
Echéance:
% réalisé:

0%

Temps estimé:
Difficulté:
2 Facile

Description

Ce matin une adresse IP isolée s'est mise à crawler tout candidats.fr.
Le mysql est devenu fou quand l'IP a commencé à accéder à toutes les pages d'édition des candidats : ça venait multiplier les selects sur une très grosse table.

On a eu près de 180k hits :

(April) root@candidatsfr:~# grep 82.225.191.24 /var/log/apache2/*.log | wc -l
156272
(April) root@candidatsfr:~# grep 82.225.191.24 /var/log/apache2/*.log.1 | wc -l
33597

J'ai dropé l'IP sur bastion avec la commande suivante :

iptables -A INPUT -p tcp -s 82.225.191.24 -j DROP 

C'est temporaire, mais c'était pour décharger la VM qui n'était même plus capable d'écrire les log apache dans l'ordre. Du coup il n'a plus accès à aucun site april.

Peut être peut-on mettre en place un rate_limit sur notre nginx bastion ?
http://nginx.org/en/docs/http/ngx_http_limit_req_module.html

Historique

#1

Mis à jour par Quentin Gibeaux il y a plus de 5 ans

  • Assigné à mis à Quentin Gibeaux
  • Version cible changé de Backlog à Décembre 2018
#2

Mis à jour par Quentin Gibeaux il y a plus de 5 ans

  • Statut changé de Nouveau à Résolu

J'ai débannie l'IP, le crawl n'a pas repris (après 14j quand même :))

#3

Mis à jour par Quentin Gibeaux il y a plus de 5 ans

  • Statut changé de Résolu à Fermé

Formats disponibles : Atom PDF