Projet

Général

Profil

Demande #3930

Les robots n'apparaissent pas dans stats.april.org

Ajouté par Loïc Dachary il y a plus de 4 ans. Mis à jour il y a plus de 4 ans.

Statut:
Résolu
Priorité:
Élevée
Assigné à:
Version cible:
-
Début:
17/10/2019
Echéance:
% réalisé:

0%

Temps estimé:

Description

La doc ne donnant aucune information précise sur la sémantique de LogFormat=1 ou LogFormat=4, il faut regarder dans le code. On voit que LogFormat=4 qui est utilisé par la confirmation awstat de https://stats.april.org/ pour tout les sites n'inclus pas le UserAgent. Cela explique pourquoi les visites de bots ne sont pas comptabilisées à part et que https://stats.april.org/media.april.org.html#robots est vide. Autrement dit pourquoi le nombre de visiteurs inclus les bots au lieu de les exclure.

Il faudrait changer LogFormat=4 en LogFormat=1 dans /usr/local/bin/make-awstats-config.sh sur bastion.


Demandes liées

Lié à Libre à vous ! - Demande #3929: Améliorer/fiabiliser les statistiques des podcasts des émissions Libre à vous !Fermé16/10/2019

Actions

Historique

#1

Mis à jour par Loïc Dachary il y a plus de 4 ans

  • Lié à Demande #3929: Améliorer/fiabiliser les statistiques des podcasts des émissions Libre à vous ! ajouté
#2

Mis à jour par Loïc Dachary il y a plus de 4 ans

(April) root@bastion:/usr/local/bin# cat /usr/local/bin/make-awstats-config.sh
#!/bin/sh

cd /etc/nginx/sites-enabled

for file in * ; do
    log=$(grep -o 'access_log.[/a-z0-9_\.-]*' $file | head -1 | awk '{print $2}')
    servername=$file
cat <<EOF > /etc/awstats/awstats.${servername}.conf
LogFile="${log}" 
SiteDomain="${servername}" 
# See the definition of LogFormat=1 at
# https://github.com/eldy/awstats/blob/39d18dab4816dfae04c6a7c0acecb685eadafc8d/wwwroot/cgi-bin/awstats.pl#L8958
LogFormat=1
DirData="/var/lib/awstats" 
SkipHosts="172.16.0.254" 
EOF

#3

Mis à jour par Loïc Dachary il y a plus de 4 ans

Apres avoir relancé manuellement les commandes du cron, on peut constater que les bots sont bien comptabilisés par awstats et ne sont plus confondus avec des visites normales. https://stats.april.org/www.april.org.html#robots par exemple.

(April) root@bastion:/usr/local/bin# cat /etc/cron.d/awstats
MAILTO=root

#*/10 * * * * www-data [ -x /usr/share/awstats/tools/update.sh ] && /usr/share/awstats/tools/update.sh

# Generate static reports:
#10 03 * * * www-data [ -x /usr/share/awstats/tools/buildstatic.sh ] && /usr/share/awstats/tools/buildstatic.sh

15 3 * * * root /usr/local/bin/make-awstats-config.sh
20 3 * * * root /usr/local/bin/awstats-update.sh >> /var/log/nginx/update-awstats.log
#4

Mis à jour par Loïc Dachary il y a plus de 4 ans

  • Statut changé de En cours de traitement à Résolu

Formats disponibles : Atom PDF