Demande #3930
Les robots n'apparaissent pas dans stats.april.org
0%
Description
La doc ne donnant aucune information précise sur la sémantique de LogFormat=1 ou LogFormat=4, il faut regarder dans le code. On voit que LogFormat=4 qui est utilisé par la confirmation awstat de https://stats.april.org/ pour tout les sites n'inclus pas le UserAgent. Cela explique pourquoi les visites de bots ne sont pas comptabilisées à part et que https://stats.april.org/media.april.org.html#robots est vide. Autrement dit pourquoi le nombre de visiteurs inclus les bots au lieu de les exclure.
Il faudrait changer LogFormat=4 en LogFormat=1 dans /usr/local/bin/make-awstats-config.sh sur bastion.
- LogFormat=1
- https://github.com/eldy/awstats/blob/develop/wwwroot/cgi-bin/awstats.pl#L8960
- "%h l %u %t \"%r\" %>s %b \"{Referer}i\" \"%{User-Agent}i\""
- 'date', 'host', 'logname', 'method', 'url', 'code', 'size', 'ua', 'referer'
- LogFormat=4
- https://github.com/eldy/awstats/blob/develop/wwwroot/cgi-bin/awstats.pl#L8960
- "%h %l %u %t \"%r\" %>s %b"
- 'host', 'logname', 'date', 'method', 'url', 'code', 'size'
Related issues
History
Updated by Loïc Dachary about 4 years ago
- Related to Demande #3929: Améliorer/fiabiliser les statistiques des podcasts des émissions Libre à vous ! added
Updated by Loïc Dachary about 4 years ago
(April) root@bastion:/usr/local/bin# cat /usr/local/bin/make-awstats-config.sh
#!/bin/sh
cd /etc/nginx/sites-enabled
for file in * ; do
log=$(grep -o 'access_log.[/a-z0-9_\.-]*' $file | head -1 | awk '{print $2}')
servername=$file
cat <<EOF > /etc/awstats/awstats.${servername}.conf
LogFile="${log}"
SiteDomain="${servername}"
# See the definition of LogFormat=1 at
# https://github.com/eldy/awstats/blob/39d18dab4816dfae04c6a7c0acecb685eadafc8d/wwwroot/cgi-bin/awstats.pl#L8958
LogFormat=1
DirData="/var/lib/awstats"
SkipHosts="172.16.0.254"
EOF
Updated by Loïc Dachary about 4 years ago
Apres avoir relancé manuellement les commandes du cron, on peut constater que les bots sont bien comptabilisés par awstats et ne sont plus confondus avec des visites normales. https://stats.april.org/www.april.org.html#robots par exemple.
(April) root@bastion:/usr/local/bin# cat /etc/cron.d/awstats MAILTO=root #*/10 * * * * www-data [ -x /usr/share/awstats/tools/update.sh ] && /usr/share/awstats/tools/update.sh # Generate static reports: #10 03 * * * www-data [ -x /usr/share/awstats/tools/buildstatic.sh ] && /usr/share/awstats/tools/buildstatic.sh 15 3 * * * root /usr/local/bin/make-awstats-config.sh 20 3 * * * root /usr/local/bin/awstats-update.sh >> /var/log/nginx/update-awstats.log