A veces notamos nuestro servidor un poco más lento de lo normal.
Por ello, a mi, me son muy útiles estos comandos que he recopilado para ver si se trata de algún Crawler que està pasando en ese momento por la web y poder ajustar su configuración para evitar que vuelve a pasar.
También nos permite detectar auditorías de seguridad no programadas o intentos de hack para poder pararlo.
Con el siguiente comando, podemos extraer el número de veces que una dirección IP está visitando nuestra web
awk ‘{print $1}’ access_log|sort|uniq -c|sort -nr
Si necesitamos bloquearla, bastará con añadir la linea «deny from xxx.xxx.xxx.xxx» en nuestro .htaccess
También podemos usar este otro comando para contar el número de direcciones IP que aparecen en el log
cat access.log.2011-02-24 | cut -d » » -f 1 | sort | uniq | wc -l
Y si quieres contar cuales son las URL más visitadas:
cat access.log | awk ‘{ print $7; }’ |sort|uniq -c|sort -n
Espero que os sirva de ayuda