Логи удобно просматривать Apache Logs Viewer, достаточно бесплатной версии. Либо в терминале переходим в папку с логами. Для примера имя файла access.log Если необходимо распаковать gz лог файл за вчера/позавчера это делается командой gunzip access.log.gz Если нужно просмотреть чисто юзерагенты ботов:
cat access.log | cut -d'"' -f 6 | grep bot | sort | uniq
Можно сохранить их в файл useragents.txt
cat access.log | cut -d'"' -f 6 | grep bot | sort | uniq > useragents.txt
Если же нужны полные логи чисто от ботов, с ипишками, временем и т.д, то просмотреть в терминале их можно так:
grep -E 'bot[^"]*"$' access.log | less
Сохранить в файл:
grep -E 'bot[^"]*"$' access.log > bots.log
Дальше этот файл можно удобно просматривать в бесплатной версии программы Apache Logs Viewer. Так же в этой программе можно открыть и обычный лог файл или gz архив, нажать CTRL+F и по полю UserAgent выполнить поиск bot без точных совпадений.