Великая польза анализа логов. Поучительная история.

Друзья! Никогда не ленитесь просматривать логи ваших сайтов. Иначе будете также огорчены, как и я давеча.

В общем подзапустил я анализ access логов одного из проектов. Ну а что — все работает, траф идет — всё прекрасно. Но вот вчера залез посмотреть и волосы дыбом! Практически все LLM боты и весь трафик с этих ваших ИИ (ЧатГПТ, Клавдия и т.д) был срезан. Все эти боты и юзеры ловко получали 403 код сервера и отваливались.

Я часа 3 провел в бесплодных попытках понять в чем проблема. Просмотрел всё, начиная с .htaccess и заканчивая кодом CMS. Ничего не найдя — начал грешить на сервер и стер пальцы в консоли, пытаясь найти что там может блочить оных реципиентов.

В общем, дело решил тикет в поддержку хостинга. Оказывается, оные товарищи что то поправили в рулесах mod_security и оные начали блочить траф с ИИ (кстати Перплексити не заблочили).

А у меня в панели хостинга есть только вкл/выкл оное mod_security, причем доступа к логам оного, даже хитрыми коммандами через терминал, мне получить не удалось.

Кстати говоря, хостинг не самый плохой — облачный, буржуйский, обходиться более $1000 в год. И вот такие косяки.

В общем, постоянно отслеживайте логи. Не ленитесь. Это критически важно, если не хотите терять траф, как я. На скрине траф (эвенты) только от утерянных ЧатГПТ юзеров. А там заблочены были все ИИ (кроме перплексити). Сами посудите сколь трафа ушло в небытие.

А ведь мотивированный траф с ИИ в 20 раз более конвертабелен, чем с выдачи!

В комментариях могу дать несколько советов по их отслеживанию / анализу. Пишите вопросы ваши.