Про подключение LLM к Screaming Frog SEO Spider (дальше SC или Spider или фрог)

В версии 21.0 Spider появилась интеграция API LLM-провайдеров в интерфейсе: Configuration → API Access → AI (подключения типа OpenAI/Gemini/Ollama и т.п.).

Я не ЦА такого функционала, поэтому мне было неинтересно. Но пришло время посмотреть функционал, разобраться и после разбора я считаю, что это стоит попробовать большому количеству SEO-специалистов.

Как это работает

Spider во время обхода сайта собирает содержимое страниц, которое можно обрабатывать через “Custom JS” и “Custom extraction”, а затем делать запросы к LLM по API, передавая результат работы ваших “Custom JS” и “Custom extraction”.

То есть провайдера вы подключаете нативно в интерфейсе, а входные данные для запроса формируете своими экстракциями/скриптами/стандартными экстракциями фрога.

Плюс Custom JS позволяет делать запросы по API и в другие сервисы. Например, можно получить данные из какого-нибудь SERP API, чтобы собрать выдачу.

Т.е. вы можете собрать workflow типа:

• Парсинг страницы
• n-ное количество “Custom JS” и “Custom extraction”
• Запрос в LLM
• Результат

С помощью подключения AI к Spider вы можете, например:

• Прогенерить все мета-теги во время парсинга сайта на основе контента страниц (и при желании дополнительно обращаться в SERP).
• Сгенерировать описания страниц и товаров.
• Найти узкие места страниц и сделать ТЗ на их закрытие.
• Сделать AI-скрейпинг нужной информации (например, вытащить характеристики/УТП из блока, который сложно нормализовать регулярками).

Что-то более интересное можно собрать?

Например, можно взять Search API FireCrawl (FC) обратиться через JS к SERP API FC по h1 страницы во время парсинга сайта получить контент конкурентов вытащить из него структуру h1–h6 собрать дерево своей страницы подать все это в подключенную к Spider LLM получить ТЗ на усиление ваших страниц на основе анализа конкурентов.

Зачем: на выходе можно получить понятное ТЗ по структуре и покрытию темы (что добавить/убрать/переставить), список недостающих блоков, идеи под подзаголовки, а также чек-лист улучшения контента страницы по сравнению с конкурентами.

Немного про программирование и нужность таких решений в SC

Есть мнение, что сеошники должны изучать программирование, а есть реальность, где доля тех, кто уверенно пишет скрипты и автоматизации, процентов 10 по моим субъективным ощущениям. А с приходом LLM этот процент знающих будет снижаться еще сильнее.

Поэтому такие штуки, как подключение LLM в SC, это важная тема для изучения SEO-специалистами, по моему мнению.

P.S. Я находил опрос, где только 8% штатных технических SEO-специалистов сами внедряют правки на сайты. Но хз, он какой-то спорный и не совсем понятно сколько человек его прошло тут пишут, что 382.