В начале ноября блогер обнаружил, что страницы, опубликованные после 7 октября, не попадают в поиск Яндекса. Статьи выходили по расписанию три раза в неделю, добавлялись в sitemap, IndexNow отвечал 202, YandexBot приходил ежедневно. Поиск по url: не находил новые материалы месяц подряд.
10 ноября помогла кнопка «Отправка на переобход» в кабинете Вебмастера. После отправки 10 адресов робот забрал 9 из них на следующий день, 7 появились в поиске. Ручная отправка каждый день — тратить время не хотелось, поэтому был написан скрипт.
Когда API отвечает 504
Метод POST /v4/user/{user_id}/hosts/{host_id}/recrawl/queue/ в API Вебмастера отвечал 504 Gateway Timeout на каждый адрес. Остальной API работал без проблем: список страниц в поиске, события, запросы отдавались нормально. Поэтому скрипт был написан на управление браузером через playwright-cli, а не на прямые вызовы API.
Как устроена автоматизация
playwright-cli подключается к профилю Chrome, в который один раз вошли в Яндекс руками. Пароль скрипту не нужен. Launchd запускает его в 10:45 по Москве — через 15 минут после того, как сервер выкладывает статью дня.
Скрипт берёт адреса из трёх источников: новая статья дня, ручная очередь (текстовый файл со слагами переписанных материалов), статьи без поиска по данным API. Адреса, отправленные за последние 14 дней, из третьего источника не берутся повторно, но всегда берутся из ручной очереди.
Перед отправкой каждый адрес проверяется HEAD-запросом — чтобы не тратить попытку на редиректы, если статья была удалена или закрыта 301.
Версия скрипта с простым присваиванием value и синтетическим событием input не сработала: поле заполнялось, но кнопка оставалась серой. Заработало с командой fill из Playwright, после которой кнопка включается так же, как при живом вводе. Скрипт проверяет состояние кнопки через b.disabled на странице, а не через снимок доступности.
Чтобы проверить логику без клика, используется флаг --dry-run. Пригодилась эта функция в первый боевой день 12 ноября: лимит был потрачен, и скрипт не мог отправить адреса, но --dry-run показал, что ушло бы.
Четверг, 12 ноября: в момент запуска на маке не резолвился DNS. API упал, но ручная очередь ушла полностью — это была тестирующая фишка для отказоустойчивости. Причину сбоя DNS так и не выяснили.
Результаты и ограничения
Первый боевой прогон 12 ноября: принято 10 из 10. За три дня с учётом двух ручных отправок ушло 30 адресов. В поиск попало 45 страниц (было 41). Часть материалов в те же дни были переписаны, так что Яндекс снимал их как «малоценные».
Унести скрипт на основной сервер не получилось бы: вход в Яндекс из headless-браузера в датацентре упрётся в проверки безопасности. Раньше уже был неприятный опыт с переносом сохранённой сессии между машинами. Если мак спит в 10:45, launchd запустит пропущенное задание позже.
По материалам Habr SEO.