К основному содержанию

Девять из десяти ссылок из ответов нейросетей открываются

Пересказ по материалу Habr SEO

Девять из десяти ссылок из ответов нейросетей открываются

Автор проверил около шестисот адресов из ответов пяти нейросетей с поиском примерно через месяц после сбора. Открылись девять из десяти. Мёртвых страниц с кодами 404 и 410 — единицы. Это адреса обычных материалов на живых площадках, а не случайный набор символов, поэтому скорее всего удалённые статьи, а не выдумка. Когда именно их удалили, неизвестно.

Выдуманная ссылка — галлюцинация: модель собирает правдоподобный адрес страницы, которой никогда не было. Нейросеть придумывает источники там, где не ищет в интернете: в исследовании Walters и Wilder без поиска выдуманными оказались 55% научных ссылок у GPT-3.5 и 18% у GPT-4. Среди неоткрывшихся адресов оказались две группы. Около трёх десятков не отдали страницу роботу — защита сайтов. Мёртвых единицы: подборки агентств на vc.ru и DTF и блог на Tilda. Доля живых ссылок по сервисам близкая, от 88% до 94%.

Коды ответа сервера

Страницы больше нет, когда сервер отвечает 404 или 410. Коды 401, 403, 429 и 503 говорят о другом: сервер не отдал страницу роботу, хотя сама она может существовать.

410 значит, что содержимое удалили окончательно и адреса для переадресации нет. 403 — у клиента нет прав на доступ и сервер отказывает. 429 — ограничение частоты запросов, страница при этом может быть цела. 503 — временное состояние, срок восстановления сервер может указать в заголовке Retry-After. 401 бывает штатным ответом защитной проверки Cloudflare: посетителя при этом никто не заблокировал.

Скрипт проверки на Python

Скрипт раскладывает адреса по категориям таблицы кодов, плюс две служебные: нет ответа и разобрать вручную. Код сохраняют в файл check.py, адреса — в urls.txt по одному на строку, устанавливают библиотеку requests и запускают в терминале: python3 check.py urls.txt.

Скрипт использует GET вместо HEAD, потому что HEAD отдаёт только заголовки без тела, и текста страницы скрипт с ним не увидит. GET оставляет возможность дописать проверку содержимого. По редиректам скрипт идёт до десяти переходов: краулеры Google по умолчанию идут по цепочке до десяти переходов. Тайм-аут — пять секунд на соединение и пятнадцать на чтение. Без него Requests может ждать ответа бесконечно. Скрипт представляется проверкой ссылок и под браузер не маскируется.

Почему нейросеть ссылается на удалённую статью

Скорее всего, потому что поисковая база нейросети отстаёт от сайтов: статью уже удалили, а обход до неё ещё не добрался. По Pew Research Center, четверть страниц, существовавших в 2013–2023 годах, к октябрю 2023-го стала недоступна, и чаще всего удалили отдельную страницу на работающем сайте. Perplexity пишет, что часто переиндексировать каждый адрес невозможно, и что и когда обходить, решает модель машинного обучения. Поэтому удалённая страница может оставаться в его базе, пока обход до неё не дошёл. OpenAI публикует срок только для изменений robots.txt, около 24 часов, а срока удаления страниц из поиска ChatGPT не называет.

Google на ответы 4xx, кроме 429, сообщает дальше, что содержимого нет, а проиндексированные раньше адреса со временем перестают использоваться. Яндекс убирает страницу с ответом 404, 403 или 410 из поисковой базы в течение недели после того, как робот это обнаружил, но до обхода может пройти время.

Что сделать перед удалением страницы

Перед удалением стоит поставить редирект на актуальную страницу по той же теме. Поручение тому, кто ведёт сайт: настроить постоянное перенаправление со старого адреса на выбранный новый и проверить в браузере, что старая ссылка открывает новую страницу. Тогда человек, который кликнет по старой ссылке из ответа, попадёт на живой текст. Редирект на главную скрипт тоже покажет живым, но читатель из ответа нейросети не найдёт там того, что ему обещали. Если замены нет, отдавайте 410: это явный сигнал, что содержимое удалено насовсем.

В исследовании Tow Center на цитировании новостей у Gemini и Grok выдуманные или битые адреса больше чем в половине ответов. В препринте на arXiv выдуманное понятие на легко доступных площадках за неделю попало в цитаты 8 из 10 ИИ-поисковиков.

По материалам Habr SEO.

TG X Скопировано
Упомянуты: NeBlaskWilder

Спонсоры проекта

Компании, которые помогают держать аналитику открытой