На больших сайтах никто целиком не видит структуру ссылок. Главная ведёт в каталог, блог ссылается на фильтры, фильтры — друг в друга. В таком клубке оказываются страницы, до которых внутренний вес доходит по щепотке. На пятидесяти страницах интуиция подсказывает, что важнее, но на пяти тысячах интуиция молчит.
Задача отвечает классическая метрика — домашняя версия PageRank. Не та, что ранжирует весь интернет, а расчёт веса только по внутренним ссылкам одного сайта. Сайт представляют как ориентированный граф: страницы — вершины, ссылки — рёбра. Вес страницы — это сколько ссылочного веса к ней притекает по всем путям от других страниц.
Формула и нормировка
Структура классическая: страница A получает вес от всех страниц, которые на неё ссылаются. Каждая дающая страница делит свой вес поровну между всеми своими исходящими ссылками. Доля 0.85 передаётся дальше, остальное выдаётся как базовая величина. Итерации повторяются до сходимости.
Практику приносит нормировка: средний вес по сайту приводят к 1.0, и числа становятся читаемы. 1.0 — обычная страница, 3.0 — втрое сильнее средней, 0.2 — почти невесомая. Рядом рассчитывают долю в процентах — какой процент суммарного веса сайта держит страница.
Детали, от которых зависит честность расчёта
Первая деталь — тупики. Страница без исходящих внутренних ссылок теряет вес, он выходит из системы. Чтобы это исправить, вес тупиков на каждой итерации возвращают сайту равномерно.
Вторая — нормализация URL. http://x , https://www.x/ и x/#fragment обязаны схлопываться в одну вершину, иначе в графе появятся близнецы, делящие вес между собой.
Третья — меню и футер. Сквозные блоки ссылаются на одни разделы с каждой из тысяч страниц. Если их не отфильтровать, весь вес потечёт к навигационным разделам. Решение — считать только ссылки внутри контентной области.
Инструмент также должен распознавать анти-ботовую защиту. Если сайт отвечает страницей-вызовом с JavaScript для вычисления куки, обойти это честным HTTP-запросом нельзя. Правильный маршрут — открыть сайт в браузере, пройти проверку и передать краулеру куки сессии.
Практическое применение
На интернет-магазине из тысячи страниц главная набирает 8–12 баллов (на неё ссылается каждая страница через логотип), каталоги верхнего уровня — 2–4, карточки товаров — 0.3–0.8 в зависимости от источников ссылок, страница третьего уровня с одной ссылкой из подвала — 0.1. Плохо не абсолютное значение, а диспропорция: когда карточка, которая должна продавать, весит 0.2, а её сосед по фильтру — 3.0.
Отчёт показывает четыре критических раздела. Сироты — страницы с нулевым числом входящих ссылок, вес не получают. Тупики — собирают вес, но дальше не отдают. Уровень минус — до страницы нельзя добраться ссылками с главной. И сортировка по весу против бизнес-приоритетов: коммерческая посадочная на 40-м месте по весу — это план работ по перелинковке.
Моделирование эффекта ссылки
Самое практичное в подходе: добавление ссылки можно посчитать до того, как её реально добавлять. Берут кандидата «донор → акцептор», добавляют ребро в граф, пересчитывают веса, смотрят дельту. Отчёт показывает ожидаемый эффект каждой рекомендации.
Две оговорки. Первая — на графах больше 2500 страниц полный пересчёт для каждого кандидата требует слишком времени. На каждый кандидат считают первое приближение по базовой формуле, полный пересчёт — только для отобранных пар. Вторая — закон сохранения. Суммарный вес сайта фиксирован, перелинковка его не увеличивает, она перераспределяет. Поднимается вес конкретных страниц за счёт других.
Математика ответит, кто на кого должен ссылаться и сколько это даст. Вопросы уместности ссылки по смыслу и текста анкора — это отдаётся отдельно. Абсолютные веса двух обходов несравнимы, если меняется число найденных страниц. Сравнивают долю в процентах и позицию в сортировке.
По материалам Habr SEO.