Аудит архива из 200 публикаций: рабочий пример с вымышленными цифрами

Настройка

Представьте один блог с 200 публикациями. Обход вашего собственного сайта выявляет 1150 исходящих ссылок, которые после удаления дубликатов и вашего домена сокращаются примерно до 410 уникальных хостов.

Ручная бесплатная проверка бэклинков в Ahrefs для 410 хостов займет полдня на вставку ссылок и принесет головную боль, поэтому план заключается в автоматизации. Три этапа покрывают всю работу: оценка хостов, проверка проблемных и анализ самого блога.

Ожидается, что весь процесс, от экспорта до очищенного архива, уложится в рабочую неделю для одного редактора и одного разработчика. Затем запланируйте еще один проход.

Количество будет отличаться в вашем архиве. Подставьте свои данные экспорта, прежде чем копировать любые цифры в план. Каждая цифра здесь показывает лишь структуру работы.

Обеспечение повторяемости этапа экспорта

Экспорт определяет, можно ли доверять остальной части процесса. Три привычки делают его надежным, и каждая из них обходится дешево при настройке перед первым вызовом.

Отрендеренный HTML, а не Markdown

Экспортируйте ссылки из отрендеренной страницы, которую видит посетитель. Markdown пропускает шорткоды, встраиваемые элементы и все, что вставляет плагин. Именно в этом разрыве скрывается большинство пропавших ссылок.

Одна строка на публикацию

Записывайте одну строку на публикацию, содержащую URL публикации, хост и дату экспорта. Один плоский список сложно проверять. Строки на уровне публикаций позволяют перезапустить проверку одной публикации, не затрагивая остальные.

Сохраняйте имена столбцов простыми и стабильными, чтобы последующий скрипт мог читать файл за этот месяц и за прошлый месяц одинаковым образом.

Фиксируйте дату обхода вместе с экспортом. Список, созданный месяц назад, и список, созданный сегодня, могут расходиться, и аудит должен показывать, какой из них использовался.

Сначала исключите свой домен

Удалите свой домен и социальные хосты, на которые ссылаются все публикации. В противном случае ваш собственный футер окажется на вершине рейтинга и затмит реальные проблемы.

Порядок выполнения работ

Обход двухсот публикаций не обязательно должен быть завершен за один присест. Ему нужен порядок, чтобы самые полезные исправления были применены в первую очередь.

Начните с публикаций, которые все еще получают трафик

Отсортируйте архив по публикациям, которые все еще получают клики в Search Console. Сломанная ссылка на мертвой публикации стоит недорого. Сломанная ссылка на странице, которую читатели все еще открывают, стоит доверия, поэтому начните со второй группы.

Search Console показывает, какие URL все еще получают клики. Он не показывает, какие из их исходящих ссылок сломаны, поэтому эти два источника выполняют разные задачи.

Сначала исправляйте самые дешевые проблемы

Домены-заглушки и мертвые хосты часто требуют всего одного редактирования. Устраните их, прежде чем переходить к сложным случаям, чтобы список сократился, а остальная часть работы уложилась в один день.

Оставьте вопросы на усмотрение редактора напоследок

Цитата, которая просто слабая, например, небольшой блог, который говорит что-то верное, требует внимания читателя. Отложите их в отдельную кучу и принимайте решения вместе с редактором, а не по пороговому значению.

Записывайте однострочную заметку к каждому решению. Спустя шесть месяцев эта заметка сэкономит время на повторении той же дискуссии.

Некоторые из них окажутся в порядке. Страница, которая кажется тонкой при первом проходе, может быть короткой, но правильной заметкой, и редактор сможет закрыть этот файл за минуту.

Валидация пакета перед тем, как доверять ему

Обход может завершиться чисто, но при этом быть неверным. Три проверки выявляют большую часть ошибок. Сделайте их достаточно простыми для shell-скрипта и включите в задачу, а не полагайтесь на память.

Проверяйте статус ok в каждом ответе

Ответ с ok, установленным в false, — это не данные. Считайте сбои по ходу выполнения и останавливайте обход, когда они превышают небольшую долю, которую вы выбрали до начала.

Если обход останавливается на этой отметке, запишите, где и почему он остановился. Следующий запуск может продолжаться с этой точки, а не начинаться заново и платить дважды.

Сопоставьте количество строк с входными данными

Сравните количество хостов, которые вы отправили, с количеством полученных. Несоответствие означает опечатку, дубликат или молчаливое удаление, и каждое из них требует записи в журнале.

Сохраняйте сырой JSON

Сохраняйте каждый ответ рядом с датой и списком входных данных. Когда рейтинг покажется неверным через три месяца, сырой файл ответит на вопрос быстрее, чем свежий вызов.

Чтение результата без самообмана

Означает ли ноль мертвый сайт? Не всегда.

Хост без ссылающихся доменов в нашем индексе может быть очень новым сайтом, внутренней сетевой страницей или настоящим доменом-заглушкой, и только человек может определить, что именно. Рассматривайте столбец рейтинга как ключ сортировки для вашего внимания, а не как оценку, которая принимает решения сама по себе.

Читайте столбец рейтинга рядом с анкоры. Низкий рейтинг рядом с разнообразным профилем анкоры означает нечто иное, чем низкий рейтинг рядом с кучей идентичного анкорного текста, и для этих случаев нужны разные действия.

Рейтинг, который меняется между двумя обходами, — тоже полезная информация. Проверьте, изменился ли хост или обновился только индекс.

Что может вас удивить

Стоимость редко является ограничивающим фактором здесь.

Время уходит на чтение 38 страниц и принятие решений по каждой, и ни один API не уберет этот шаг. Запланируйте день редактора. Наши данные обновляются примерно раз в месяц, поэтому хост, который кажется пустым, может просто быть новым для индекса.

Другое удивление — как часто один сайт появляется под двумя написаниями. Домен без www и версия с www — это отдельные строки, пока вы их не объедините, и счет, который кажется высоким, часто является просто этим удвоением.

Чтобы сохранить архив чистым после этого, поставьте ворота перед новыми публикациями и запланируйте ежемесячный аудит. Таблица стоимости перечисляет цену каждого действия.

Вопросы о запуске обхода

Четыре вопроса возникают почти при каждом обходе, и их легче решить до первого вызова, чем после него.

Могу ли я сделать это с помощью бесплатной проверки бэклинков в Ahrefs?

В таком масштабе — нет. Бесплатные веб-чекеры предназначены для одного домена за раз, поэтому 410 хостов означали бы 410 ручных проверок. Скрипт с одним пакетным вызовом — это практический путь.

Мне нужно просматривать каждый результат?

Только для платных списков. Массовая оценка принимает список хостов за один вызов, тогда как refdomains и anchors возвращают страницы. Используйте параметры page и per, с per до 5000, и остановитесь на лимите глубокой пагинации в 50 000 строк.

Какой порядок сортировки мне использовать?

Сортируйте по полю, которое вас интересует, с помощью параметра sort, затем установите order в asc или desc. Для поиска слабых хостов сортировка по рейтингу по возрастанию выведет худшие результаты первыми.

Что если у хоста есть рейтинг, но его страница исчезла?

Рейтинг описывает ссылки в нашем индексе, а не то, загружается ли страница. Проверьте саму страницу, так как обновление индекса может отставать от страницы, которая уже исчезла.

Достаточно одного обхода?

Обычно нет. Запустите его один раз, чтобы очистить архив, затем установите ворота для новых публикаций и повторяйте аудит ежемесячно, так как индекс обновляется примерно раз в месяц.

Вариации того же примера

Масштаб меняется, метод — нет.

Маленький блог может пропустить этап пакетной обработки и запустить весь список вручную через один вызов. Метод остается тем же, меняется только инструмент.

Блог с 2000 публикациями имеет, возможно, 3000 уникальных хостов, что все еще укладывается в два вызова bulk_dr по 1 кредиту каждый. Сеть из десяти блогов повторяет план десять раз и стоит около пяти центов, поэтому бюджет никогда не определяет проект. Определяет время на проверку.

Обратите внимание на этап рендеринга. В WordPress экспортируйте отрендеренный HTML через REST API, а в Hugo или Eleventy читайте папку сборки, так как вывод уже содержит все ссылки, которые увидит посетитель. Сайты на Ghost могут использовать Content API для той же задачи.

Экспортируйте также удаленные страницы, если они у вас еще есть. Их исходящие ссылки все еще считаются работой, так как посетитель может попасть на них из старого результата поиска.