Привет. Несколько лет назад я уже поднимал на блоге тему по поводу битых ссылок, но ввиду того что тот материал тогда был не полный, да и появилось уже куда больше способов найти и удалить не рабочие ссылки, я решил написать новую статью в продолжение первой.
В данном уроке я покажу все способы, которыми пользуюсь лично для борьбы с неправильным URL адресами.
Прошу отнестись к данной проблеме серьезно, так как уже не один десяток сайтостроителей постоянно теряет трафик на сайте из-за этой проблемы.
Все ниже описанные способы я привел, основываясь только на личном опыте ведения блога, поэтому не исключено что существуют и другие, буду рад если в комментариях вы расскажите о собственных наработках в этом вопросе.
Что такое битые ссылки
Битые ссылки — это ссылки, которые ведут на несуществующий сайт, изображения, контент и другие документы, которые были изменены (удалены или перемещены).
Как правило, при переходе по таким ссылкам интернет браузер выдает 404 ошибку.
Причины появления несуществующих ссылок:
1) Орфографическая ошибка. В большинстве случаев это обычная опечатка в url адресе (пропущена буква, слеш и другой символ).
2) Изменение адреса. Со временем владелиц может изменить информацию на сайте, удалить изображение или неактуальный контент. Но может быть и такое, что площадка была заброшена, а доменное имя и хостинг перестали продлевать.
3) Редизайн сайта. Вот решили вы изменить дизайн блога и за одно поменяли его внутреннюю структуру постов. Например, укоротили имя постов в категориях, из-за чего на других проектах могут повылазить битые ссылки.
Возможно, кому-то покажется, что в этой проблеме нет ничего страшного и подумаешь, если пару ссылок станет не рабочими.
Однако на самом деле битые ссылки оказывают негативное влияние, как на посетителей (мало кому понравится созерцать не рабочие страницы, ведь это неуважение к читателям, получается автору все равно какой контент он преподносит для своей аудитории), так и на поисковые машины.
Для поисковиков нерабочие линки это все равно, что ошибка в коде страницы и если таких ссылок соберется не один десяток, то для Яндекса, Google и др. это послужит сигналом, что такой сайт является заброшенным и может быть понижен в результатах выдачи, потому что поисковики стремятся давать пользователям только актуальную информацию.
Проверка и удаление битых ссылок
Найти нерабочие линки на площадке можно двумя способами: первый — ручной, где придется открывать каждую страницу вашего проекта и вручную просматривать работоспособность всех ссылок. Если у проекта всего пару страниц или это одностраничный сайт, то проблемы никакой нет, но если проверяемых страниц 100 или 500, то это может вызвать большую головную боль.
Для того чтобы облегчить жизнь вебмастерам существует способ номер два — автоматический. Были созданы специальные онлайн сервисы, плагины и программы, которые в автоматическом режиме просканируют сайт на предмет несуществующих линков и покажут места, где надо это дело поправить.
Онлайн сервисы
Разработчики известных поисковых систем уже позаботились о сайтостроителях и в своих панелях инструментов сделали отдельные подразделы, где можно отследить появление тех страниц, которые известны роботам, но на самом деле являются нерабочими.
Для Яндекс Вебмастер
Переходим в раздел «Индексирование сайта» далее «Исключенные страницы», так как нас интересуют несуществующие страницы, которые выдают 404 ошибку, потребуется кликнуть на соответствующий подраздел HTTP-статус: Ресурс не найден (404).
Далее будет представлен список ссылок, которые известны Яндексу, но по каким-то причинам перестали у вас работать.
Чтобы посмотреть страницу, где стоит битая ссылка, кликаем по значку справа.
Теперь останется перейти на эту страницу и исправить нерабочую ссылку. В моем примере ее URL адрес будет таким https://seoslim.ru/404.html
И вправду данная страница не существует, просто я решил когда-то в статье показать посетителям, как у меня выглядит предупреждение о том, что искомой страницы нет. 
Других ссылок я не нашел, хотя Яндекс почему-то до сих пор показывает в панели, что ему известны не рабочие адреса. Думаю со временем от выплюнет и эту информацию.
Для Google Вебмастер
Здесь нужно перейти в раздел «Сканирование» далее «Ошибки сканирования» и выбрать вкладку «Не найдено». Перед вами предстанут все страницы известные Гуглу с ошибками.
Для того чтобы понять, где расположена поломанная ссылка достаточно кликнуть по любой из списка и выбрать вкладку «Ссылающиеся домены».
Из всех известных Гуглу страниц находим оригинальную статью (из-за древовидных комментариев у меня получились еще и дубли страниц, как от них избавиться читайте здесь) https://seoslim.ru/wordpress/redaktirovanie-izmenenie-temy-wordpress.html и удаляем там ненужный линк.
Внимание! Если какой-нибудь сайт будет ссылаться на битую ссылку вашего сайта, то данный адрес тоже будет отображаться во вкладке «Не найдено».
Например, я несколько лет назад вел рубрику по названием «Микропроцессоры» но потом ее закрыл, а статьи удалил, но каким-то образом анонсы этих статей через RSS ленту попали на другой сайт, который до сих пор ссылается на такие страницы из-за чего Гугугл показывает, что у меня есть не существующие страницы, хотя их уже 3 года, как нет.
Сервис Online Broken Link Checker
Современный онлайн сервис для поиска битых линков, который позволит проверять сайты на стороннем сервисе, что избавит вебмастеров от установки дополнительных приложений.
Переходим на сайт brokenlinkcheck.com и вводим адрес анализируемого домена.
Далее надо будет выбрать, по какому принципу делать анализ: искать только битые ссылки в единственном числе или сканировать каждый нерабочий переход. Вводим капчу и ждем, пока сервис не просканирует все страницы площадки.
Через пару минут я получил вот такой результат, смотрите фото ниже.
Broken link — в этом столбике мы видим какие ссылки перестали работать;
Page where found — можно посмотреть как обычный адрес страницы с плохой ссылкой, так и ее исходный код;
Server response — тип ошибки.
В последнем столбце указан, какой тип ошибки был присвоен для каждой гиперссылки. Есть специальная таблица где описано, что из них каждый обозначает.
В нашем примере 404 и bad host указывают на сайты, которые не отвечают или недоступны.
Вам остается только перейти на страницы сайта, которые содержат данные ссылки, для чего используем второй столбец из результатов анализа, а затем с помощью редактора страниц WordPress или правки файлов шаблона избавиться от ненужных URL.
Плагины
Для тех у кого блог или сайт работает на движке WordPress существует специальный плагин Broken Link Checker, который ищет битые URL адреса на площадке и помогает вебмастеру от них избавиться прямо из административной панели.
Для начала вам нужно скачать данный модуль, воспользуйтесь этой ссылкой.
Далее его устанавливаете и активируете на момент проверки, после того как удалите все битые линки можете этот плагин деактивировать до следующей проверки, чтобы не создавать дополнительную нагрузку на сайт.
После активации Broken Link Checker автоматически начнет колошматить ваш проект в надежде отыскать баги в существующих ссылках, поэтому придется подождать какое-то время пока он все просканирует.
По результату работы в меню «Инструменты» отобразится страница «Неправильные ссылки», указывающая на общее их количество.
Переходим на эту страницу увидим все ссылки, которые плагин посчитал не правильным.
Теперь вам остается только пройтись по каждой из неправильных ссылок и посмотреть, что за ошибку ей присвоил плагин:
404 Not Found — страница не существует;
403 Forbidden — администратор закрыл для вас доступ к существующей странице площадки;
500 Internal Server Error — медленный хостинг или сайт, который выдает ошибку;
503 Service Unavailable — сайт заблокирован;
Server Not Found — сервер не доступен (возможно сайт был отключен за неуплату);
Connection Failed — не удалось установить соединение с сайтом.
В некоторых случаях со временем ссылка может и снова заработать, поэтому нужно сперва подумать, а только потому удалять ссылку.
Далее просматриваем каждую ссылку из списка и выбираем одно из трех действий:
Редактировать — можете исправить ссылку на рабочую в случае опечатки;
Удалить — ссылка будет удалена на всех страницах сайта, а вместо нее останется только анкор;
Not broken — оставить без изменение, сообщив плагину, что она рабочая.
Подобным образом вам придется избавиться от всех подозрительных URL адресов и деактивировать плагин. Спустя какое-то время (раз в месяц) опять его включите и выполните повторную проверку.
Программы
Аналогично проверять ссылки на предмет их рабочего состояния можно и с помощью специальных программ. Например, я для этого использую WebSite Auditor, софт от SEO PowerSuite про который я рассказывал в прошлый раз.
После запуска программы создаем проект, для чего вводим адрес проверяемого сайта и ждем, пока завершится сканирование файлов площадки.
Далее в предоставленном отчете находим пункт «Битые ссылки».
Кликаем по данной графе и справа откроется сводка отчета, где будет видно как называется ссылка, что выдает ошибку, какой у нее анкор и где она расположена.
Заключение
Подводя итог, всему вышесказанному остается добавить, что все перечисленные способы практически наравне справляются с возложенными на их плечи обязанностями.
Но лично мне по душе больше нравится использовать плагин Broken Link Checker, так как он всегда находится под рукой, тщательней сканирует блог и имеет удобный редактор для исправления битых ссылок.
Результаты конкурса комментаторов...
По итогам прошлого месяца больше всех комментариев на блоге оставил Игорь (vipinternetrabota.ru), поэтому получает от меня денежный приз на кошелек WMR и 1 год бесплатного хостинга от AdmiVPS, подробности условий читайте в этой статье.
Спасибо что проявляете интерес к моему блогу, жду ваши реквизиты к себе на почту, для вручения приза.
На сегодня у меня все. Буд рад узнать в комментариях, как вы находите и удаляете битые ссылки на своих проектах, может кто-то из вас знает другие способы решения данной проблемы. Пока!
(4 голос., в среднем: 4,50 из 5)
Загрузка...
Максим,вы как всегда затронули злободневную тему.
Я думаю будет очень много высказываний по этой теме.
Кстати,лично я пользуюсь плагином Broken Link Checker,меня устраивает.
Здравствуйте, Максим! С гуглом разобралась, отметила все, как исправленное. Спасибо Вам. Теперь Яндекс. Ошибка 404 типа /sitemap-pt-post-2014-09.html – их 25 и не ссылаются ни на какую страницу, т.е. я могу их удалить через webmaster.yandex.ru/delurl.xml. Теперь Документ содержит мета-тег noindex — типа /page/10/ — это дубль главной, как я понимаю или /category/poly-2/page/2/- дубль полы таких 19. Тоже можно удалить. И наконец, неканонические — /oblicovochnaya-keramicheskaya-plitka/3/?PO, /oblicovochnaya-keramicheskaya-plitka/2/ и т.д.Ни на какую статью не ссылаются, дубли. Удаляем? Это все появилось после изменения robots и установки плагина Seo by Yoast. А изменила я после появления дублей – решила от них избавиться.
А robots в этом плагине прописывается прямо в админке. Вот весь мусор и вылез. Кстати, вручную только что проверила 20 постов – все ссылки рабочие. Я когда переходила на новый хостинг, то все проверяла, но за пару дней вручную хочу допроверить все посты остальные. А Вам огромное спасибо, ждала с нетерпением Вашего ответа по Гуглу. А сейчас буду ждать по Яндексу, если Вы одобрите написанное выше мной удаление,и тогда все удалю. Спасибо и дай Вам Бог!!!
Если на те страницы, что вы в Гугле отметили, как исправленные имеются ссылки на других сайтах, то через какое-то время они опять появятся в панели Гугл Вебмастер.
Данная страница webmaster.yandex.ru/delurl.xml служит для удаления страниц сайта из поисковой выдачи, вы уверены, что данные страницы есть в поиске Яндекса?
Здравствуйте, Максим! Надо просматривать всю выдачу. Но а если нет,вот 404 ошибка, то как тогда ее удалить? Или она сама уйдет через время после очередного обхода робота? И если написано,что страницы удалены из выдачи в Вебмастерах, то ее и в выдаче не должно быть.Стой там иди сюда получается. Как быть? Что Вы мне посоветуете? Ничего не трогать? Яндекс сам через время уберет? Спасибо Вам, но я с этим не сталкивалась еще, поэтому и не знаю, как поступить правильно.
Главное чтобы битых ссылок не было у вас на блоге, а все что известно Яндексу или Google с очередным обходом может пропасть.
Справлюсь с ошибками и тогда и плагин можно будет изучить и программу. Спасибо,Максим,Вы идете вперед и нас учите. Все непонятное становится на свои места.
Я также плагином Broken ... пользуюсь, справляется со своими обязанностями хорошо, запускаю его раз в 2 недели и затем отключаю до следующей проверки
Спасибо Максим,приз получил.
Я вас приглашаю,поучаствовать в Конкурсе комментаторов,на моем блоге.
Спасибо за приглашение
Я как Борисов рекомендовал, плагин использую который переодически включаю. Все находит, потом удаляю.
Здравствуйте, Максим! Опять вернулась к этой теме,т.к.ошибки из Яндекса не уходят, а добавляются. Воспользовалась brokenlinkcheck.com и получила результат( перевела): «Обработано 167 веб-страниц , нашел 0 неработающие ссылки». Вот вам и фокус покус. В чем тогда дело? Яндекс выдает по 404 ошибке типа- /sitemap-pt-post-2013-07.htm, по Документ содержит мета-тег noindex- /page/16/, /category/remontnye-raboty/page/2/,по Документ является неканоническим- oblicovochnaya-keramicheskaya-plitka/3/?attr_mark=Tikamoon¬Explode=1. Вчера проверила вручную — все страницы в поиске, проверила вручную все ссылки внутренние, но не могу понять, в чем дело?. Подождать еще или удалять их из Вебмастеров. С Гуглом все нормально. Максим, помогите советом, пожалуйста.Спасибо. Может, удалить все эти ошибки и не мучиться?
Привет Галина. Ну есть внешние ссылки с ошибкой, сайт отдаёт страницу 404, какая проблема? Это не может повлиять на ранжирование сайта. Вот если бы эти ссылки были на 404 страницы внутренними, а так это ерунда. В помощи Гугла сказано, что ошибки 404 не несут вред сайту, вы же не можете контролировать, кто на вас ссылается и какими ссылками.
Советую установить плагин, что я описал в статье и убедиться, что именно внутренних ссылок у вас нет, что выдают 404 ошибку.
Спасибо,Максим,как раз сегодня вечером и планировала установить плагин. Максим, по 404 ошибке понятно, а что делать в вебмастере Яндекс с «Документ содержит мета-тег noindex» и неканоническими?Привела пример в прежнем комменте какого они вида. И brokenlinkcheck.com написал, что на блоге ноль неработающих ссылок. Откуда они взялись? Или робот Яндекса выкидывает весь «хлам» с блога? Уже боюсь заходить в вебмастера,т.к. количество увеличивается. Спасибо и жду Вашего ответа.
В разделе «Документ содержит мета-тег noindex» указываются те страницы сайта, которые вы умышлено запретили к индексации оп средствам тега noindex. У меня это категории и архив.
Здравствуйте, Максим! Статья поменялась, здесь было понятное видео по установке плагин Broken Link Checker и Вы описывали свой способ. Почему исчезло? Очень жаль, иду искать в инет.
Статья не менялась и в этом посте я не выкладывал видео.
Максим, установила плагин Broken Link Checker,версия 1.10.3. Вы ничего не пишете об этом. Дело в том,что в дополнительных настройках есть последние пункты, по которым хотелось бы услышать Ваше мнение. Все видео,которые просмотрела со старыми версиями.Show link actions:
Редактировать URL,Удалить ссылку,Not broken,Dismiss,Recheck,Fix redirect — где ставить галочку, а где лучше нет.Тем не менее, плагин перепроверил все страницы блога и выдал заключение: Сейчас не найдено ни одной неправильной ссылки.
Сейчас в очереди на проверку нет ни одного URL. То есть все ок!
Деактивировала его после анализа и буду включать переодически. Не похоже на Вас — вы всегда пишите статьи досконально — ведь даже мелочи иногда важны. Спасибо.
Настройки никакие в плагине не делал, так как не посчитал нужным там что-то настраивать.
Там где под каждой ссылкой появляется: Редактировать URL, Удалить ссылку, Not broken, Dismiss, Recheck, Fix redirect вам нужно самостоятельно решить, что вы хотите сделать с ссылкой (удалить, изменить, перенаправить и так далее).
Здравствуйте,Максим и спасибо. Все поняла, буду переводить, т.к. все на английском и решать. Просто,когда Вы рекомендуете что лучше оставить, а что убрать,то доходчиво и понятно. Замучила Вас вопросами — извините и даю Вам отдохнуть от своих вопросов. Спасибо и с наступающим!!!
Все отлично Галина. Спасибо и удачи!
🙂
Отлично! Спасибо за программы и сайты, с помощью которых можно отыскать битые ссылки.![[good]](https://seoslim.ru/wp-content/plugins/qipsmiles/smiles/6.png "[good]")
Привет Николай с Гуглом и Яндексом разобрался попробовал но плагин Broken Link Checker ты был прав с ним работать намного проще и удобнее, спасибо.
Нужно тоже хотя бы плагином проверить, я на блоге еще не разу не проверял битые ссылки, в любом случае их наверное уже набралась целая куча
Я по немного подчещаю битые ссылки, у меня их оказывается много!
Александр,просто так не бывает множество битых ссылок.
Может быть вы шаблон вашего блога меняли и из за этого битье и появилось.
У Александра и из-за шаблона могли появиться битые ссылки, и из-за переименования рубрик или перенесения статей в другие рубрики.
Здравствуйте, Максим! У меня неканонические документы только по облицовочной плитке. Основная статья в индексе /oblicovochnaya-keramicheskaya-plitka/, а ее собратья типа /oblicovochnaya-keramicheskaya-plitka/3/?9 , /oblicovochnaya-keramicheskaya-plitka/3/?PN_ и таких 10 видоизменений на конце. Дублей нет на блоге, это из адреса взяла из вебмастеров. Что мне с ними делать? Удалить через URL? Спасибо.
Я в вебмастере ничего не удаляю, обычно дубли сами уходят. Пробуйте удалить, если появятся снова эти страницы, значит дубли есть.
Спасибо за статью, для своего сайта я использую плагин я Broken Link Checker, все отлично работает
Я бы на своём сайте, не работающий ссылки переводил в текстовый формат зачёркнутым шрифтом и рядом вставлял ссылку из вебархива, для того, чтоб не потерялась связь текста.
Где-то читал, что количество битых ссылок находимых сервисом Online Broken Link Checker и плагином Broken Link Checker этого же производителя, разное.
Приветствую вас, земляне.
Прочитала статью и спустилась с небес на землю. Речь идет об удалении битых ссылок в блоге. А как это сделать, если у тебя интернет-магазин? использовать все тоже самое?
Спрашиваю потому, что вот чувствую, что не так то сложно сделать, а цену запросили 17 000 руб и не смогли сказать сколько же у меня битых ссылок)) Заранее спасибо всем, кто откликнется и поможет чем сможет))
Привет. Какая разница, что у вас, магазин или блог. Если он сделан на движке wordpress устанавливаете плагин и он находит вам все нерабочие ссылки, который после вашего одобрения легко удаляются.