Индексация сайта в поисковых системах — полное руководство

Привет уважаемые читатели seoslim.ru! Сегодня будет гостевой пост от Владиславы Рыковой (директора маркетингового агентства MAVR), в котором будет досконально рассмотрено, почему молодые проекты неохотно индексируются поисковыми машинами, какие на то могут быть причины и как избежать проблем в будущем.

Индексация сайта важна в том случае, если вам необходимы посетители из поисковых систем. Если на ваш сайт зайдет поисковый робот и внесет информацию о нем в соответствующую базу данных, тогда в случае совпадения с определенным запросом он будет виден в выдаче.

Но случается, что сайт работает уже пару недель или больше, а информации о нем в поисковой системе нет, то есть площадка не индексируется.

Зачем нужна индексация сайта и как часто она проходит

Если проект не индексируется поисковой системой, то к вам не будут заходить посетители из органической выдачи (Organic traffic в отчетах Google Analytics).

Как следствие – Вы не сможете продавать им свои товары и услуги или заработать на рекламе, если портал создавали под заработок на ней.

Поисковые роботы периодически заходят на сайты, чтобы обновить информацию в базе данных. При этом чем чаще происходит обновление на вашем портале, тем чаще у вас будет происходить индексация.

Если площадка новая и пока не известна поисковым системам, вы можете сообщить о её создании вручную с помощь аддурилок Яндекс, Гугл, Bing, Нигма, чтобы ускорить начало этого процесса.

Как подготовить проект

Первое, что необходимо подготовить перед индексацией, – это написать уникальный контент, который будет полезен для вашей целевой аудитории.

Например, если вы делаете медицинский портал про заболевания, тогда это могут быть экспертные статьи с ответами на конкретные вопросы больных.

Если у вас интернет-магазин с медицинской техникой, тогда на странице с товарами может быть текст, который помогает посетителю сделать выбор.

Второе, но не по важности, – это правильная настройка Robots.txt и Sitemap.xml.

Robots.txt – файл, который содержит указания для поисковых роботов.

Без его корректной настройки невозможна полная индексация страниц. Большинство CMS генерируют этот файл самостоятельно или при помощи плагинов, но если вы разбираетесь в коде, не лишним будет его проверить и, возможно, оптимизировать.

Sitemap – карта сайта, которая позволяет удобней перемещаться пользователю между страницами.

Эта же карта в формате XML, записанная в Robots.txt, поможет роботу при индексировании постов.

Третье – ускорьте загрузку сайта. Рекомендации что можно для этого сделать посмотрите здесь: developers.google.com/speed/ или на схожем ресурсе.

Как правило, существенно сократить время загрузки позволяет использование картинок в меньшем разрешении. Сжать их можно вручную в Photoshop или другом редакторе, а также при помощи онлайн-сервисов.

Четвертое: обязательно подготовьте сайт для пользователей, которые будут заходить со смартфонов и планшетов, потому что таких посетителей с каждым годом становится все больше.

Им должно быть удобно просматривать информацию и использовать функционал портала или интернет-магазина. Для этого можно сразу адаптировать сайт или использовать готовую адаптивную тему оформления, если вы собираете его на каком-то популярном конструкторе.

Пятое – обязательное использование title, description для каждой информационной или важной страницы и alt для изображений.

Желательно, чтобы в них присутствовали основные ключевые запросы пользователей, которые вы можете найти в «Подборе слов» от Яндекса: wordstat.yandex.ru или в «Планировщике слов» от Google Adwords: adwords.google.com.

Что можно сделать для ускорения индексирования страниц

У большинства поисковых систем есть формы для быстрого добавления информации о новом сайте.

Например, у Google вы можете сделать это здесь: www.google.com/webmasters/tools/submit-url.

С 2011 года Рамблер использует поисковые технологии Яндекса, поэтому добавлять туда сайт отдельно не нужно, сообщите сразу двум поисковикам о новой площадке через Яндекс.Вебмастер: webmaster.yandex.ru.

Желательно добавить сайт в очередь на индексацию поисковым роботом Mail.ru. Как и в случае с Яндексом, это делают через дополнительный инструмент для вебмастера, который в дальнейшем поможет проводить анализ страниц в индексе: webmaster.mail.ru.

Среди менее популярных в России, Украине и Беларуси поисковых систем можно добавить сайт для индексации в Bing: www.bing.com/toolbox/submit-site-url, и Meta: web.meta.ua/?action=add.

Особенности ранжирования поисковыми системами

Как именно поисковые роботы индексируют сайты? В каком формате хранится информация в базе данных поисковых систем? Что конкретно и в какой мере влияет на ранжирование сайтов при выдаче результата после запроса пользователя?

Все эти интересные и важные для владельцев проектов вопросы, к сожалению, не имеют конкретного ответа, так как открытой конкретной информации от разработчиков поисковых систем нет.

Чаще всего сотрудники Google и Яндекса, у которых интересуются подобным, отвечают, что сайт должен быть качественным и отвечать на потребности пользователя.

Но практика показывает, что иногда в топе встречаются порталы с не самым лучшим наполнением.

В то же время поисковые системы действительно постоянно развиваются, поэтому четкого ответа что и как следует делать, чтобы сайт «взлетел», не будет никогда.

Поиск причины плохой индексации сайта на примере prochehol.com.ua

Чтобы понять почему в поисковой системе отсутствуют сведения о конкретном сайте или отдельных его страницах, следует планомерно пройти по списку всех возможных причин плохой индексации, то есть:

1. Пересмотреть файл robots.txt

В результате проверки было найдено лишь одно предупреждение, которое важно для Яндекса.

В целом критичных ошибок, которые могли бы негативно влиять на индексацию, найдено не было.

В то же время определили, что у двух страниц (prochehol.com.ua/md/ и prochehol.com.ua/testing/) код ответа 404, то есть их нет в индексе.

Если эти страницы не нужны там, тогда их лучше удалить из файла robots.txt, то есть вручную закрыть от индексации.

2. Проверить корректность карты сайта Sitemap.xml

В результате проверки найдено одно предупреждение – наличие 404 ошибки:

• На момент 30.05.17 г. Гугл.Вебмастер показывал — 4097 404-ых ошибок. Отправили на пересмотр 1000 url (больше нельзя).
• На момент 19.06.17 г. Гугл.Вебмастер показывал — 3667 404-ых ошибок. Еще 1000 url отправлены на пересмотр.
• На момент 23.06.17 г. Гугл.Вебмастер показывал — 1737 404-ых ошибок. Еще 1000 url отправлены на пересмотр.
• На 27.06.17 Гугл.Вебмастер показал — 848 404-ых ошибок.

В дальнейшем желательно уменьшать количество исправленных страниц с 404 ответом.

Если на протяжении двух проверок количество ошибок станет приблизительно одинаковым, можно будет начать работу с полученным списком.

3. Анализ сайта сервисами

С помощью различных сервисов можно определить какой именно фильтр поисковой системы повлиял на индексацию.

3.1 Проверка площадки на санкции при помощи xtool.ru:

3.2 Проверка на АГС Яндекса на сервисе pr-cy.ru:

3.3 Проверка наличия санкций в поисковой системе Google с помощью сервиса barracuda.digital.

Анализ получаем за последние два года:

Сервис удобен тем, что на графике сразу отмечены все даты обновления алгоритма работы поисковой системы Google.

В случае значительного снижения трафика после этого проще определить в чем причина такого «проседания» позиций.

3.4 Проверка сайта на санкции в сервисе seolib.

4. Проверка ТИЦ и количества страниц в индексе

4.1 Проверка тематического индекса цитирования.

Если Яндекс индексирует сайт, он не находится под каким-либо фильтром, тогда ТИЦ будет 0 или выше.

Если же есть проблемы, тогда будет надпись «не определен».

На рис. ниже видно, что ТИЦ сайта – 10.

Индекс цитируемости стабилен с июля 2016 года, снижения не было.

4.2 Проверка количества страниц в индексе.

В Google 42 778 тыс. страниц, существенных спадов не было.

В Яндексе – 29 тыс. страниц.

5. Замечания и уведомления в панелях для вебмастеров

В панелях для вебмастеров, как правило, есть уведомления об ошибках или санкциях.

Фатальных ошибок в Яндекс.Вебмастере у проверяемого сайта не обнаружено.

Схожая картина в Вебмастере от Google:

Это означает, что никаких санкций против сайта вручную применено не было.

6. Проверяем скорость загрузки

Скорость загрузки ресурса – еще один важный показатель его работы, который может повлиять на индексацию.

Проверить можно при помощи сервиса: developers.google.com/speed/

Результаты проверяемого сайта:

Скорость загрузки:

• для ПК — 61 из 100,
• для мобильных устройств — 53 из 100.

Это говорит о том, что необходима оптимизация кода, изображений или исправление других критических ошибок, добавляющих нагрузку на сайте.

Проверка показала, что на каждой странице площадки есть ссылка на сайт worldssl.net.

Пример на скриншоте ниже:

Стоит добавить, что раньше уменьшал скорость загрузки страниц большой уровень вложенности, но на момент проведения проверки это уже было исправлено.

Однако, для обновления изменений в поисковых системах иногда нужно несколько месяцев.

Также на некоторых страницах присутствует пагинация, которую поисковые системы воспринимают как дубль. Возможно, подгрузка lazyload не всегда срабатывает корректно.

Для правильной работы пагинации следует внедрить HTML-атрибуты rel="next" и rel="prev" на вторую и все последующие страницы пагинации.

6. Проверка мета-тег

Было выявлено, что на некоторых страницах отсутствует description:

 

 

 

 

 

 

Итог проверки: В целом у проверяемого сайта нет какой-то конкретной проблемы, которая бы могла значительно ухудшить его индексирование поисковыми роботами.

Но найденные небольшие нюансы после отработки которых возможно улучшение ранжирования и, как следствие, большее количество посетителей.

Интересно узнать, а как у вас обстоят дела с индексированием страниц?