Как ускорить индексацию сайта в Яндексе и Google

Хотите ли вы получать больше поискового трафика на свой сайт? Готовы поспорить, что да, все мы стремимся к этому!

Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса в целом. Согласно некоторым исследованиям, около 33% трафика вашего сайта можно отнести к поисковому.

Подписывайся на наш Телеграм канал и узнавай все самое интересное первым!

Но статистика не имеет большого значения, если ваш сайт вообще не отображается в выдаче поисковых систем. Как сделать так, чтобы ваш новый ресурс или блог проиндексировали Яндекс, Google, Bing и другие поисковые системы? Что ж, у вас есть два варианта.

Можно использовать подход «черепахи» – просто сядьте и подождите, пока это произойдет естественным образом, однако это может занять недели или даже месяцы. Или вы можете начать действовать прямо сейчас, применив наши сегодняшние советы на деле.

Не знаем, как вы, но мы думаем так: чем скорее будут проиндексированы ваши сайты – тем лучше. Начнем!

Зачем нужно индексировать свой сайт

Здесь ответ очевиден. Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.

Однако недостаточно проиндексировать его только один раз. Вам нужно, чтобы поисковые системы продолжали индексировать ваш сайт и в дальнейшем.

Поисковые системы, такие как Google, не обновляются автоматически. Они полагаются на «пауков» – маленькие кусочки компьютерного кода, которые каждая поисковая система отправляет, чтобы «сканировать» сеть (отсюда и «паук»). Вам нужна эффективная и частая скорость сканирования.

Задача паука – искать что-то новое в сети и обновлять уже проиндексированную версию вашего сайта. Этим «новым материалом» может выступать новая страница на существующем сайте, изменение какой-либо страницы или совершенно новый сайт или блог. Как только паук находит новый ресурс или раздел, ему необходимо выяснить, о чем этот новый ресурс или страница.

Раньше системы поисковиков были далеко не такими умными, как сегодня. Вы можете заставить алгоритмы проиндексировать и ранжировать вашу страницу только на основе того, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице. И чтобы достичь успеха сегодня, нельзя полагаться на старые стратегии поисковой оптимизации.

Ключевое слово даже не обязательно должно быть в «теле» самой страницы. Многие люди оценивали бренд своего крупнейшего конкурента, просто вставляя десятки вариаций этого бренда в мета теги страницы.

Сегодня же за наполнение ключевыми словами и мета тегами вы будете наказаны, а не вознаграждены. А мета теги ключевых слов на самом деле вообще не являются частью алгоритма (хотя все же есть веские причины для их использования).

Если вы не будете осторожны, вы можете полностью исключить свой сайт из индекса, а это значит, что ваш сайт вообще не будет ранжироваться по каким-либо ключевым словам.

В наши дни Google гораздо больше озабочен общим пользовательским опытом на вашем сайте и намерением, стоящим за поиском, т.е. хочет ли пользователь что-то купить (коммерческое намерение) или чему-то научиться (информационное намерение)?

Не поймите нас неправильно – ключевые слова по-прежнему имеют значение. По словам Брайана Дина из Backlinko, важны и другие факторы – всего их до 200. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и валидный код на всех ваших страницах.

Проще говоря, индексирование – это способ паука собирать и обрабатывать все данные со страниц и сайтов во время их обхода по сети.

Итак, какие факторы индексации имеют значение?

Вам нужен эффективный индекс для вашего сайта. Это означает, что вы хотите, чтобы системы поисковиков как можно быстрее находили свежий контент после того, как вы его опубликовали.

Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console. В нем нажмите на свой веб-сайт. Затем кликните Сканирование -> Статистика сканирования. Вы увидите несколько таких графиков:

Первый график – синий. Показывает, как часто Google сканирует ваш сайт. Он, как вы видите, имеет тенденцию к росту.

Однако в некоторых случаях слишком большая скорость сканирования может перегрузить ресурсы вашего сервера. Обычно это результат неправильной конфигурации сервера, а не проблемы с системами Google. Случается очень редко, поэтому вам, вероятно, не стоит об этом беспокоиться.

Зеленая диаграмма отображает время загрузки вашего ресурса. Чем быстрее загружается ваш сайт, тем быстрее Google сможет его проиндексировать!

Гугл и Яндекс хотят рекомендовать своим пользователям лучшие веб-сайты. Он ищет те ресурсы, которые удобны для пользователей.

Проще говоря:

Более быстрый сайт = положительный пользовательский опыт.

Положительный пользовательский опыт = более высокий рейтинг в результатах поиска.

Как ускорить индексацию сайта в Google

1. Проиндексирован ли ваш сайт?

Если вы не создаете совершенно новый ресурс, он, вероятно, уже проиндексирован, и вот как это можно узнать.

Самый простой способ проверить это – выполнить поиск по модели: site: yourdomain.com в Google. Если Google знает, что ваш сайт существует и уже просканировал его, вы увидите список результатов, аналогичный тому, который был показан для cpalive.pro на скриншоте ниже:

Если Google еще не нашел ваш сайт, вы не получите никаких результатов, например:

Ваш сайт уже проиндексирован? Это прекрасно, но, вероятно, можно еще кое-что доработать. Остальные шаги этого руководства помогут вам убедиться, что ваш сайт проиндексирован в полной мере.

2. Установите и настройте Google Analytics и Search Console

Консоль поиска Google (ранее известная как Инструменты Google для веб-мастеров) позволяет отслеживать различные аспекты вашего веб-сайта, такие как время последнего сканирования, любые ошибки индексации, проблемы с безопасностью и т.д.

Search Console также позволяет вам управлять некоторыми ключевыми факторами вашего появления в результатах поиска и вручную отправлять карты сайта.

Но сначала давайте все настроим. Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.

Как только вы войдете, вы увидите этот экран – щелкните «Зарегистрироваться».

Введите имя и URL-адрес своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.

Теперь перед вами отобразится следующая страница. Без паники!

Есть несколько способов установить Google Analytics на свой сайт

Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху. В нашем случае это UA-98962030-1 (У вас он будет свой. И это не наш настоящий идентификатор для отслеживания).

Плагин Google Analytics от MonsterInsights для WordPress очень прост в настройке.

Просто скачайте его, загрузите плагин в WordPress, активируйте, и вы увидите эту страницу.

Нажмите синюю кнопку «Аутентифицировать», и она перенаправит вас дальше.

Чтобы настроить плагин, у вас должен быть уже создан профиль Google Analytics, что мы и сделали выше. Если вы не используете WordPress или хотите добавить код Analytics вручную, читайте дальше, чтобы это сделать.

Вам нужно поместить этот код (в красном поле) на каждую страницу вашего сайта.

Самый простой способ сделать это – создать один файл (с расширением .php) и поместить в него код от Гугла, а затем прилинковать его к каждой из страниц вашего веб-сайта. Сделать это можно с помощью следующего кода:

<? Php include_once («созданный_файл.php»)?>

И не забудьте потом обновить информацию на своем сервере, то есть повторно загрузить все страницы, в которые вы внесли изменение.

Теперь, когда у нас настроена аналитика, пора добавить наш веб-сайт в Google Search Console.

Войдите в свою учетную запись Google. Вы увидите этот экран:

Введите URL своего веб-сайта.

Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это. По умолчанию он может показать вам вариант подтверждения через ваш веб-хостинг.

Щелкните на раскрывающийся список, чтобы найти поставщика имени домена. Если вашего нет в списке, вы можете нажать «Другое» (внизу).

Затем Search Console попросит вас создать запись TXT, что потребует изменения конфигурации вашего домена.

Здесь можно почитать детальнее о том, как это делается.

После того, как вы добавили в Search Console, вам нужно установить предпочтительный домен. Для этого нажмите на свой сайт в Search Console. В правом верхнем углу щелкните значок шестеренки и выберите «Параметры сайта».

Выберите, хотите ли вы, чтобы ваши URL-адреса отображались с префиксом www. или без.

3. Начните вести блог

Зачем нужен блог? Все просто: контент блога сканируется и индексируется быстрее, чем статические страницы.

Блоги также привлекают больше трафика. Компании, которые делятся контентом от своего имени, регулярно привлекают на свои сайты на 55% больше посетителей, чем те, которые этого не делают.

А ведение блогов работает для любого бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей – даже для сайтов B2C и электронной коммерции.

Не бойтесь вести блог. Да, это требует постоянных усилий. Вы должны регулярно писать (или передавать на аутсорсинг) качественные и подробные статьи. Но эффект, который вы получите, поверьте, того стоит.

Вам не нужно публиковать записи каждый день, хотя 82% маркетологов, которые ведут блог ежедневно, сообщают, что получают клиентов благодаря своим статьям.

Если у вас есть сайт электронной торговли, ведение блога не должно быть чем-то ужасно сложным или трудным.

Например, когда вы создаете страницу нового продукта, напишите и опубликуйте статью в своем блоге. Добавьте качественные изображения продукта и ссылку на страницу с покупкой. Это помогает поисковым системам быстрее индексировать страницу товара.

Еще одна отличная стратегия ведения блога для электронной коммерции – писать пост каждый раз, когда покупатель задает вам вопрос.

А для большей стратегии, ориентированной на продажи, поделитесь ссылкой на этот пост в блоге с другими блоггерами и влиятельными лицами. Возможно, они захотят разместить ваш продукт в своих блогах, что, опять же, является отличным источником трафика, что положительно повлияет на вашу скорость сканирования.

4. Используйте внутренние ссылки на своем веб-сайте

Внутренние ссылки, то есть ссылки на страницы вашего собственного веб-сайта, – еще один отличный способ быстро проиндексировать сайт и повысить его позицию в обычных результатах поиска.

Одним из очевидных источников внутренних ссылок является навигация по вашему сайту. Важно структурировать навигацию по сайту таким образом, чтобы это было понятно для Google.

Ваша навигация должна следовать предсказуемому потоку, например, Домашняя страница -> Категория -> Дополнительная страница. Очевидно, что все элементы должны быть связаны.

Еще одним ключевым фактором является правильная структура ваших URL-адресов. Эмпирическое правило Google – сделать их максимально простыми и понятными.

Также отличный способ ссылаться на ваш контент – посты в блогах. Это создает ссылки, которые заставляют алгоритмы Google возвращаться и сканировать эти страницы снова. Кстати, это положительно влияет на пользовательский опыт.

Кроме того, всегда следует помнить об удобстве использования. Этот фактор идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить своим пользователям наилучшие результаты и дать им ответы на вопросы, которые они ищут.

5. Поощряйте публикацию вашего контента в социальных сетях

Естественно, побуждать людей делиться вашим контентом в социальных сетях – это хорошо. Совершенно уверены, что нам не нужно убеждать вас в этом!

Но публикация ваших публикаций в социальных сетях также имеет преимущества для SEO, поскольку создает обратные ссылки на ваш контент. И это, если вы внимательно читали, позволяет паукам Google проиндексировать ваш сайт!

В настоящее время ведутся споры о том, насколько ссылки в социальных сетях влияют на ранжирование в органическом поиске. В Google смешанные заявления по этому поводу. Они поделились, что сначала в 2015 году они вообще не учитывали посты в социальных сетях для ранжирования в органическом поиске, а позже заявили, что все-таки это сделали.

«Да, мы используем это как сигнал в нашем органическом рейтинге и рейтинге новостей. Мы также используем его, чтобы сделать наши новости универсальными, отмечая, сколько людей поделились статьей». говорит Google в SearchEngineLand.com.

Bing, с другой стороны, очень четко дал понять, как он использует ссылки социальных сетей в рейтинге результатов поиска, известные как «социальные сигналы».

Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, и это стоит принять к сведению.

6. Создайте каналы в социальных сетях

У вас есть профили в социальных сетях для вашего нового сайта или блога? Если нет, то сейчас самое время их создать. Зачем? Потому что один из компонентов поисковой оптимизации обращает внимание на социальные сигналы. Эти сигналы могут потенциально побудить поисковые системы сканировать и индексировать ваш новый сайт. Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.

К настоящему времени очевидно, что надежный маркетинговый план в социальных сетях помогает SEO. Профили Twitter, страницы Facebook, профили LinkedIn или страницы компаний, аккаунты Pinterest, каналы YouTube и прочее – все это легко создать, и это идеальные места для добавления ссылок, ссылающихся на ваш веб-сайт.

Если вы не хотите создавать новые аккаунты в социальных сайтах для своего нового сайта или блога, вы также можете просто добавить ссылку нового сайта в существующие профили, чтобы увеличить скорость сканирования. Однако мы настоятельно рекомендуем создавать новые профили для проектов. Помимо того, что это хорошо для SEO, это также отлично подходит для брендинга.

И, как вы уже могли догадаться, если вы создаете профили в социальных сетях, будьте готовы регулярно обновлять их, добавляя новый контент.

7. Используйте robots.txt

Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл с именем «robots.txt» в файлах своего домена и задавались вопросом, что это такое, и для чего он нужен.

Это обычный текстовый файл, который должен находиться в корневом каталоге вашего домена. Если вы используете WordPress, он будет в корневом каталоге вашей установки WordPress.

По сути, robots.txt – это файл, который дает строгие инструкции для роботов поисковых систем о том, какие страницы они могут сканировать и индексировать.

Когда поисковые роботы находят этот файл в новом домене, они читают инструкции в нем, прежде чем делать что-либо еще. Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.

Теперь вы можете спросить: «С какой стати мне нужно, чтобы поисковые системы не индексировали страницу на моем сайте?» Это хороший вопрос!

Если коротко, это потому, что каждую страницу, которая существует на вашем сайте, следует учитывать как отдельную страницу для поиска. Подробнее об этом позже!

Ваш первый шаг – убедиться, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо по FTP, либо щелкнув свой файловый менеджер через CPanel (или аналогичный, если ваша хостинговая компания не использует CPanel). Если его там нет, вы можете легко создать его с помощью обычного текстового редактора, такого как Блокнот.

Примечание. Очень важно использовать только простой текстовый редактор, а не что-то вроде Word или WordPad, которые могут вставлять в ваш документ невидимые коды, ибо они могут все испортить.

Блогеры WordPress могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как плагин Yoast SEO.

Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который представляет собой просто имя поискового бота – например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве идентификатора подстановочного знака для всех ботов. Этот тип плагина WordPress – эффективный инструмент для веб-мастеров.

Далее идет строка команд Allow или Disallow. Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие – игнорировать («Запрещать»).

Эти правила гарантируют, что только те страницы, которые вы хотите проиндексировать, попадут в результаты поиска.

Итак, напомним: функция robots.txt заключается в том, чтобы сообщать поисковым системам, что им делать с содержанием/страницами вашего сайта. Но помогает ли это проиндексировать ваш сайт?

Вообще, да. У некоторых получалось проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая robots.txt и методы SEO на странице.

При этом важно быть очень осторожным при редактировании файла robots.txt, потому что легко допустить ошибку, если вы не знаете, что делаете.

Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как правильно редактировать файл robots.txt, чтобы предотвратить снижение скорости сканирования.

Как вариант, нанять опытного разработчика, который позаботится о работе, если вы не хотите рисковать навредить вашему SEO. Если вы действительно хотите попробовать это самостоятельно, вы можете использовать инструмент Google robots.txt, чтобы убедиться, что ваш файл правильно закодирован.

8. Поделитесь своим контентом на агрегаторах

Агрегаторы контента – это веб-сайты, которые действуют как поисковая система для контента, отправленного пользователями. Это означает, что люди заливают свой контент на эти сайты, а затем другие посетители могут искать и находить контент от людей со всего мира. Это огромные сети доступного для поиска контента.

Хорошо известные примеры – Reddit и Medium. Размещение вашего контента в агрегаторах – отличный источник ссылок и новых контактов, как и социальные сети.

Вот некоторые другие агрегаторы, с помощью которых вы можете делиться своим контентом:

Quora;
Slideshare;
BlogEngage;
Digg.

Как ускорить индексацию сайта в Яндексе

Те способы, которые мы рассматривали выше на примере с Гуглом, также можно использовать и для Яндекса. Однако сейчас мы дадим вам еще несколько бонусных советов!

1. Повысьте качество внутренней СЕО-оптимизации

Попробуйте обратить внимание на сам ресурс. Неполадки во внутренней оптимизацией способны серьезно затруднить индексацию. Что же для этого нужно?

Создайте HTML карту ресурса. Сделайте одну независимую страницу, где будут находиться линки на все важные разделы сайта. Во-первых, это облегчит посетителям перемещение по ресурсу, а во-вторых поможет роботам быстрее проиндексировать ваш сайт.

Кстати, с Гуглом вопрос обстоит спорно: разработчики системы рекомендуют качественнее работать над структурой ресурса, тогда востребованность в HTML карте пропадет. Но от Яндекс похожих высказываний еще не было, поэтому делайте по принципу «лишним не будет». Так еще и это можно сделать за несколько минут дефолтными инструментами CMS или с помощью некоторых расширений.

Посмотрите ответы сервера. Ваш сервак при обращении поисковых алгоритмов должен посылать код 200 (если такой раздел есть) и код 404 (если такого раздела нету). Причём время отклика играет важную роль: если ответ не приходит в течение 1,5-2 секунды – бот может уйти с вашего ресурса. Посмотреть отклик сервера вы можете в Яндекс.Вебмастере во вкладке Инструменты / Проверка ответа сервера.

Используйте на своем сайте только уникальный контент. Если вы полностью копируете статьи и другой контент с каких-либо сайтов, то нормального индексирования можете не ждать. Поисковые системы считают данный материал повторяющимся и не несущим полезности для людей.
Избавьтесь от дублей на ресурсе. Повторения делают не только не комфортную работу для вебов, но и снижают рейтинг ресурса в глазах поисковых систем. Убрать их вы можете при помощи настройки 301 редиректа, указания канонических разделов, через robots.txt.

2. Применяйте пинг-сервисы

Благодаря пинг-сервисам у вас получится уведомить поисковики о добавлении новых разделов на ресурсе. В сети на данный момент можно найти огромное количестве данных сервисов, и кто-то задействует сразу все. Так делать не надо. В этой ситуации принцип «лишним не будет» неактуален. Достаточно будет 5-7 инструментов: