Страница обходится роботом но отсутствует в поиске что делать
Страница обходится роботом но отсутствует в поиске что делать
У меня несколько сайтов различного уровня и тематики.
В последний месяц столкнулся с проблемой слабой индексации новых статей.
Уникальный контент хорошо отформатированный от 2 до 3 тыс. символов, не переспамленный, копипластерами не сворованный.
При проверке через вебмастер выдает:
«Страница обходится роботом, но отсутствует в поиске»
Причем старые статьи не выпадают, это касается именной новых статей опубликованных за последние два месяца. Раньше всё было нормально.
2. Изменял форматирование, уровень вложенности, удалял внутренние ссылки на тех страницах где они были, делал перелинковку, добавлял уникальные фото. Положительной тенденции не заметил и пока не обнаружил какую-то взаимосвязь с общеизвестными факторами ранжирования.
Эксперименты проводил на 12-ти сайтах, на каждом публикуются от 5 до 100 статей в месяц, различной тематики и различными авторами. Слабая индексация меня тревожит и я не понимаю в каком направлении двигаться дальше.
Кто-нибудь сталкивался с этой проблемой?
Я сталкивался. Уже пол года 3к станиц вместо 20к у ИМ.
Платоны говорят следующее:
Спасибо за примеры. Мы проверили, Ваш сайт присутствует в поиске и находится пользователями, но некоторые его страницы действительно отсутствуют в выдаче, при этом никаких санкций на них не наложено. Дело в том, что наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в поисковую базу попадают наиболее релевантные документы ( http://help.yandex.ru/webmaster/yandex-indexing/excluded-pages.xml ).
В то же время наш робот помнит о других страницах сайта: если на них присутствуют ссылки, он периодически посещает их, и со временем они также могут быть включены в поиск. Однако гарантировать это мы не можем, поскольку решение принимается механизмами, которые действуют полностью автоматически.
Продолжайте работать над развитием Вашего ресурса бла бла бла.
Пока у меня только одна версия:
Яндекс не добавляет страницу в индекс пока по ней не будут зафиксированы переходы пользователей по внутренним или внешним ссылкам, т.е. если статью никто ни разу не прочитал, то зачем она нужна.
Других вариантов объяснения я не нашел.
Да тут полфорума с такой же проблемой. Общего решения пока нет.
У меня переходят на эти страницы, но их по прежнему нет в поиске.
Покажешь пациентов в личку?
коллега по несчастью 🙂
Чем больше активность на страничках, тем больше вероятность, что они попадут и останутся в индексе. Хотя какой-то четкой зависимости я не заметил.
Кстати я в это не верил, но на другой CMS тот же товар с теме же фотками и характеристиками лез на ура, по 3-4к страниц за апдейт.
Но из-за нюансов загрузки товара не можем использовать её.
Знакомая ситуация, такая же штука есть на сайте + каждый Ап выпадают страницу, а залетает 1-2 новых.
Аналогичная ситуация на белых и серых проектах. Во всех случаях контент чистый, оригинальный. На одном сайте материал/раздел не лезет в индекс ни под каким предлогом. На другом (равном) этот же материал на ура попадает в индекс с быстророботом и держится стабильно. И наоборот. Танцы с бубном не помогают. Вероятно, вправду «особенности алгоритмов.» 🍿
может быть они какой то порог конкуренции поставили.
по типу есть 500 страниц по 1 запросу, все больше не добавляют.
с такой же проблемой столкнулся
собрал около 1к ключей прогнал через мутаген и взял самые низкоконкурентные, все новые страницы удачно вошли.
Набор слов по корпусу и пассажи, скорее всего, уже есть в выдаче и Яндекс не видит, какую иную информацию страница может предоставить. Введите в контент пяток редких тематических слов, которых нет в выдаче или прилепите к документу пару инфографиков или видео какое, т е сделайте его отлИчным.
Основы внутренней оптимизации-индексация страниц сайта
Привет, дамы и господа! Определенную роль во внутренней оптимизации играют факторы, никак не связанные с контентом (назовем их неконтентными факторами). Одним из таких факторов является корректная индексация страниц сайта.
Необходимыми (но недостаточными!) условиями для попадания страницы в индекс являются следующие:
1. значение HTTP-статуса страницы, отдаваемого индексирующему роботу поисковой машины, должно иметь значение 200 ОК;
2. отсутствие запрета на индексацию данной страницы;
3. URL страницы должен быть известен поисковой машине.
Проверить HTTP-статус страницы «глазами» индексирующего робота и отсутствие запрета на ее индексацию в файле robots.txt можно в разделе «Проверка ответа сервера» Яндекс.Вебмастера, причем эта проверка производится только для тех сайтов, права на которые подтверждены в вашем аккаунте. В Инструментах для вебмастера Google для того, чтобы проверить, доступна ли конкретная страница сайта для индексации, можно воспользоваться режимом «Посмотреть как Googlebot» в разделе «Содержимое сайта». Запретить индексацию страницы можно несколькими способами:
1. с помощью файла robots.txt
2. с помощью специальных директив в HTML-тегах в коде страницы
3. изменяя настройки инструмента «Параметры URL» в разделе «Сканирование» Инструментов для вебмастера Google.
В файле robots.txt это можно сделать с помощью директив Disallow и Clean-param. Достаточно подробную справку по правилам составления файла robots.txt можно найти в разделе «Использование robots.txt» Помощи вебмастеру Яндекса и в разделе «Блокировка URL при помощи файла robots.txt» Справки Google.
Проверить корректность файла robots.txt можно в разделе «Анализ robots.txt» кабинета вебмастера Яндекса (причем, это можно сделать для любого сайта, а не только для тех, на которые подтверждены права) и в разделе «Инструмент проверки файла robots.txt» Инструментов для вебмастера Google (только для сайтов с подтвержденными правами).
Инструментов для вебмастера Google
Для того, чтобы индексирующий робот нашел данную страницу, достаточно одной ссылки на неё со станицы, которая уже есть в индексе поисковика. Также о новых страницах на сайте можно сообщать поисковой машине с помощью файла Sitemap (справочную информацию по нему можно найти в Помощи Яндекса и Справке Google).
Но даже, если робот узнает о странице и посетит ее, то еще не факт, что она попадет в индекс. Проверить, знает ли индексатор Яндекса о конкретной странице, и включена ли она в поисковую базу, можно в разделе «Проверить URL» Кабинета вебмастера Яндекса. Есть несколько вариантов ответов:
1. В данный момент адрес страницы неизвестен роботу
2. Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован.
3. Страница была проиндексирована роботом и присутствует в поиске
4. Страница обходится роботом, но отсутствует в поиске
5. Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся на вашем сайте страницы.
Первый вариант ответа говорит нам о том, что, во-первых, у индексатора нет информации о том, что данная страница существует. Поэтому необходимо убедиться, что поисковый робот видит данную страницу, и она отдает ему отклик 200 указанным выше способом, а также разместить ссылку на нее на какой-либо странице, уже ранее проиндексированной поисковой машиной. Также для того, чтобы сообщить о странице индексирующему роботу, SEO-специалисты используют размещение ссылок на нее в Твиттере. Более того, до недавнего времени информирование индексатора о новой странице через Твиттер считалось SEO-специалистами наиболее быстрым и надежным способом, позволяющим обеспечить попадание страницы в поисковый индекс Яндекса буквально за считанные дни. Однако в последнее время в профессиональных дискуссиях все чаще появляются сообщения, что этот способ перестает работать. Возможно, виной тому стали промышленные способы эксплуатации данного способа «загона страниц в индекс», и Яндексом были повышены требования к характеристикам аккаунтов, информацию из которых следует учитывать при поиске новых страниц. Также первый вариант ответа может возникать в случаях, когда страница запрещена к индексации в файле robots.txt.
Во-первых, страница может быть признана полным или нечетким (частичным) дубликатом уже имеющейся в индексе страницы (вариант ответа номер 5). Такое часто случается с однотипными страницами (например, номенклатурными единицами каталога продукции), которые отличаются друг от друга лишь незначительным по удельному объему текстом. В этом случае, необходимо повышать удельную долю уникального текста на страницах – расширять индивидуальное описание и по возможности закрывать от индексации текстовые элементы, общие для всех страниц данного типа (например, пункты меню, новостную ленту, фрагменты «шапки», «подвала» и т.п.)
Во-вторых, страница может иметь недостаточное количество статического веса. Например, она имеет достаточно глубокий уровень вложенности и имеет при этом сравнительное небольшое количество внутренних ссылок. Здесь можно посоветовать оптимизировать структуру сайта, уменьшая уровень вложенности информативных страниц, и плотнее их перелинковывая друг с другом. Также можно посоветовать использовать внешние ссылки с других сайтов.
В-третьих, сам сайт может иметь достаточно низкий уровень авторитетности в глазах поисковой машины. Неуникальный контент, примитивный дизайн, слабая посещаемость, малое количество внешних входящих ссылок, с таких же малоавторитетных ресурсов, злоупотребление платными ссылками и рекламой – вот типичный портрет целевой аудитории алгоритма серии АГС (подробнее смотри в моей статье https://www.searchengines.ru/articles/sergey_lyudkevich.html), который методично отправляет целые сайты в скрытый индекс.
Резюмируя, можно отметить, что проблема индексации сайта, конечно же, является не самой сложной из проблем современного SEO. Как правило, достаточно овладеть базовым справочным материалом по теме и тщательно следовать его рекомендациям. Однако с пренебрежением относиться к данному вопросу тоже не стоит, дабы неожиданно не столкнуться с неприятностями, которые могут существенно затормозить продвижение сайта.
Страница обходится роботом, но отсутствует в поиске в я.вебмастере. Как победить?
На сайте 50 тысяч страниц. Контент этих страниц спарсен и обновляется с открытых источников, структурирован для всевозможных поисков и вообще юзерам удобно. Тексты на страницах разные, на выходе получаются уникальными.
Как было пару месяцев назад:
— 5-10% страниц улетали сразу после первичного обхода роботом как недостаточно качественные (это ОК и не проблема);
— остальные страницы почти моментально залетали в индекс и в выдаче ссылки на сайт были с ярлычком «1 час назад», приятно радовало.
Что есть сейчас:
— небольшая часть страниц все так же улетает как некачественная (это ОК);
— 40% страниц залетает в индекс, но уже не так быстро, как раньше. В основном нахожу свои страницы в выдаче с пометкой «вчера» или «позавчера»;
— оставшаяся часть страниц висит в вебмастере со статусом «Страница обходится роботом, но отсутствует в поиске.» и в выдаче, понятно, отсутствует.
Вот с последней частью страниц у меня есть недопонимание: никакой доп инфы кроме «ответ сервера 200 ОК» и даты первого обхода для таких страниц не отображается.
Эти страницы висят неделями без изменения статуса. При этом в исключенных страницах в вебмастере они отсутствуют, зато присутствуют в страницах, которые робот обошел и скушал. И без единой ошибки, стоят в списке наравне с успешно проиндексированными и представленными в поиске.
Есть мнение, что если решить вопрос №1, то вопрос №2 самоликвидируется.
Страница обходится роботом, но отсутствует в поиске — как добавить сайт в поиск Яндекса?
Средний 1 комментарий
Эх, вспомню, когда работал км/маркетологом :).
Проверить, что сейчас находиться в индексе можно набрав в поисковой системe site:<название сайта>:
Это самый базис, который надо делать сразу после снятия запрета на индексирование. Дальше уже можно смотреть в сторону турбо-страниц и amp, создание микроразметки (op, schema).
robots не делал т.к. он нужен для закрытия страниц от интексации, насколько я понимаю.
Неправильно понимаете. Не буду копировать определение из гугла, если простыми словами: «этот файл нужен для того, чтобы объяснить поисковым роботам что можно индексировать, а что индексировать нельзя. Сам же файл файл состоит не только из одной директивы disallow, там есть и другие 🙂
sitemap нареканий со стороны яндекса.вебмастер не вызывает (добавил уже). Что посоветуете дописать?
Совет один, ознакомиться с рекомендациями составить правильно два файла. После этого проверить робот.тхт на ошибки, а сформированную карту сайта добавить в соответствующий раздел.
10 основных причин, по которым страница сайта может не находиться в индексе поисковых систем Яндекс или Google
Причина номер 1. Новая страница или новый сайт
Первая причина, это то, что поисковые роботы еще просто не нашли новую страницу вашего сайта. В зависимости от того, какой ваш сайт, переобход страниц может занимать от нескольких минут до нескольких недель.
Чтобы узнать, находится ли в индексе страница Вам необходимо воспользоваться сервисами вебмастера Яндекс или Google Search Console.
Если робот о странице еще не знает, вы увидите сообщение «Страница неизвестна роботу».
В новой версии Google Search Console вам нужен инструмент «Проверка URL». Если робот обошел и проиндексировал страницу, вы увидите уведомление «URL есть в индексе Google».
Если робот на странице еще не был, вы увидите сообщение «URL нет в индексе Google».
Причина номер 2. Страница или сайт закрыты от индексации в файле robots.txt
Существует специальный файл robots.txt, который позволяет указать роботам на то, какие страницы сайта должны быть в индексе поисковых систем, а какие страницы не должны быть включены.
Соответственно, если в файле прописаны запрещающие правила, в индексе поисковых систем данную страницу вы не найдете.
Как проверить, закрыта ли страница в robots.txt?
Важно! На данный момент эта вкладка находится в старой версии вебмастера!
Причина номер 3. Указан запрет в User-Agent
У поисковых систем есть свои требования к тому, как должен строиться файл robots.txt. И начинается он с приветствия. Приветствие может быть обращено к роботу яндекс, либо гугл, либо к обеим поисковым системам.
Часто для Яндекс и Google делают отдельные секции в файле robots.txt. А потом забывают вносить правки в эти секции. Из-за этого роботы потом некорректно начинают индексировать сайт.
Причина номер 4. Запрет на индексацию страниц указан в мета-теге robots.
Суть этого мета-тега такая же, как и у файла robots.txt, только если страница закрыта в robots.txt она все равно может быть проиндексирована поисковыми системами. Но если на странице используется noindex или none, страница не будет добавлена в индекс.
1. Проверить использование данного мета-тега на странице можно в коде (сочетание клавиш Ctrl+U)
2. С помощью дополнения для браузера, например seo meta
3. С помощью вебмастеров.
Причина номер 5. Некорректно настроенный атрибут rel=canonical.
Если rel каноникал настроен на другую страницу, то вы говорите поисковому роботу о том, что она схожа с другой станицей и первую страницу не нужно добавлять в индекс поисковых систем.
Также это можно увидеть в вебмастере Яндекс («Страницы в поиске»- «Исключенные страницы». Проверять необходимо статус «неканонические»).
Причина номер 6. Проблемы с ответом сервера
Для того, чтобы страница индексировалась, ее код ответа сервера должен быть 200 ОК. Если страница отдает ответ сервера 404 или 301, в индекс поисковых систем данная страница не попадет.
Проверять код ответа лучше всего с помощью вебмастеров, они показывают наиболее точные данные. А вот визуальной проверкой лучше не ограничиваться, так как бывают случаи, когда страницы выглядят корректно, но код ответа сервера не 200.
Причина номер 7. Проблемы с хостингом или сервером
Представьте, вы приходите в магазин, а он не работает. Потом снова приходите в магазин, но он все равно не работает. Какова вероятность того, что вы вернетесь туда? Вероятнее всего очень маленькая.
Тоже самое происходит и с поисковыми системами. Если он приходит на ваш сайт, а он не работает, то робот просто исключает страницы из индекса и не показывает их пользователям.
Правильно, зачем пользователей приводить на неработающий сайт.
Для того, чтобы отследить есть ли проблема, необходимо в вебмастерах проверять статус страниц. Если встречаются ошибки сервера 5хх (500, 503), а также если вам приходят уведомления из Яндекс.Метрики о том, что сайт не работает, необходимо решать данную проблему.
Причина номер 8. Проблемы со скоростью загрузки страниц
Как проверить? Начните с инструмента PageSpeed Insights от Google. Дополнительно можете использовать сервисы Google Аналитика и Яндекс.Метрика.
Совет! Важно проверять скорость загрузки для нескольких типов страниц и не останавливаться выполнив только одну проверку, т.е. выполнять данные работы периодически.
Причина номер 9. Проблема с уникальностью и полезностью контента
Поисковики уделяют большое внимание качеству контента, поэтому, если на странице расположен не полезный контент, либо же дублирующийся с другими страницами, такие страницы не добавляются в индекс поисковых систем.
Причина номер 10. Проблемы с AJAX
Если ваш сайт выполнен на технологии AJAX очень важно правильно выполнить требования поисковых систем, для того чтобы поисковые роботы смогли проиндексировать страницы вашего сайта.
Таким образом для каждой отдельной страницы должна быть своя HTML-версия.
И напоследок, дадим вам несколько советов, как ускорить индексацию:
Также смотрите наш видеоролик https://youtu.be/HF-2dd4luQY с помощью которого вы сможете найти ошибки у себя на сайте и запланировать работы по их исправлению.
Если вы хотите продвинуть свой сайт в ТОП поисковой выдачи, тогда записывайтесь на курс по SEO-продвижению