Обновлено 5 сентября 2020 года Полная статья по Google индексации ваших страниц. Основана на цитатах и рекомендациях Google. ОБЯЗАТЕЛЬНА К ПРОЧТЕНИЮ!
Как заставить Google сканировать и индексировать ваш сайт полностью
Частью SEO является обеспечение того, чтобы Google мог сканировать ваш сайт и индексировать все ваши основные страницы. Google иногда требователен к тому, какие страницы сайта он будет индексировать.
А если вам нужна помощь в seo вы можете обратиться к нам в Seo компанию.
Ознакомьтесь с новым отчетом по индексации в консоли поиска Google
Это наверняка станет бесценным дополнением к Google Search Console для некоторых крупных сайтов.
Если вы отправите файл XML-файла сайта в Консоль поиска, Google поможет вам лучше понять, почему некоторые страницы не проиндексированы.
Как видите, в 2020 году Google в своем приложение Google Search Console приложил все усилия, чтобы помочь вам выявить проблемы с индексацией на вашем веб-сайте. Н
Ниже в таблице описаны все где описаны все возомжные ошибки вашего сайта:
| Положение дел | причина | Проверка | тенденция | страницы |
| ошибка | Отправленный URL помечен как noindex | Начало | 5 | |
| ошибка | Ошибки сервера (5xx) | N / A | 0 | |
| ошибка | Отправленный URL заблокирован robots.txt | N / A | 0 | |
| ошибка | Представленный URL, кажется, Soft 404 | N / A | 0 | |
| не входит | Исключено тегом noindex | N / A | 81984 | |
| не входит | Страница с перенаправлением | N / A | 5982 | |
| не входит | Дубликат страницы без канонического тега | N / A | 4908 | |
| не входит | Просканировано – в настоящее время не проиндексировано | N / A | 2082 | |
| не входит | Обнаружено – в настоящее время не проиндексировано | N / A | +1520 | |
| не входит | Заблокировано robots.txt | N / A | 647 | |
| не входит | Альтернативная страница с правильным каноническим тегом | N / A | 201 | |
| не входит | Софт 404 | N / A | 147 | |
| не входит | Отправленный URL не выбран как канонический | N / A | 34 | |
| действительный | Индексируются, не представлены в карте сайта | N / A | 221004 | |
| действительный | Представлено и проиндексировано | N / A | 2144 |
Будет ли Google индексировать каждую страницу на вашем сайте?
Нет.
Некоторые URL-адреса не так важны для Google, некоторые являются дубликатами, некоторые содержат противоречивые инструкции по индексированию, а некоторые страницы низкого качества или даже являются спамом.
Важность уникального контента для вашего сайта
С точки зрения качества страницы дублированный контент (точнее, скопированный контент ) может быть показателем низкого качества.
Скопированный код, и раскрученный текст в нем также может быть еще одним индикатором низкого качества.
Если ваш сайт состоит из такого контента – он будет классифицирован как «некачественный» какой-то частью алгоритма Google:
- Учтите, если на вашей странице есть только индикаторы низкого качества – а у вас есть целая некачественная страница то в 2020 году – будет её полная остановка в выдачи.
- Ваш сайт состоит из таких страниц, значит, у вас некачественный сайт.
- У вас есть манипулятивные обратные ссылки или накрученные поведенческие факторы, то это рецепт катастрофы.
Низкокачественный контент на части веб-сайта может повлиять на рейтинг того же сайта
Есть хорошее видео о теории показателей качества Google . Вы должны смотреть это возможно вам понадобятся субтитры. Лучшая вещь, которая объяснена в видео, заключалась в том, что Moz имеет актуальный авторитет во всем мире для терминов «Google SEO», поэтому они могут так легко получить рейтинг «органического показателя качества».
Сегодня в 2020 году
Мы имеем дело с алгоритмами, разработанными для SEO в старом стиле, которые нацелены на то, что DOMAIN ‘REPUTATION’ плюс количество страниц равно как и количество ключевых слов и количество трафика Google.
Большой сайт не может просто, публиковать низкокачественный контент, к которым они привыкли – и рассчитывать только на первичный контент и органический поисковый трафик, это негативно скажется на важных страницах сайта.
Google, вероятно, каким-то образом использует пользовательские метрики для определения «качества» вашего сайта.
«Я имею в виду: вы бы порекомендовали вернуться к статьям, которые мы разместили давно? а если есть статьи, которые мы не обязательно считаем хорошими, мы просто убираем их и удаляем?»
Ответ был:
Удаление контента не всегда является оптимальным способом обработки МНОГИХ типов контента низкого качества – на самом деле это далеко не так. Удаление это последний вариант, если только страницы не являются «мертвым и глупым» контентом.
Любая очистка должна идти рука об руку с предоставлением Google того, что он оценит на вашем сайте, например НОВОГО высококачественного контента:
Вот этот совет тоже интересен. Это дает нам представление о том, как Google может на самом деле иметь дело с вашим сайтом:
Например (перефразируя!)
Если у вас большой сайт, некоторые части вашего сайта будут оценены Google как более полезные.
Улучшение качества вашего контента, безусловно, работает для улучшения трафика, как и интеллектуальное управление вашим контентом на сайте. Положительные результаты этого процесса не произойдут в одночасье.
Google вместе лучше справляется с рейтинговыми сайтами, которые отвечают их рекомендациям по «качеству» и «удовлетворенности пользователей»
- Каковы качественные характеристики веб-страницы?
- Какие характеристики демонстрируют страницы самого высокого качества?
- Какие сигналы низкого качества ищет Google?
- Страницы могут быть оценены как «среднее качество»
Если вы создаете контент для ведения блога, учтите следующее:
Не существует одного конкретного способа создания веб-страниц, которые успешно ранжируются в Google, но вы должны убедиться, что:
Если у вас есть оптимизированная платформа для публикации, высококачественный контент является областью взаимодействия с пользователями номер 1, на которой можно сосредоточиться на разных веб-сайтах для получения трафика от Google в 2020 году.
Если на вас влияют алгоритмы качества контента Google, вам следует сосредоточиться на «улучшении контента» на вашем сайте, а не на удалении контента:
Если вам нужна помощь в оптимизации содержания вашего сайта, мы можем предложить вам это как Услугу SEO. Если вы хотите узнать, как этого добиться сео продвижения то, читайте дальше.
Когда вы добавляете страницы на сайт, вы распределяете значение веса по всему сайту. А общий вес старых страниц и сайта становятся немного меньше».
Это заявление от Google невероятно важно:
Когда мы расширяем контент на вебсайте, мы очевидно, разбавляем и теряем ту «ценность», которая у вас уже есть?
.
Это также должно заставить веб-мастеров дважды подумать о типе «SEO-дружественного контента», который они публикуют.
Если ваши страницы низкого качества и вы добавляете на свой сайт больше страниц такого же качества, то общее значение низкого качества растет. А Google присваивает всему вашему сайту, низкое качество.
Это значение, вероятно, основано на релевантности контента и обратных ссылок (высококачественные обратные ссылки и опыт пользователей). Как правило, является показателем того, насколько хорошо вы поставляете ценность для посетителей Google.
Мы уже знаем, что некачественный контент в одной части вебсайта может повлиять на рейтинг других ключевых слов на других (даже высококачественных) страницах того же вебсайта.
При создании «SEO-дружественного» контента вы должны спросить себя:
- Будет ли этот новый «SEO-дружественный» контент собирать обратные ссылки?
- Будет ли этот новый контент полезным для ваших текущих посетителей сайта?
- Создается ли этот новый контент автоматически на многих страницах? Подумай дважды. Ожидайте, что вес будет как-то разбавлен.
- На сайте уже есть много некачественного контента? Разобраться с этим, во-первых, улучшив его. Избавьтесь от несвежего и ненужного контента.
- У меня есть ключевые слова, которые я хочу ранжировать на сайте? Получите их на страницах, которые у вас уже есть, без добавления ключевых слов и подготовьтесь к созданию высококачественного сайта ПЛЮС высококачественного контента (так как это 2 разных фактора) для таргетинга на конкретные ключевые фразы.
Эта концепция немного похожа на обратную версию Pagerank, примененную на сайте. Я полагаю, что в оригинальном сути Pages не «потеряли» PR (в общем смысле), они «пожертвовали» PR другим страницам. Чем больше страниц, тем больше пиара. Если мы думаем, что «ценность» – это новая оценка PR, то чем больше страниц вы добавляете на свой сайт, а все остальное остается прежним, тем меньше общая ценность у всего сайта.
Ваш контент «полезен для пользователей Google »?
Качество контента – это одна из областей, на которую следует обратить внимание, если вы хотите избежать понижения позиций в Google.
Цель этой статьи – охватить наиболее важные задачи написания «SEO-дружественного» текста и копии веб-страницы для Google в 2020 году. Качественный контент – это один из аспектов высококачественной страницы на высококачественном сайте.
Ваш контент должен быть полезен для пользователей Google.
Если вы используете партнерский сайт или имеете контент, который появляется на других сайтах, это становиться еще более важно.
Также нам очень важно еще одно мнение Google по этому вопросу:
Примером сайта «партнера » является сайт, на котором «описания и отзывы о товарах копируются непосредственно из оригинального продавца без какого-либо оригинального контента или добавленной стоимости» и «где большая часть сайта создана для присоединения и содержит ограниченное количество оригинального контента или добавленной стоимости для пользователей».
Google говорит нам, что «Хорошие партнеры повышают ценность, например, предлагая оригинальные обзоры продуктов, рейтинги, навигацию по продуктам или категориям и сравнение продуктов».
Google предлагает нам следующие советы при работе с сайтами с низким содержанием контента:
Цитаты Google: «Контент партнерской программы должен составлять лишь незначительную часть контента вашего сайта, если контент не добавляет дополнительных функций».
Цитаты Google: «Спросите себя, почему пользователь хотел бы сначала посетить ваш сайт, а не напрямую посетить первоначального продавца. Убедитесь, что ваш сайт добавляет значительную ценность помимо простой публикации контента, доступного у первоначального продавца».
Цитата Google: «Чем больше партнерская программа нацелена на контент вашего сайта, тем больше она добавит ценности и тем выше вероятность того, что вы станете лучше в результатах поиска Google».
Рекомендации Google: «Держите ваш контент актуальным и полным. Свежая информация по теме повышает вероятность того, что ваш контент будет сканироваться роботом Googlebot и на него будут нажимать пользователи».
Какие сигналы низкого качества ищет Google?
Цитируем: «Низкокачественные страницы не удовлетворяют требованиям или лишены какого-либо элемента, который мешает им хорошо достигать своей цели. Эти страницы испытывают недостаток в экспертизе или не очень заслуживают доверия / авторитетны для цели страницы. «Рекомендации по оценке качества Google, 2017»
Такие плохие сигналы Google включают, но не ограничиваются:
- Много спам-комментариев
- Контент низкого качества, в котором отсутствует сигнал (Экспертиза + Авторитет + Доверие)
- НЕТ Добавленная стоимость для пользователей
- Плохой дизайн страницы
- Обнаружены злонамеренные вредные или мошеннические действия
- Негативная репутация
- Сгенерированный контент
- Нет контактной информации на сайте
- Поддельная или неточная информация
- Ненадежный сайт
- Сайт не поддерживается на мобильном
- Страницы, созданные только для ссылки на другие
- У страниц нет цели
- Ключевое слово отсутствует или спам
- Неадекватные страницы
Обратите внимание, что ваши страницы тоже могут получить нейтральный рейтинг.
Страницы, на которых написано «Ничего плохого, но ничего особенного», не «отображают характеристики, связанные с Высоким рейтингом » и ставят вас в середину – вероятно, не самое подходящее место для победы. Вероятно это делается для того, чтобы через год или около того опустить их.
Каковы качественные характеристики веб-страницы?
Цитируем: «Высококачественные страницы удовлетворяют и хорошо достигают своей цели. «Рекомендации по оценке качества Google, 2017»
Ниже приведены примеры того, что Google называет «качественными характеристиками» страницы, и о них следует помнить:
- «Удовлетворительное или всеобъемлющее количество очень качественного» основного контента
- Уведомления об авторских правах в актуальном состоянии
- Функциональный дизайн страницы
- Автор страницы имеет тематический орган
- Качественный основной контент
- Положительная репутация или опыт веб-сайта или автора (Google определяет самостоятельно)
- Очень полезный ДОПОЛНИТЕЛЬНЫЙ контент, который подтверждается пользовательский опытом.
- Достоверный домен
- Точная информация
- Реклама может быть в верхней части вашей страницы, если она не отвлекает от основного контента на странице.
- Очень удовлетворительная контактная информация сайта
- Индивидуальные и очень полезные страницы ошибок 404
- Награды
- Доказательства экспертизы
- Внимание к деталям
Если Google может обнаружить ваши труды во времени и трудозатратах на вашем сайте – есть признаки того, что они вознаградят вас за это (или, по крайней мере, – вы не будете затронуты, когда другие пострадают от этого, то есть вы повыситесь в поисковой выдаче Google, когда другие упадут).
Алгоритмы Google Demotion нацелены на низкокачественный контент
Оптимизация (без улучшения) некачественного контента создает ловушки, которые определяются постоянно улучшающимися алгоритмами качества ядра Гугл.
Это означает, что «оптимизация» низкокачественных страниц в 2020 году значительно расширилась.
Оптимизация низкокачественных страниц без добавленной стоимости является самоубийственной. В 2020 году алгоритмы – и ручная оценка качества взялись за оценку вместе и с новой силой.
Если вы оптимизируете низкокачественные страницы, используя методы старой школы SEO, вы столкнетесь с некачественным алгоритмом (таким как Обновление качества или Google Panda).
Рассмотрим этот пример: большинству учеников приходится писать документы для старшей школы или колледжа. Многие студенты используют разные подходы для этого, чтобы сэкономить время и усилия, выполнив одно или несколько из следующих действий:
- Покупка в Интернете или поручение это крму-то, чтобы написать для них
- Придумывать и изобрести.
- Писать очень быстро, и очень много без черновиков или редактирования.
- Заполнение отчета большими картинками или другим отвлекающим контентом.
- Копирование всего отчета из энциклопедии или перефразирование контента путем изменения слов или структуры предложений здесь и там.
- Используя общеизвестные факты, например: «Аргентина – это страна. Люди живут в Аргентине. Аргентина имеет границы. Некоторым нравится Аргентина.
- Используя много слов, чтобы передать только основные идеи или факты, например: «Панды едят бамбук. Панды едят много бамбука. Бамбум это лучшая еда для медведя Панды. »
Google поощряет уникальность или наказывает за ее отсутствие.
Лучший способ сделать «SEO – копирайтинг » в 2020 году – отредактировать фактическую копию страницы, чтобы и добавить уникальный контент и повышать его точность, уникальность, актуальность, краткость и использование.
Низкокачественный контент не означает высокий рейтинг в Google.
Представитель Google недавно сказал, что Google Panda запрещает давайть рейтингам сайтов, которые не должны ранжироваться по определенным ключевым словам.
Когда Google опускает вашу страницу в поисках дублирующегося контента, и у вас не останется ничего, что могло бы удержать вас в рейтинге уникального контента – ваши веб-страницы будут в основном игнорироваться Google.
ПРИМЕЧАНИЕ. – Соотношение количества дублирующегося контента на любой странице может повредить вам, если у вас больше дублирующегося текста, чем уникального контента. Простая проверка страниц, страница на страницу, это все, что нужно для того, чтобы убедиться, что каждая страница ОТЛИЧАЕТСЯ (в отношении текста) от страницы к странице.
Если у вас есть большие разделы дублирующихся текстовых страниц на страницу – это проблема, на которую следует обратить внимание и устранить.
Важно отметить:
- Основное текстовое содержание на странице должно быть уникальным, чтобы избежать алгоритмов качества страницы Google.
- Подробный текст НЕ должен создаваться или вращаться автоматически
- Текст НЕ должен быть оптимизирован для шаблона, так как это просто создает отпечаток на многих страницах, который может быть интерпретирован как избыточный или манипулятивный шаблонный текст.
- Текст должен быть ОЧЕНЬ описательным, уникальным и лаконичным
- Если у вас много страниц для адресации, главный приоритет – создать УНИКАЛЬНУЮ пару параграфов текста, по крайней мере, для основного контента. Страницы не нуждаются в тысячах слов для ранжирования. Им просто нужно ВСТРЕТИТЬСЯ С УЧЕТОМ КОНКРЕТНОГО ПОЛЬЗОВАТЕЛЯ, а не ПОПРОБУТЬ ФИЛЬТРЫ «LOW_QUALTY». Страница с несколькими предложениями уникального текста все еще отвечает этому требованию 300 слов.
- Когда дело доходит до конкурирующих страниц конкурентов, вам придется посмотреть, что делает главная конкурирующая страница, когда речь идет о тексте основного контента. Скорее всего – у них есть какой-то уникальный текст на странице. Если они ранжируются по дублированному тексту, либо их ДОПОЛНИТЕЛЬНОЕ СОДЕРЖАНИЕ лучше, либо домен конкурента имеет больше РЕЙТИНГОВОЙ СПОСОБНОСТИ из-за ХОРОШИХ РЕЗЕРВНЫХ ССЫЛОК или ЛУЧШЕГО ОПЫТА ПОЛЬЗОВАТЕЛЯ.
- Обновление контента на сайте должно быть приоритетом, так как Google поощряет более свежий контент для определенных поисковых запросов.
Google Rates «Скопировано» Основное содержание «Самые низкие»
Это то место, где вы плывете вверх по течению в 2020 году. Скопированный контент не будет долгосрочной стратегией, когда вы создаете уникальную страницу лучше, чем страницы ваших конкурентов.
В последних Рекомендациях по оценке качества поиска Google , опубликованных 14 марта 2017 года , Google заявляет:
7.4.5 Скопированное основное содержимое
Каждая страница нуждается в уникальном контенте. Один из способов создать контент без времени, усилий и опыта – скопировать его из другого источника . Важное замечание: Мы не считаем, что законно лицензированный или синдицированный контент является «копируемым» (подробнее о веб-синдикации см. Здесь). Примеры синдицированного контента в США включают новостные статьи или новости.
Слово «скопированный» относится к практике «очистки» содержимого или копирования содержимого с других неаффилированных веб-сайтов без добавления какого-либо оригинального содержимого или значения для пользователей (дополнительную информацию о скопированном или удаленном содержимом см. Здесь).
Если все или большая часть контента на странице скопирована, подумайте о назначении страницы. Почему страница существует? Какое значение имеет страница для пользователей? Почему пользователи должны смотреть на страницу с скопированным контентом вместо исходного источника? Важно: наименьший рейтинг подходит, если все или почти все на странице скопированы с минимальными затратами времени, усилий, опыта, курированием вручную или добавленной стоимостью для пользователей.
Такие страницы должны быть оценены как самые низкие, даже если страница передает вес другому источнику.
7.4.6. Подробнее о копируемом контенте
Все следующее считается скопированным контентом!
- Контент копируется точно из идентифицируемого источника. Иногда копируется вся страница, а иногда копируются только части страницы. Иногда несколько страниц копируются, а затем вставляются вместе в одну страницу. Текст, который был скопирован точно, обычно является самым простым типом копируемого содержимого для идентификации.
- Контент, который копируется, но немного отличается от оригинала. Этот тип копирования затрудняет поиск точного соответствия оригинальному источнику. Иногда меняются только несколько слов, или целые предложения, или делается модификация «найти и заменить», где одно слово заменяется другим по всему тексту. Эти типы изменений сделаны намеренно, чтобы затруднить поиск оригинального источника контента. Мы называем этот тип контента «скопированным с минимальными изменениями».
- Контент, скопированный из изменяющегося источника, такого как страница результатов поиска или лента новостей. Часто вы не сможете найти точный исходный источник, если он является копией «динамического» содержимого (содержимого, которое часто изменяется). Тем не менее, мы все равно будем считать, что это скопированный контент. Важно: наименьший рейтинг подходит, если все или почти всё на странице скопированы с минимальными затратами времени, усилий, опыта, отредактированным с малой добавленной стоимостью для пользователей. Такие страницы должны быть оценены как Самые низкие, даже если страница передаёт вес другому источнику.
Помогите Google c индексом ваших страниц
Минимизируйте производство страниц для перелинковки, которые вы создаете на своем сайте
Получается, что вы делаете “страницы дорвеи ” и даже не знаете об этом?
Снизьте дублирующие страницы на своем сайте.
Вам нужно будет проверить, насколько работоспобна ваша CMS. Убедитесь, что она случайно не генерирует страницы с практически копируемым контентом (особенно если у вас есть реклама на них).
Ваш сайт должен создать правильные 404
Это предотвратит автоматическое создание тезнических страниц и поможет предотвратить негативные SEO-атаки.
Цитата: «Скажите посетителям, что страница, которую они ищут, не найдена. Используйте язык, который является дружественным и привлекательным. Убедитесь, что ваша страница 404 использует тот же внешний вид (включая навигацию), что и остальная часть вашего сайта. Подумайте о добавлении ссылок на ваши самые популярные статьи или посты, а также ссылки на домашнюю страницу вашего сайта. Подумайте о том, чтобы предоставить пользователям возможность сообщать о неработающей ссылке. Неважно, насколько красива и полезна ваша пользовательская страница 404, вы, вероятно, не хотите, чтобы она появлялась в результатах поиска Google. Чтобы предотвратить индексацию 404 страниц Google и другими поисковыми системами, убедитесь, что ваш веб-сервер возвращает фактический код состояния 404 HTTP при запросе отсутствующей страницы. Google, 2018
Заблокируйте функцию внутреннего поиска на вашем сайте.
Это предотвратит автоматическое создание страниц и поможет предотвратить негативные SEO-атаки.
Используйте канонизацию страниц правильно
Цитата: «Если ваш сайт содержит несколько страниц с практически одинаковым содержанием, существует несколько способов указать предпочитаемый вами URL для Google. (Это называется «канонизация».)» Google
Это поможет объединить сигналы на правильных страницах.
Используйте контроль за страницами.
Это поможет с проблемами дублирующего контента.
Используйте контроль индексации на страницах
На некоторых страницах вашего сайта может потребоваться мета-индекс.
Определите ваши основные ресурсы контента и улучшайте их вместо оптимизации некачественных страниц (которые будут добавлены в будущем обновлении алгоритма).
Как справиться с ошибками в отчете индексации Google Search Console
Как работать с уведомлениями «Отправленный URL-адрес, помеченный как noindex» и «Исключено тегом noindex» в консоли поиска
Задумайтесь, зачем вы создаете страницы и просите Google не индексировать их? Всегда есть лучший способ, чем индексировать страницы. Просмотрите страницы, которые вы создаете, и убедитесь, что они соответствуют правилам Google, например, не являются ли они дорвеями. Проверьте, есть ли технически лучший способ обработки страниц без индекса.
Как обрабатывать уведомления «Страница с перенаправлением» в консоли поиска
Почему в вашей карте сайта есть URL-адреса, которые перенаправляют? Это не идеально. Просмотрите и удалите перенаправления с карты сайта.
Что означает «проиндексировано, не представлено в карте сайта » в консоли поиска?
Это означает, что Google просканировал ваш сайт и нашел больше страниц, чем у вас есть в вашей карте сайта. В зависимости от количества указанных страниц это может быть не проблема или критическая проблема. Убедитесь, что вы знаете тип страниц, которые вы пытаетесь проиндексировать, типы страниц, создаваемые вашей CMS.
Как работать с уведомлениями «Дублирующаяся страница без канонического тега», «Альтернативная страница с правильным каноническим тегом» и « Отправленный URL-адрес не выбран как канонический » в консоли поиска
Посмотрите, как вы используете канонические элементы ссылок на сайте.
Как работать с уведомлениями «Сканирование с ошибками» в поисковой консоли:
Как справиться с Crawled – в настоящее время не индексируется:
Ответ: «Страница была просканирована Google, но не проиндексирована. Это может или не может быть проиндексировано в будущем; нет необходимости повторно отправлять этот URL для сканирования. ”
Если это не помоает то, это может быть проблемой. Вы должны проверить, включены ли страницы, которые вы хотите проиндексировать, в этот список URL. Если это так, это может свидетельствовать о проблеме качества страницы.
Прочтите в этой официальной статье полный список новых функций в отчете по индексации консоли поиска Google,
Сканирует ли Google карту сайта XML и сканирует ли всю карту сайта сразу после запуска?
Кто-то, у кого возникла проблема с индексацией веб-сайта, недавно задал вопрос в Google Hangout:
«Как часто Google сканирует карту сайта XML и сканирует ли всю карту сайта сразу после запуска ?»
Карта сайта XML является включающей, а не эксклюзивной.
Ответ Google: «файлы карты сайта помогают нам лучше понять веб-сайт и лучше выяснить, какие части веб-сайта необходимо пересмотреть, особенно если у вас есть такая информация, как дата последнего изменения, которая действительно помогает нам выяснить, какие из этих страниц новые или изменившиеся, которые необходимо пересмотреть». Джон Мюллер Google
На вашем сайте будут URL-адреса, которых нет в карте сайта XML, которую Google будет сканировать и индексировать. В вашем XML-файле сайта есть URL-адреса, которые Google, вероятно, будет сканировать, а не индексировать.
Вопрос: «если вы смотрите на карты сайта файлы в поисковой консоли у вас есть информация о том, сколько ссылок индексируются из этих карты сайта файлы важную роль здесь в том, что мы смотрим на точно URL, которые вы перечисляете в файле карты сайта, так что если мы Индексируйте URL с другим параметром или с другим верхним или нижним регистром или косой чертой в конце или нет, тогда все это имеет значение для этого файла сегмента, так что это может быть проблемой, посмотрите что там »Джон Мюллер 2017
и
Google: «В файле Sitemap мы в первую очередь фокусируемся на дате последней модификации, так что это то, что мы ищем и что мы видим, что мы просканировали эту страницу два дня назад, и сегодня она изменилась, поэтому мы должны пересмотреть ее сегодня мы не используем приоритет и не используем частоту изменений в файле карты сайта, по крайней мере, на данный момент в отношении сканирования, поэтому я бы не стал слишком фокусироваться на приоритете и частоте изменений, а на самом деле на более фактической информации о дате последнего изменения RSS-канал также хорошая идея с RSS, вы можете использовать pubsubhubbub, который способ получать ваши обновления еще быстрее в Google, поэтому использование pubsubhubbub, вероятно, является самым быстрым способом получения контента, где вы регулярно меняете вещи на своем сайте, и вы хотите, чтобы это как можно быстрее передавалось в Google, чтобы RSS-канал с pubsubhubbub был это действительно фантастический способ сделать это ». Джон Мюллер Google 2017
Кодировка: «поэтому файл карты сайта [XML] помогает нам понять, какие URL-адреса на вашем веб-сайте являются новыми или недавно изменились, поэтому во втором файле вы можете указать дату последнего изменения, и с этим мы можем отчасти судить, как нам нужно сканировать. Далее, чтобы убедиться, что мы не уступаем в индексации вашего веб-сайта, поэтому, если у вас есть существующий веб-сайт, и вы отправляете файл карты сайта и в файле карты сайта есть реалистичные даты изменения, то в идеальном случае мы рассмотрим и скажем: «О, мы знаем о большинстве этих URL-адресов, и вот несколько URL-адресов, о которых мы не знаем, поэтому мы переходим и сканируем эти URL-адреса. Это не тот случай, когда отправка файла Sitemap заменит наш обычный просмотр», по существу просто добавление s к существующему сканированию, которое мы делаем». Джон Мюллер 2017
Могу ли я поместить свой файл Sitemap в отдельные файлы меньшего размера?
Да.
Рекомендации: «Еще одна вещь, которая иногда помогает, – это разделить файлы карты сайта на отдельные куски логических блоков для вашего сайта, чтобы вы лучше понимали, где страницы не индексируются, а затем вы можете видеть, не были ли проиндексированы продукты или категории не индексируется, а затем вы можете детализировать все больше и больше и выяснить, где могут возникнуть проблемы. Скажу, что мы не гарантируем индексацию, просто потому, что файл карты сайта имеет несколько URL-адресов. А это не значит, что мы будем индексировать все из них. Нам просто нужно помнить, но, очевидно, вы можете попытаться немного сузить круг для нас, и может это улучшит ситуацию ». Джон Мюллер, 2017
URL естественно важен в карте сайта XML. Единственная другая карта сайта XML, о которой вы действительно должны беспокоиться – это DATE
LAST MODIFIED. Вы можете игнорировать атрибут FREQUENCY:
Кодировка – «мы не используем это вообще… Но мы используем только дату в файле карты сайта [XML]» Джон Мюллер, Google 2017
Сколько раз в неделю обновляются данные статуса индекса в поисковой консоли?
Следует ли использовать файлы Sitemap с последним изменением содержимого с истекшим сроком действия?
Страницы с истекшим сроком можно быстро подобрать, если вы используете дату последнего изменения
Почему Google не сканирует и не индексирует XML-карту моего сайта полностью?
Ответ: «Мы не гарантируем индексацию. Так что только то, что что-то есть в файле карты сайта, не является гарантией того, что мы на самом деле его проиндексируем. Это совершенно нормально, что мы на самом деле не индексируем все эти страницы… Что даже если вы делаете все технически правильно, нет гарантии, что мы на самом деле все проиндексируем. Джон Мюллер, 2018
Я посмотрел на многих сайтах с такими проблемами индексации. По моему опыту, наиболее распространенными причинами плохого уровня индексации карты сайта на сайте с тысячами или миллионами страниц являются:
- страницы дорвеии
- технические страницы
Страницы, которые почти гарантированно попадают в индекс Google, имеют одну общую особенность: они содержат уникальный контент.
Короче говоря, если вы создаете страницы с для перелинковки без уникального контента, Google не будет индексировать их все должным образом. Если вы неряшливы и также создаете дубли и технические страницы на сайте, Google точно не вознаградит вас за такое поведение
Цитата: «Что касается того, что страницы продукта интернет магазина не индексируются в Google. Это, может быть, по сути, просто работает так, как задумано, когда мы просто не индексируем все их с любого веб-сайта в интернете. Я думаю, что для большинства веб-сайтов, если вы зайдете в раздел карты сайта или в раздел индексации, вы увидите, что мы индексируем только часть всего содержимого сайта. Я думаю, что для любого нетривиального сайта индексация всего контента была бы очень большим исключением, и я был бы очень удивлен, увидев это. Джон Мюллер, Google 2017
Google вознаграждает (в 2020 году) меньший сайт с хорошими, глубокими страницами, намного больше, чем крупный сайт с миллионами более дублирующих страниц.
Возможно, Google сможет определить, сколько уникального текста есть на конкретном сайте и взвесить этот показатель в зависимости от количества страниц, создаваемых этим сайтом. Кто знает.
Важный вывод: «В любом случае, почему Google позволяет миллионам ваших автоматически сгенерированных страниц ранжироваться?»
Цитата Google: «действительно создайте что-то полезное для пользователей в отдельных местах, может быть, у вас есть что-то уникальное, что вы можете добавить туда, что делает его не просто перелинковкой». Джон Мюллер, Google 2017
Google не индексирует URL-адреса в вашем файле Sitemap?
Создание новых файлов Sitemap не поможет!
Маловероятно, что изменение одних только ваших XML-карт сайта приведет к тому, что на вашем сайте будет проиндексировано больше страниц, если причина, по которой URL-адреса не индексируются в первую очередь, связана с их качеством:
ВОПРОС: «У меня есть 100 URL в XML-карте сайта. 20 проиндексированных и 80 неиндексированных. Затем я загрузил еще один XML-файл сайта, содержащий неиндексированные 80 URL-адресов. Так же URL-адреса в нескольких картах сайта. Это хорошая идея и тактика? Это может быть вредно или полезно для моего сайта?»
Большинство ссылок в вашем XML-файле Sitemap должны быть каноническими, а не перенаправлять
Google хочет получить конечные целевые URL, а не ссылки, которые перенаправляют в другое место.
Цитата : «В целом, особенно, для целевых страниц…. мы рекомендуем использовать конечный целевой URL-адрес в файле карты сайта, отчасти это объясняется тем, что мы можем явно указывать эти URL-адреса в поисковой консоли…. и вы можете посмотреть информацию об индексировании только для этого файла карты сайта, которая основана на точных URL-адресах, которые у вас есть. Другая причина, по которой мы рекомендуем это делать, заключается в том, что мы используем URL-адреса файлов Sitemap для того, чтобы понять, какой URL-адрес должен быть каноническим для фрагмента контента, поэтому URL-адрес должен отображаться в результатах поиска, а также, если файл карты сайта говорит один URL и он перенаправляет на другой URL, тогда вы даете нам противоречивую информацию». Джон Мюллер, Google 2018»
Комментарий: «На самом деле это дата последнего изменения некоторых из этих URL-адресов, потому что с этой даты мы можем выяснить, нужно ли нам вызывать эти URL-адреса, чтобы выяснить, что нового или что отличается в этих URL-адресах, или это старые URL-адреса. О которых в основном мы, возможно, уже знаем и приняли решение их не индексировать, поэтому я бы порекомендовал сделать там файл XML-карты сайта с датами с датами последнего изменения, просто чтобы убедиться, что у Google есть вся информация, которую он может получить. Джон Мюллер, Google 2018
Иногда неканонические версии ваших URL индексируются вместо основных
Ответ: «Я бы порекомендовал сделать там двойную проверку этих URL-адресов и двойную проверку того, как они на самом деле проиндексированы в Google. Так что может случиться так, что мы на самом деле не индексируем URL-адрес, как вы указали в файле карты сайта. А скорее всего это немного другая версия, которая, возможно, связана на вашем веб-сайте, как я уже упоминал, до того. Такое очень часто встречается, и она не соответствует WWW (версия) – все это технически разные URL-адреса. И мы не будем считать это для карты сайта как индексируется, если мы проиндексируем его с немного другим URL.
Google не может индексировать все страницы на вашем сайте.
Каков максимальный размер файла XML Sitemap?
Ответ: «Мы поддерживаем 50 мегабайт для файла карты сайта, но не все остальные поисковые системы поддерживают 50 мегабайт. Поэтому в настоящее время мы просто рекомендуем придерживаться ограничения в 10 мегабайт», – Джон Мюллер, Google 2014
Google хочет знать, когда обновляется содержание основной страницы, а не когда изменяется содержимое дополнительной страницы – если содержание существенно изменяется, это важно. Если контент, основной контент, не меняется, я бы не стал его обновлять.
Почему количество проиндексированных URL-адресов в консоли поиска уменьшается?
Google, вероятно, решил, что вы создаете страницы типа перелинковки без добавленной стоимости.
Цитата: «Алгоритм Panda может по-прежнему показывать такой сайт для более конкретных и очень релевантных запросов, но его видимость будет снижена для запросов, в которых польза владельца сайта непропорциональна выгоде пользователя. Google
Качество страницы и качество сайта
Google измеряет качество для каждой страницы, а также рассматривает весь сайт в целом (при этом качество отдельных страниц зависит от качества всего сайта).
Google «хочет», чтобы вы улучшили индексированный контент, чтобы улучшить показатели качества вашего сайта.
