Как заставить Google и Yandex сканировать и индексировать ваш сайт

Обновлено 1 декабря 2020 года. Это полная статья по Google индексации ваших страниц. Статья основана на цитатах и рекомендациях Google. ОБЯЗАТЕЛЬНА К ПРОЧТЕНИЮ!

Как заставить Google сканировать и индексировать ваш сайт полностью

Частью SEO продвижения является обеспечение того, чтобы Google мог сканировать ваш сайт и индексировать все ваши основные страницы. Google иногда требователен к тому, какие страницы сайта он будет индексировать.

Google не индексирует ваши страницы?

Валентин

SEO специалист

Если у вас есть проблема с индексацией веб-сайта и вы хотите, чтобы ваши страницы были проиндексированы в Google. И плюсом вы стали получать большое количество трафика из Google. То перед вами наверное одно из самых полных руководств в интернете. Информация описанная в этой статье основана на официальных ответах, самого главного специалиста по поисковой оптимизации Google. Читайте дальше.

А если вам нужна помощь в seo вы можете обратиться к нам в Seo компанию.

Ознакомьтесь с новым отчетом по индексации в консоли поиска Google 

Это наверняка станет бесценным дополнением к Google Search Console для некоторых крупных сайтов.

Если вы отправите файл XML-файла сайта в консоль поиска, Google поможет вам лучше понять, почему некоторые страницы не проиндексированы и укажет вам на ошибки.

Как видите, в 2020 году Google в своем приложение Google Search Console приложил все усилия, чтобы помочь вам выявить проблемы с индексацией на вашем веб-сайте.

Ниже в таблице описаны все возможные ошибки вашего сайта:

Будет ли Google индексировать каждую страницу на вашем сайте?

Нет.

Главный специалист поисковый выдачи Google:

Джон Мюллер

эксперт поисковой выдачи Google

«Мы никогда не индексируем все известные URL, и это нормально. Я бы сфокусировался на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда обычно все получается гораздо лучше».

Некоторые URL-адреса не так важны для Google, некоторые являются дубликатами, некоторые содержат противоречивые инструкции по индексированию, а некоторые страницы низкого качества или даже являются спамом.

Об важность уникального контента для вашего сайта

Дублированный контент, это всегда обман?

Джон Мюллер

эксперт поисковой выдачи Google

«Дублированный контент часто не является манипулятивным и является обычным явлением на многих веб-сайтах и ​​часто свободен от злонамеренных намерений. Скопированный контент часто может быть оштрафован алгоритмически или вручную. Дублированный контент не наказывается, но это часто также не оптимальная настройка для страниц. Будьте ОЧЕНЬ осторожны, «крутя» и «копируя» текст, чтобы сделать его уникальным!»

С точки зрения качества страницы дублированный контент (точнее, скопированный контент ) может быть показателем низкого качества.

Скопированный код, и раскрученный текст в нем также может быть еще одним индикатором низкого качества.

Если ваш сайт состоит из такого контента – он будет классифицирован как «некачественный» какой-то частью алгоритма Google:

• Учтите, если на вашей странице есть только индикаторы низкого качества – а у вас есть целая некачественная страница то в 2020 году – будет её полная остановка в выдачи.
• Ваш сайт состоит из таких страниц, значит, у вас некачественный сайт.
• У вас есть манипулятивные обратные ссылки или накрученные поведенческие факторы, то это рецепт катастрофы.

О контенте низкого качества на части веб-сайта. Может повлиять на рейтинг того же сайта?

Есть хорошее видео о теории показателей качества Google на английском. Вы должны посмотреть его, но возможно вам понадобятся субтитры. Лучшая вещь, которая объяснена в видео, заключалась в том, что Moz имеет наивысший авторитет во всем мире для терминов «Google SEO», поэтому они могут так легко получить рейтинг «органического показателя качества».

Сегодня в 2020 году,  мы имеем дело с алгоритмами, разработанными для SEO в старом стиле, которые нацелены на то, что измерить DOMAIN ‘REPUTATION’ плюс количество страниц равно как и количество ключевых слов и количество трафика Google. А это технологи 2010 годов, согласитесь, тут необходимо многое менять.

Большой сайт не может просто, публиковать низкокачественный контент на своих новых страницах. И при этом рассчитывать только на первичный контент высокого качества и уже имеющийся органический поисковый трафик. Такая стратегия негативно скажется на важных страницах сайта.

Мы думаем, что Google, каким-то образом использует пользовательские метрики для определения «качества» вашего сайта.

Вы бы порекомендовали вебмастерам вернуться к статьям, которые они разместили давно? У них есть статьи, которые они не обязательно считаем хорошими, советуете ли вы их просто убрать и удалить?

Джон Мюллер

эксперт поисковой выдачи Google

Да. Это то, что - я видел. Хорошие сайты публикуют новый материал плохого качества и делают это повсеместно, и это не только для блогов, но и для контента в целом. Посетители регулярно просматривают такой контент и видят, ну…. Этот ужас, этот контент.

Сайт не получает никаких кликов и каждый, кто видит его контент убегает оттуда с криком. Поэтому, конечно, мы понижаем рейтинг даже очень хорошему сайту.

Удаление контента не всегда является оптимальным способом обработки МНОГИХ типов контента низкого качества – на самом деле это далеко не так. Удаление это последний вариант, если только страницы не являются «мертвым и глупым» контентом.

Любая очистка должна идти рука об руку с предоставлением Google того, что он оценит на вашем сайте, например НОВОГО высококачественного контента:

А вот этот совет тоже интересен. Это дает нам представление о том, как Google может на самом деле иметь дело с вашим сайтом:

Собирает ли Google метрики с моего сайта?

Джон Мюллер

эксперт поисковой выдачи Google

«Может быть, это и есть. Мы можем собрать некоторые метрики и сказать, ну, все, что ниже этого порога, мы примем решение не индексировать. И значительно опускаем в выдачи или просто избавиться вашего контента в индексе».

Давайте перефразируем это:

Как Google оценивает мой сайт?

Дмитрий

SEO Специалист

Google, вероятно, имеет какой-то показатель качества и ваш сайт, вероятно, имеет оценку, какая бы она ни была и если вы получаете какой-либо реальный трафик от Google, то это так.

Но в реальности и зачастую очень часто это именно ручной рейтинг. Который присваивается вашему сайту живой человек.

Если у вас большой сайт, некоторые части вашего сайта будут оценены Google как более полезные и важные.

Улучшение качества вашего контента, безусловно, работает для улучшения трафика сайта. Как и интеллектуальное управление вашим контентом на сайте. Положительные результаты этого процесса не произойдут в одночасье и для этого нужны месяцы.

Google лучше справляется с рейтинговыми сайтами, которые отвечают их рекомендациям по «качеству» и «удовлетворенности пользователей»

• Каковы качественные характеристики веб-страницы?
• Какие характеристики демонстрируют страницы самого высокого качества?
• Какие сигналы низкого качества ищет Google?
• Страницы могут быть оценены как «среднее качество»

Если вы создаете контент для ведения блога, учтите следующее: 

Какой фактор повлияет на качество сайта больше всего?

Джон Мюллер

эксперт поисковой выдачи Google

«Создание привлекательного и полезного контента, скорее всего, повлияет на ваш сайт больше, чем любой другой фактор.

Не существует одного конкретного способа создания веб-страниц, которые успешно ранжируются в Google, поэтому вы должны убедиться, что:

Вы должны убедиться, что

Валентин

SEO специалист

«Что ваш контент является ценным сам по себе»

Если у вас есть оптимизированная платформа для публикации, высококачественный контент является областью взаимодействия с пользователями номер 1, на которой можно сосредоточиться на разных веб-сайтах для получения трафика от Google в 2020 году.

Если на вас влияют алгоритмы качества контента Google, вам следует сосредоточиться на «улучшении контента» на вашем сайте, а не на удалении контента:

Если вам нужна помощь в оптимизации содержания вашего сайта, мы можем предложить вам это как Услугу SEO. Если вы хотите узнать, как этого добиться сео продвижения то, читайте дальше.

Когда вы добавляете страницы на сайт, вы распределяете значение веса по всему сайту. А общий вес старых страниц и сайта становятся немного меньше».

Это заявление от Google невероятно важно:

Количество страниц на сайте влияет на качество сайта?

Джон Мюллер

эксперт поисковой выдачи Google

Обычно вы не можете просто произвольно расширить сайт и ожидать, что старые страницы будут иметь одинаковый рейтинг, а новые страницы будут также ранжироваться. При прочих равных условиях, если вы добавляете страницы, вы распределяете значение по всему сайту, и все веса становятся немного меньше. Конечно, если вы строите бизнес, то больше таких страниц может привлечь больше внимания клиентов и вы сможете продавать больше вещей, поэтому обычно «все остальное» тоже не остается прежним. В любом случае, я бы привязал это больше вокруг потребностей вашего бизнеса - если вы считаете, что вам нужны страницы, чтобы лучше продавать ваши товары / услуги, сделайте их. 

Когда мы расширяем контент на вебсайте, мы очевидно, разбавляем и теряем ту «ценность», которая у нас уже есть?

Джон Мюллер

эксперт поисковой выдачи Google

Это хорошее заявление, я долго думал и многое замечал, что то направление, в котором мы двигаемся какое-то время.

Дмитрий

SEO Специалист

Это, безусловно, кажется «ответом» на злоупотребление с «полномочиями домена» и «злоупотребление «со страницей».

Это также должно заставить веб-мастеров дважды подумать о типе «SEO-дружественного контента», который они публикуют.

Если ваши страницы низкого качества и вы добавляете на свой сайт больше страниц такого же качества, то общее значение низкого качества растет. А Google присваивает всему вашему сайту, низкое качество.

Это значение, вероятно, основано на релевантности контента и обратных ссылок (высококачественные обратные ссылки и опыт пользователей). Как правило, является показателем того, насколько хорошо вы поставляете ценность для посетителей Google.

Мы уже знаем, что некачественный контент в одной части вебсайта может повлиять на рейтинг других ключевых слов на других (даже высококачественных) страницах того же вебсайта.

При создании «SEO-дружественного» контента вы должны спросить себя:

• Будет ли этот новый «SEO-дружественный» контент собирать обратные ссылки?
• Будет ли этот новый контент полезным для ваших текущих посетителей сайта?
• Создается ли этот новый контент автоматически на многих страницах? Подумай дважды. Ожидайте, что вес будет как-то разбавлен.
• На сайте уже есть много некачественного контента? Разобраться с этим, во-первых, улучшив его. Избавьтесь от несвежего и ненужного контента.
• У меня есть ключевые слова, которые я хочу ранжировать на сайте? Получите их на страницах, которые у вас уже есть, без добавления ключевых слов и подготовьтесь к созданию высококачественного сайта ПЛЮС высококачественного контента (так как это 2 разных фактора) для таргетинга на конкретные ключевые фразы.

Валентин

SEO специалист

Мы долгое время советовали клиентам, что очень важно вкладывать деньги в высококачественный подробный контент для нескольких страниц сайта 10-20 страниц. Это отличный способ получить новые ссылки и добавить ключевые слова на свой сайт. И это было-бы полезно для алгоритмов Google и посетителей-людей, без риска добавления некачественных страниц на ваш сайт.

Эта концепция немного похожа на обратную версию Pagerank, примененную на сайте. Я полагаю, что в оригинальном сути Pages не «потеряли» PR (в общем смысле), они «пожертвовали» PR другим страницам. Чем больше страниц, тем больше пиара. Если мы думаем, что «ценность» – это новая оценка PR, то чем больше страниц вы добавляете на свой сайт, а все остальное остается прежним, тем меньше общая ценность у всего сайта.

Валентин

SEO специалист

Не добавляйте много страниц на свой сайт, единственной целью которых является удовлетворение известных сигналов и релевантности ключевых слов Google. Вы можете поплатиться за это. Добавьте на свой сайт контент, который имеет четкую цель для ваших пользователей.

Ваш контент «полезен для пользователей Google »?

Джон Мюллер

эксперт поисковой выдачи Google

«Наши рекомендации для веб-мастеров советуют создавать веб-сайты с оригинальным контентом, который повышает ценность для пользователей».

Качество контента – это одна из областей, на которую следует обратить внимание, если вы хотите избежать понижения позиций в Google.

Джон Мюллер

эксперт поисковой выдачи Google

Мнение Google: «Высокое качество контента - это то, на чем я бы сосредоточился. Мы видем много SEO-блогов, рассказывающих о пользовательском опыте, на котором, я думаю, стоит сосредоточиться. Мы хотим ранжировать контент, который полезен для (пользователей Google), и если ваш контент действительно полезен для них, мы хотим ранжировать его. Google 2016

Цель этой статьи – охватить наиболее важные задачи написания «SEO-дружественного» текста и копии веб-страницы для Google в 2020 году. Качественный контент – это один из аспектов высококачественной страницы на высококачественном сайте.

Валентин

SEO специалист

SEO ПРОДВИЖЕНИЕ НЕ ДОЛЖНО использовать ключевые слова на страницы с 300 словами текста. Если это происходит, то это практика будет очень плоха для сайта.

Ваш контент должен быть полезен для пользователей Google.

Если вы используете партнерский сайт или имеете контент, который появляется на других сайтах, это становиться еще более важно.

Джон Мюллер

эксперт поисковой выдачи Google

Это особенно важно для сайтов, которые участвуют в партнерских программах. Как правило, на партнерских сайтах есть описания продуктов, которые появляются на сайтах этой партнерской сети. В результате сайты, показывающие в основном контент из партнерских сетей, могут пострадать в поисковом рейтинге Google, поскольку у них недостаточно собственного и уникального контента с добавленной стоимостью, который отличает их от других сайтов в Интернете. Google, 2018

Также нам очень важно еще одно мнение Google по этому вопросу:

Джон Мюллер

эксперт поисковой выдачи Google

Чистые или «скопированные» партнерские веб-сайты не приносят дополнительной пользы веб-пользователям, особенно, если они являются частью программы, которая распространяет свой контент по сети филиалов. Эти сайты часто представляются сайтами или шаблонами cookie-файлов с одинаковым или похожим содержимым, скопированные с одного сайта или на нескольких доменах или языках. Поскольку страница результатов поиска может возвращать несколько таких сайтов с одинаковым содержимым, скопированные филиалы создают неудобство для пользователя. Google, 2018

Примером сайта «партнера » является сайт, на котором «описания и отзывы о товарах копируются непосредственно из оригинального продавца без какого-либо оригинального контента или добавленной стоимости» и «где большая часть сайта создана для присоединения и содержит ограниченное количество оригинального контента или добавленной стоимости для пользователей».

Google говорит нам, что «Хорошие партнеры повышают ценность, например, предлагая оригинальные обзоры продуктов, рейтинги, навигацию по продуктам или категориям и сравнение продуктов».

Google предлагает нам следующие советы при работе с сайтами с низким содержанием контента:

Цитаты Google: «Контент партнерской программы должен составлять лишь незначительную часть контента вашего сайта, если контент не добавляет дополнительных функций». 

Цитаты Google: «Спросите себя, почему пользователь хотел бы сначала посетить ваш сайт, а не напрямую посетить первоначального продавца. Убедитесь, что ваш сайт добавляет значительную ценность помимо простой публикации контента, доступного у первоначального продавца».

Цитата Google: «Чем больше партнерская программа нацелена на контент вашего сайта, тем больше она добавит ценности и тем выше вероятность того, что вы станете лучше в результатах поиска Google».

Рекомендации Google: «Держите ваш контент актуальным и полным. Свежая информация по теме повышает вероятность того, что ваш контент будет сканироваться роботом Googlebot и на него будут нажимать пользователи».

Какие сигналы низкого качества ищет Google?

Цитируем: «Низкокачественные страницы не удовлетворяют требованиям или лишены какого-либо элемента, который мешает им хорошо достигать своей цели. Эти страницы испытывают недостаток в экспертизе или не очень заслуживают доверия / авторитетны для цели страницы. «Рекомендации по оценке качества Google, 2017»

Такие плохие сигналы Google включают, но не ограничиваются:

1. Много спам-комментариев
2. Контент низкого качества, в котором отсутствует сигнал (Экспертиза + Авторитет + Доверие)
3. НЕТ Добавленная стоимость для пользователей
4. Плохой дизайн страницы
5. Обнаружены злонамеренные вредные или мошеннические действия
6. Негативная репутация
7. Сгенерированный контент
8. Нет контактной информации на сайте
9. Поддельная или неточная информация
10. Ненадежный сайт
11. Сайт не поддерживается на мобильном
12. Страницы, созданные только для ссылки на другие
13. У страниц нет цели
14. Ключевое слово отсутствует или спам
15. Неадекватные страницы

Обратите внимание, что ваши страницы тоже могут получить нейтральный рейтинг.

Страницы, на которых написано «Ничего плохого, но ничего особенного», не «отображают характеристики, связанные с Высоким рейтингом » и ставят вас в середину – вероятно, не самое подходящее место для победы. Вероятно это делается для того, чтобы через год или около того опустить их.

Каковы качественные характеристики веб-страницы?

Цитируем: «Высококачественные страницы удовлетворяют и хорошо достигают своей цели. «Рекомендации по оценке качества Google, 2017»

Ниже приведены примеры того, что Google называет «качественными характеристиками» страницы, и о них следует помнить:

• «Удовлетворительное или всеобъемлющее количество очень качественного» основного контента
• Уведомления об авторских правах в актуальном состоянии
• Функциональный дизайн страницы
• Автор страницы имеет тематический орган
• Качественный основной контент
• Положительная репутация или опыт веб-сайта или автора (Google определяет самостоятельно)
• Очень полезный ДОПОЛНИТЕЛЬНЫЙ контент, который подтверждается пользовательский опытом.
• Достоверный домен
• Точная информация
• Реклама может быть в верхней части вашей страницы, если она не отвлекает от основного контента на странице.
• Очень удовлетворительная контактная информация сайта
• Индивидуальные и очень полезные страницы ошибок 404
• Награды
• Доказательства экспертизы
• Внимание к деталям

Если Google может обнаружить ваши труды во времени и трудозатратах на вашем сайте – есть признаки того, что они вознаградят вас за это (или, по крайней мере, – вы не будете затронуты, когда другие пострадают от этого, то есть вы повыситесь в поисковой выдаче Google, когда другие упадут).

Алгоритмы Google Demotion нацелены на низкокачественный контент

Оптимизация (без улучшения) некачественного контента создает ловушки, которые определяются постоянно улучшающимися алгоритмами качества ядра Гугл.

Это означает, что «оптимизация» низкокачественных страниц в 2020 году значительно расширилась.

Оптимизация низкокачественных страниц без добавленной стоимости является самоубийственной. В 2020 году алгоритмы – и ручная оценка качества взялись за оценку вместе и с новой силой.

Если вы оптимизируете низкокачественные страницы, используя методы старой школы SEO, вы столкнетесь с некачественным алгоритмом (таким как Обновление качества или Google Panda).

Джон Мюллер

эксперт поисковой выдачи Google

Вы должны избегать шаблонного текста, раскручивать текст или дублировать контент при создании страниц. Или вы или - Panda Google - как Google намекал в Руководстве по оценке качества в 2015 году.

Валентин

SEO специалист

Одним из наиболее важных соображений в рейтинге качества страниц, является качество. Качество контента определяется тем, сколько времени, усилий, опыта и таланта / навыков ушло на создание страницы.

Рассмотрим этот пример: большинству учеников приходится писать документы для старшей школы или колледжа. Многие студенты используют разные подходы для этого, чтобы сэкономить время и усилия, выполнив одно или несколько из следующих действий:

• Покупка в Интернете или поручение это крму-то, чтобы написать для них
• Придумывать и изобрести.
• Писать очень быстро, и очень много без черновиков или редактирования.
• Заполнение отчета большими картинками или другим отвлекающим контентом.
• Копирование всего отчета из энциклопедии или перефразирование контента путем изменения слов или структуры предложений здесь и там.
• Используя общеизвестные факты, например: «Аргентина – это страна. Люди живут в Аргентине. Аргентина имеет границы. Некоторым нравится Аргентина.
• Используя много слов, чтобы передать только основные идеи или факты, например: «Панды едят бамбук. Панды едят много бамбука. Бамбум это лучшая еда для медведя Панды. »

Мы будем считать контент низкого качества, если он...

Джон Мюллер

эксперт поисковой выдачи Google

К сожалению, содержание некоторых веб-страниц создается аналогичным образом. Мы будем считать контент низкого качества, если он создан без достаточного времени, усилий, опыта или таланта / навыков. Страницы с низким качеством и контентом не достигают своей цели хорошо. Важно: Низкое качество - достаточная причина, чтобы дать странице рейтинг Низкого качества».

Google поощряет уникальность или наказывает за ее отсутствие.

Лучший способ сделать «SEO – копирайтинг » в 2020 году – отредактировать фактическую копию страницы, чтобы и добавить уникальный контент и повышать его точность, уникальность, актуальность, краткость и использование.

Низкокачественный контент не означает высокий рейтинг в Google.

Представитель Google недавно сказал, что Google Panda запрещает давайть рейтингам сайтов, которые не должны ранжироваться по определенным ключевым словам.

Джон Мюллер

эксперт поисковой выдачи Google

Цитата : «(Google Panda) в значительной степени измеряет качество сайта, по крайней мере, просматривая подавляющее большинство страниц. Но, по сути, позволяет нам учитывать качество всего сайта при ранжировании страниц с этого конкретного сайта и соответственно корректировать рейтинг для страниц. По сути, если вы хотите получить тупой ответ, он не обесценится, а фактически снизит. По сути, мы решили, что сайт пытается играть с нашими системами и к сожалению, делает это успешно. Поэтому мы будем корректировать ранг вручную и мы вернем сайт назад, чтобы убедиться, что он больше не участвует в выдаче».

Когда Google опускает вашу страницу в поисках дублирующегося контента, и у вас не останется ничего, что могло бы удержать вас в рейтинге уникального контента – ваши веб-страницы будут в основном игнорироваться Google.

Валентин

SEO специалист

То, как я на это смотрю - как только Google удаляет все, и игнорирует (дублирующий текст) - а что осталось? По сути, именно этого вы можете ожидать от Google. Если осталось только синонимное текстовое содержимое - теперь оно классифицируется как веб-спам или «накрутка».

ПРИМЕЧАНИЕ. – Соотношение количества дублирующегося контента на любой странице может повредить вам, если у вас больше дублирующегося текста, чем уникального контента. Простая проверка страниц, страница на страницу, это все, что нужно для того, чтобы убедиться, что каждая страница ОТЛИЧАЕТСЯ (в отношении текста) от страницы к странице.

Если у вас есть большие разделы дублирующихся текстовых страниц на страницу – это проблема, на которую следует обратить внимание и устранить.

Важно отметить:

1. Основное текстовое содержание на странице должно быть уникальным, чтобы избежать алгоритмов качества страницы Google.
2. Подробный текст НЕ должен создаваться или вращаться автоматически
3. Текст НЕ должен быть оптимизирован для шаблона, так как это просто создает отпечаток на многих страницах, который может быть интерпретирован как избыточный или манипулятивный шаблонный текст.
4. Текст должен быть ОЧЕНЬ описательным, уникальным и лаконичным
5. Если у вас много страниц для адресации, главный приоритет – создать УНИКАЛЬНУЮ пару параграфов текста, по крайней мере, для основного контента. Страницы не нуждаются в тысячах слов для ранжирования. Им просто нужно ВСТРЕТИТЬСЯ С УЧЕТОМ КОНКРЕТНОГО ПОЛЬЗОВАТЕЛЯ, а не ПОПРОБУТЬ ФИЛЬТРЫ «LOW_QUALTY». Страница с несколькими предложениями уникального текста все еще отвечает этому требованию 300 слов.
6. Когда дело доходит до конкурирующих страниц конкурентов, вам придется посмотреть, что делает главная конкурирующая страница, когда речь идет о тексте основного контента. Скорее всего – у них есть какой-то уникальный текст на странице. Если они ранжируются по дублированному тексту, либо их ДОПОЛНИТЕЛЬНОЕ СОДЕРЖАНИЕ лучше, либо домен конкурента имеет больше РЕЙТИНГОВОЙ СПОСОБНОСТИ из-за ХОРОШИХ РЕЗЕРВНЫХ ССЫЛОК или ЛУЧШЕГО ОПЫТА ПОЛЬЗОВАТЕЛЯ.
7. Обновление контента на сайте должно быть приоритетом, так как Google поощряет более свежий контент для определенных поисковых запросов.

Google Rates «Скопировано» Основное содержание «Самые низкие»

Это то место, где вы плывете вверх по течению в 2020 году. Скопированный контент не будет долгосрочной стратегией, когда вы создаете уникальную страницу лучше, чем страницы ваших конкурентов.

В последних Рекомендациях по оценке качества поиска Google , опубликованных 14 марта 2017 года , Google заявляет:

7.4.5 Скопированное основное содержимое

Каждая страница нуждается в уникальном контенте. Один из способов создать контент без времени, усилий и опыта – скопировать его из другого источника . Важное замечание: Мы не считаем, что законно лицензированный или синдицированный контент является «копируемым» (подробнее о веб-синдикации см. Здесь). Примеры синдицированного контента в США включают новостные статьи или новости.

Слово «скопированный» относится к практике «очистки» содержимого или копирования содержимого с других неаффилированных веб-сайтов без добавления какого-либо оригинального содержимого или значения для пользователей (дополнительную информацию о скопированном или удаленном содержимом см. Здесь).

Если все или большая часть контента на странице скопирована, подумайте о назначении страницы. Почему страница существует? Какое значение имеет страница для пользователей? Почему пользователи должны смотреть на страницу с скопированным контентом вместо исходного источника? Важно: наименьший рейтинг подходит, если все или почти все на странице скопированы с минимальными затратами времени, усилий, опыта, курированием вручную или добавленной стоимостью для пользователей.

Такие страницы должны быть оценены как самые низкие, даже если страница передает вес другому источнику.

7.4.6. Подробнее о копируемом контенте

Все следующее считается скопированным контентом! 

• Контент копируется точно из идентифицируемого источника. Иногда копируется вся страница, а иногда копируются только части страницы. Иногда несколько страниц копируются, а затем вставляются вместе в одну страницу. Текст, который был скопирован точно, обычно является самым простым типом копируемого содержимого для идентификации.
• Контент, который копируется, но немного отличается от оригинала. Этот тип копирования затрудняет поиск точного соответствия оригинальному источнику. Иногда меняются только несколько слов, или целые предложения, или делается модификация «найти и заменить», где одно слово заменяется другим по всему тексту. Эти типы изменений сделаны намеренно, чтобы затруднить поиск оригинального источника контента. Мы называем этот тип контента «скопированным с минимальными изменениями».
• Контент, скопированный из изменяющегося источника, такого как страница результатов поиска или лента новостей. Часто вы не сможете найти точный исходный источник, если он является копией «динамического» содержимого (содержимого, которое часто изменяется). Тем не менее, мы все равно будем считать, что это скопированный контент. Важно: наименьший рейтинг подходит, если все или почти всё на странице скопированы с минимальными затратами времени, усилий, опыта, отредактированным с малой добавленной стоимостью для пользователей. Такие страницы должны быть оценены как Самые низкие, даже если страница передаёт вес другому источнику.

Помогите Google c индексом ваших страниц

Минимизируйте производство страниц для перелинковки, которые вы создаете на своем сайте

Валентин

SEO специалист

В 2020 году вам понадобится другая контент-стратегия. Если вы вынуждены использовать страницы для перелинковки то, вам нужно подумать об этом дважды. 

Джон Мюллер

эксперт поисковой выдачи Google

Если у вас есть несколько страниц и у вас есть уникальный ценный контент для этих отдельных страниц. На вашем веб-сайте это прекрасно, если у вас есть сотни мест, тогда выкладывайте отдельные целевые страницы для каждого города или каждого региона это почти то же самое, что создавать кучу страниц для перелинковки, так что это очень нас расстраивает» Google 2017

Получается, что вы делаете “страницы дорвеи ” и даже не знаете об этом? 

Снизьте дублирующие страницы на своем сайте.

Вам нужно будет проверить, насколько работоспобна ваша CMS. Убедитесь, что она случайно не генерирует страницы с практически копируемым контентом (особенно если у вас есть реклама на них).

Джон Мюллер

эксперт поисковой выдачи Google

Нужно избегать большого количества «просто автоматически сгенерированных» страниц, и «если это страницы, которые не генерируются автоматически, то я бы не стал воспринимать это как веб-спам». И наоборот, «автоматически сгенерированный» контент = веб-спам? Очевидно, что робот Google ожидает увидеть правильно сформированные 404, если на URL не будет страницы».

Ваш сайт должен создать правильные 404

Это предотвратит автоматическое создание тезнических страниц и поможет предотвратить негативные SEO-атаки.

Цитата: «Скажите посетителям, что страница, которую они ищут, не найдена. Используйте язык, который является дружественным и привлекательным. Убедитесь, что ваша страница 404 использует тот же внешний вид (включая навигацию), что и остальная часть вашего сайта. Подумайте о добавлении ссылок на ваши самые популярные статьи или посты, а также ссылки на домашнюю страницу вашего сайта. Подумайте о том, чтобы предоставить пользователям возможность сообщать о неработающей ссылке. Неважно, насколько красива и полезна ваша пользовательская страница 404, вы, вероятно, не хотите, чтобы она появлялась в результатах поиска Google. Чтобы предотвратить индексацию 404 страниц Google и другими поисковыми системами, убедитесь, что ваш веб-сервер возвращает фактический код состояния 404 HTTP при запросе отсутствующей страницы. Google, 2018

Заблокируйте функцию внутреннего поиска на вашем сайте.

Джон Мюллер

эксперт поисковой выдачи Google

Цитата: «Используйте файл robots.txt на своем веб-сервере для управления объемом сканирования, предотвращая сканирование бесконечных пробелов, таких как страницы результатов поиска. Держите ваш файл robots.txt в актуальном состоянии». Google (2017)

Это предотвратит автоматическое создание страниц и поможет предотвратить негативные SEO-атаки.

Используйте канонизацию страниц правильно

Цитата: «Если ваш сайт содержит несколько страниц с практически одинаковым содержанием, существует несколько способов указать предпочитаемый вами URL для Google. (Это называется «канонизация».)» Google

Это поможет объединить сигналы на правильных страницах.

Используйте контроль за страницами.

Это поможет с проблемами дублирующего контента.

Джон Мюллер

эксперт поисковой выдачи Google

Цитата: « Используйте rel="next" иrel="prev" ссылки, чтобы указать связь между компонентами URL. Эта разметка дает Google подсказку, что вы хотите, чтобы мы рассматривали эти страницы как логическую последовательность, объединяя их свойства ссылок и обычно отправляя поисковиков на первую страницу. Google 2019

Используйте контроль индексации на страницах

На некоторых страницах вашего сайта может потребоваться мета-индекс.

Определите ваши основные ресурсы контента и улучшайте их вместо оптимизации некачественных страниц (которые будут добавлены в будущем обновлении алгоритма).

Как справиться с ошибками в отчете индексации Google Search Console

Как работать с уведомлениями «Отправленный URL-адрес, помеченный как noindex» и «Исключено тегом noindex» в консоли поиска

Задумайтесь, зачем вы создаете страницы и просите Google не индексировать их? Всегда есть лучший способ, чем индексировать страницы. Просмотрите страницы, которые вы создаете, и убедитесь, что они соответствуют правилам Google, например, не являются ли они дорвеями. Проверьте, есть ли технически лучший способ обработки страниц без индекса.

Как обрабатывать уведомления «Страница с перенаправлением» в консоли поиска

Почему в вашей карте сайта есть URL-адреса, которые перенаправляют? Это не идеально. Просмотрите и удалите перенаправления с карты сайта.

Что означает «проиндексировано, не представлено в карте сайта » в консоли поиска? 

Это означает, что Google просканировал ваш сайт и нашел больше страниц, чем у вас есть в вашей карте сайта. В зависимости от количества указанных страниц это может быть не проблема или критическая проблема. Убедитесь, что вы знаете тип страниц, которые вы пытаетесь проиндексировать, типы страниц, создаваемые вашей CMS.

Как работать с уведомлениями «Дублирующаяся страница без канонического тега», «Альтернативная страница с правильным каноническим тегом» и « Отправленный URL-адрес не выбран как канонический » в консоли поиска

Посмотрите, как вы используете канонические элементы ссылок на сайте.

Как работать с уведомлениями «Сканирование с ошибками» в поисковой консоли:

Джон Мюллер

эксперт поисковой выдачи Google

«При получении этого URL произошла неуказанная аномалия. Это может означать код ответа уровня 4xx или 5xx; попробуйте загрузить страницу с помощью функции Fetch as Google, чтобы узнать, не возникнут ли какие-либо проблемы с выборкой. Тоже самое нужно делать если - страница не была проиндексирована.

Как справиться с Crawled – в настоящее время не индексируется:

Ответ: «Страница была просканирована Google, но не проиндексирована. Это может или не может быть проиндексировано в будущем; нет необходимости повторно отправлять этот URL для сканирования. ”

Если это не помоает то, это может быть проблемой. Вы должны проверить, включены ли страницы, которые вы хотите проиндексировать, в этот список URL. Если это так, это может свидетельствовать о проблеме качества страницы.

Прочтите в этой официальной статье полный список новых функций в отчете по индексации консоли поиска Google,

Сканирует ли Google карту сайта XML и сканирует ли всю карту сайта сразу после запуска?

Кто-то, у кого возникла проблема с индексацией веб-сайта, недавно задал вопрос в Google Hangout:

«Как часто Google сканирует карту сайта XML и сканирует ли всю карту сайта сразу после запуска ?»

Карта сайта XML является включающей, а не эксклюзивной.

Ответ Google: «файлы карты сайта помогают нам лучше понять веб-сайт и лучше выяснить, какие части веб-сайта необходимо пересмотреть, особенно если у вас есть такая информация, как дата последнего изменения, которая действительно помогает нам выяснить, какие из этих страниц новые или изменившиеся, которые необходимо пересмотреть». Джон Мюллер Google

На вашем сайте будут URL-адреса, которых нет в карте сайта XML, которую Google будет сканировать и индексировать. В вашем XML-файле сайта есть URL-адреса, которые Google, вероятно, будет сканировать, а не индексировать.

Вопрос: «если вы смотрите на карты сайта файлы в поисковой консоли у вас есть информация о том, сколько ссылок индексируются из этих карты сайта файлы важную роль здесь в том, что мы смотрим на точно URL, которые вы перечисляете в файле карты сайта, так что если мы Индексируйте URL с другим параметром или с другим верхним или нижним регистром или косой чертой в конце или нет, тогда все это имеет значение для этого файла сегмента, так что это может быть проблемой, посмотрите что там »Джон Мюллер 2017

и

Google: «В файле Sitemap мы в первую очередь фокусируемся на дате последней модификации, так что это то, что мы ищем и что мы видим, что мы просканировали эту страницу два дня назад, и сегодня она изменилась, поэтому мы должны пересмотреть ее сегодня мы не используем приоритет и не используем частоту изменений в файле карты сайта, по крайней мере, на данный момент в отношении сканирования, поэтому я бы не стал слишком фокусироваться на приоритете и частоте изменений, а на самом деле на более фактической информации о дате последнего изменения RSS-канал также хорошая идея с RSS, вы можете использовать pubsubhubbub, который способ получать ваши обновления еще быстрее в Google, поэтому использование pubsubhubbub, вероятно, является самым быстрым способом получения контента, где вы регулярно меняете вещи на своем сайте, и вы хотите, чтобы это как можно быстрее передавалось в Google, чтобы RSS-канал с pubsubhubbub был это действительно фантастический способ сделать это ». Джон Мюллер Google 2017

Кодировка: «поэтому файл карты сайта [XML] помогает нам понять, какие URL-адреса на вашем веб-сайте являются новыми или недавно изменились, поэтому во втором файле вы можете указать дату последнего изменения, и с этим мы можем отчасти судить, как нам нужно сканировать. Далее, чтобы убедиться, что мы не уступаем в индексации вашего веб-сайта, поэтому, если у вас есть существующий веб-сайт, и вы отправляете файл карты сайта и в файле карты сайта есть реалистичные даты изменения, то в идеальном случае мы рассмотрим и скажем: «О, мы знаем о большинстве этих URL-адресов, и вот несколько URL-адресов, о которых мы не знаем, поэтому мы переходим и сканируем эти URL-адреса. Это не тот случай, когда отправка файла Sitemap заменит наш обычный просмотр», по существу просто добавление s к существующему сканированию, которое мы делаем». Джон Мюллер 2017

Могу ли я поместить свой файл Sitemap в отдельные файлы меньшего размера?

Да.

Рекомендации: «Еще одна вещь, которая иногда помогает, – это разделить файлы карты сайта на отдельные куски логических блоков для вашего сайта, чтобы вы лучше понимали, где страницы не индексируются, а затем вы можете видеть, не были ли проиндексированы продукты или категории не индексируется, а затем вы можете детализировать все больше и больше и выяснить, где могут возникнуть проблемы. Скажу, что мы не гарантируем индексацию, просто потому, что файл карты сайта имеет несколько URL-адресов. А это не значит, что мы будем индексировать все из них. Нам просто нужно помнить, но, очевидно, вы можете попытаться немного сузить круг для нас, и может это улучшит ситуацию ». Джон Мюллер, 2017

URL естественно важен в карте сайта XML. Единственная другая карта сайта XML, о которой вы действительно должны беспокоиться – это DATE

LAST MODIFIED. Вы можете игнорировать атрибут FREQUENCY:

Кодировка – «мы не используем это вообще… Но мы используем только дату в файле карты сайта [XML]» Джон Мюллер, Google 2017

Сколько раз в неделю обновляются данные статуса индекса в поисковой консоли?

Он обновляется 2-3 раза в неделю.

 Следует ли использовать файлы Sitemap с последним изменением содержимого с истекшим сроком действия?

Страницы с истекшим сроком можно быстро подобрать, если вы используете дату последнего изменения

Почему Google не сканирует и не индексирует XML-карту моего сайта полностью?

Ответ: «Мы не гарантируем индексацию. Так что только то, что что-то есть в файле карты сайта, не является гарантией того, что мы на самом деле его проиндексируем. Это совершенно нормально, что мы на самом деле не индексируем все эти страницы… Что даже если вы делаете все технически правильно, нет гарантии, что мы на самом деле все проиндексируем. Джон Мюллер, 2018

Я посмотрел на многих сайтах с такими проблемами индексации. По моему опыту, наиболее распространенными причинами плохого уровня индексации карты сайта на сайте с тысячами или миллионами страниц являются:

1. страницы дорвеии
2. технические страницы

Страницы, которые почти гарантированно попадают в индекс Google, имеют одну общую особенность: они содержат уникальный контент.

Короче говоря, если вы создаете страницы с для перелинковки без уникального контента, Google не будет индексировать их все должным образом. Если вы неряшливы и также создаете дубли и технические страницы на сайте, Google точно не вознаградит вас за такое поведение

Цитата: «Что касается того, что страницы продукта интернет магазина не индексируются в Google. Это, может быть, по сути, просто работает так, как задумано, когда мы просто не индексируем все их с любого веб-сайта в интернете. Я думаю, что для большинства веб-сайтов, если вы зайдете в раздел карты сайта или в раздел индексации, вы увидите, что мы индексируем только часть всего содержимого сайта. Я думаю, что для любого нетривиального сайта индексация всего контента была бы очень большим исключением, и я был бы очень удивлен, увидев это. Джон Мюллер, Google 2017

Google вознаграждает (в 2020 году) меньший сайт с хорошими, глубокими страницами, намного больше, чем крупный сайт с миллионами более дублирующих страниц.

Возможно, Google сможет определить, сколько уникального текста есть на конкретном сайте и взвесить этот показатель в зависимости от количества страниц, создаваемых этим сайтом. Кто знает.

Важный вывод: «В любом случае, почему Google позволяет миллионам ваших автоматически сгенерированных страниц ранжироваться?»

Цитата Google: «действительно создайте что-то полезное для пользователей в отдельных местах, может быть, у вас есть что-то уникальное, что вы можете добавить туда, что делает его не просто перелинковкой». Джон Мюллер, Google 2017

Google не индексирует URL-адреса в вашем файле Sitemap? 

Создание новых файлов Sitemap не поможет!

Маловероятно, что изменение одних только ваших XML-карт сайта приведет к тому, что на вашем сайте будет проиндексировано больше страниц, если причина, по которой URL-адреса не индексируются в первую очередь, связана с их качеством:

ВОПРОС: «У меня есть 100 URL в XML-карте сайта. 20 проиндексированных и 80 неиндексированных. Затем я загрузил еще один XML-файл сайта, содержащий неиндексированные 80 URL-адресов. Так же URL-адреса в нескольких картах сайта. Это хорошая идея и тактика? Это может быть вредно или полезно для моего сайта?»

Джон Мюллер

эксперт поисковой выдачи Google

Это ничего не изменит. Если мы не индексируем 80 URL-адресов с обычного сайта из сайта со 100 URL-адресами, это звучит так, как будто вам нужно работать с сайтом, а не с представлениями карты сайта. Сделай свой сайт крутым! Сделайте каждую страницу важной!

Большинство ссылок в вашем XML-файле Sitemap должны быть каноническими, а не перенаправлять

Google хочет получить конечные целевые URL, а не ссылки, которые перенаправляют в другое место.

Цитата : «В целом, особенно, для целевых страниц…. мы рекомендуем использовать конечный целевой URL-адрес в файле карты сайта, отчасти это объясняется тем, что мы можем явно указывать эти URL-адреса в поисковой консоли…. и вы можете посмотреть информацию об индексировании только для этого файла карты сайта, которая основана на точных URL-адресах, которые у вас есть. Другая причина, по которой мы рекомендуем это делать, заключается в том, что мы используем URL-адреса файлов Sitemap для того, чтобы понять, какой URL-адрес должен быть каноническим для фрагмента контента, поэтому URL-адрес должен отображаться в результатах поиска, а также, если файл карты сайта говорит один URL и он перенаправляет на другой URL, тогда вы даете нам противоречивую информацию». Джон Мюллер, Google 2018»

Комментарий: «На самом деле это дата последнего изменения некоторых из этих URL-адресов, потому что с этой даты мы можем выяснить, нужно ли нам вызывать эти URL-адреса, чтобы выяснить, что нового или что отличается в этих URL-адресах, или это старые URL-адреса. О которых в основном мы, возможно, уже знаем и приняли решение их не индексировать, поэтому я бы порекомендовал сделать там файл XML-карты сайта с датами с датами последнего изменения, просто чтобы убедиться, что у Google есть вся информация, которую он может получить. Джон Мюллер, Google 2018

Иногда неканонические версии ваших URL индексируются вместо основных

Ответ: «Я бы порекомендовал сделать там двойную проверку этих URL-адресов и двойную проверку того, как они на самом деле проиндексированы в Google. Так что может случиться так, что мы на самом деле не индексируем URL-адрес, как вы указали в файле карты сайта. А скорее всего это немного другая версия, которая, возможно, связана на вашем веб-сайте, как я уже упоминал, до того. Такое очень часто встречается, и она не соответствует WWW (версия) – все это технически разные URL-адреса. И мы не будем считать это для карты сайта как индексируется, если мы проиндексируем его с немного другим URL. 

Google не может индексировать все страницы на вашем сайте.

Каков максимальный размер файла XML Sitemap?

Ответ: «Мы поддерживаем 50 мегабайт для файла карты сайта, но не все остальные поисковые системы поддерживают 50 мегабайт. Поэтому в настоящее время мы просто рекомендуем придерживаться ограничения в 10 мегабайт», – Джон Мюллер, Google 2014

Google хочет знать, когда обновляется содержание основной страницы, а не когда изменяется содержимое дополнительной страницы – если содержание существенно изменяется, это важно. Если контент, основной контент, не меняется, я бы не стал его обновлять.

Почему количество проиндексированных URL-адресов в консоли поиска уменьшается?

Google, вероятно, решил, что вы создаете страницы типа перелинковки без добавленной стоимости.

Цитата: «Алгоритм Panda может по-прежнему показывать такой сайт для более конкретных и очень релевантных запросов, но его видимость будет снижена для запросов, в которых польза владельца сайта непропорциональна выгоде пользователя. Google

Качество страницы и качество сайта

Google измеряет качество для каждой страницы, а также рассматривает весь сайт в целом (при этом качество отдельных страниц зависит от качества всего сайта).

Влияют ли проиндексированные страницы на качество сайта?

Валентин

SEO специалист

Только индексируемые страницы влияют на качество сайта. Вы можете использовать noindex на страницах низкого качества, если качество страницы не может быть улучшено. В лучшем случае вы должны применять noindex к страницам только как временную меру, до исправления контента на этих страницах.

Google «хочет», чтобы вы улучшили индексированный контент, чтобы улучшить показатели качества вашего сайта.