Как найти дубли страниц на сайте

Разместил , 16 Сен.2017 / комментария 4
Нашли то, что нужно вам? Закажи себе! Без переплат.

Дубли страниц — страницы с одинаковым контентом, доступным по разным URL. Рассмотрим наиболее важные вопросы: как найти дубли страниц, чем вредны дубликаты страниц, частые причины дублирования, удаление дубликатов, примеры.

Как найти дубли страниц на сайте

Чем вредны дубли страниц

Проблема дублей на сайте вызывает у поисковых систем ряд вопросов — какая страница является каноничной, какую страницу показывать в поисковой выдаче и является ли сайт, показывающий посетителям дубликаты страниц качественной площадкой.

Google борется с дубликатами страниц с помощью фильтра Panda, начиная с 2011 года. На данный момент фильтр является частью неотъемлемой частью формулы ранжирования. При наличии Панды, сайт теряет большую часть трафика из поисковой системы.

Яндекс в рекомендациях для вебмастеров рекомендует избегать дублей и предупреждает, что поисковая система выберет лишь одну страницу из дублирующихся в качестве канонической.

Частые причины дублирования страниц

Наиболее частой причиной дублирования страниц является особенность строения CMS, на которых разработан сайт. К примеру, в Joomla есть множество конструкций URL, по которым будет доступен один и тот же контент. Даже в последних версиях WordPress есть вариант доступности контента записей по конструкции site.ru/postID и site.ru/ЧПУ. А в магазинной CMS Opencart: при ЧПУ с включением названии категории — привязанность товара к разным категориям. Некоторые неопытные SEO-оптимизаторы берут за основу один контент и размножают его, меняя всего пару слов в тексте. По такому же принципу работают и дорвеи. Такое дублирование называется частичным и за такое дублирование на сайт также могут быть наложены санкции (Google Panda и др).

Вторая популярная версия дублирования — доступность страниц с www и без (www.site.ru и site.ru). При таком дублировании все версии сайта должны быть добавлены в Google Webmaster Tools, после чего уже избавляться от них.

Третья по популярности вариация дубликатов — наличие контента со слэшем в конце URL и без него.

Поиск и удаление дублей страниц на сайте входит в услугу Внутренняя SEO-оптимизация сайта. Экономьте, заказывая у индивидуального специалиста.

Сервисы и программы поиска

Наиболее быстрый и обычно, точный, способ — найти дубликаты страниц по Title и мета-тегам. Ниже — сервисы и программы, которыми пользуюсь сам.

Сервисы для поиска дублей по Title и мета-тегам:

  1. Инструмент «Аудит сайта» в сервисе Serpstat (комплексные сервисы для SEO, PPC ~$100/месяц).
  2. Аудит в сервисе Seotome (за 500 рублей — аудит 1 сайта).
  3. Другие, если знаете, пишите в комментариях.

Сервисы для поиска частичных дубликатов по контенту:

  1. Аудит в сервисе Seotome (за 500 рублей аудит 1 сайта). Показывает в процентном соотношении дублирование контента на страницах.

Программы для поиска дублей по Title и мета-тегам:

  1. Website Auditor от SEO Power Suite (Mac, Windows, Linux, ~$50/единоразово).
  2. Netpeak Spider (Windows only, $14/месяц).
  3. Comparser (Windows only, 2000 рублей).
  4. Xenu (Windows only, free).

Программы для поиска дублей по контенту:

Если знаете подобный софт — напишите в комментарии или по контактам — добавлю в список.

Основные способы избавления от дублей страниц на сайте

  1. Использовать rel=»canonical», который указывает каноническую версию страницы. Лучший способ избавиться от дублей. При использовании canonical практика показала, что веса дублирующих страниц склеиваются, что хорошо для продвижения.
  2. Закрыть дублирующиеся страницы от индексации. Можно закрывать конструкциями в robots.txt (как пользоваться robots.txt) или наличием на странице мета-тега <meta name=»robots» content=»noindex, nofollow»>.
  3. Добавить 301 редирект с дублирующей страницы на основную. Подходит при дублировании www/без, слэш на конце/без. Настраивается в файле .htaccess или специальными плагинами.

Как найти дубли страниц: Примеры

Поиск дублей с помощью Serpstat

Поиск дублей страниц сайта с помощью Serpstat

Поиск дублей с помощью Website Auditor

Поиск дублей страниц сайта с помощью Website Auditor

Поиск дублей с помощью Comparser

Поиск дублей страниц сайта с помощью Comparser

  • Kosta GuitarSchool

    Привет. На днях заметил еще такой вариант дублей в wordpress:

    Например.
    https://seokrem.com/seo/kak-nayti-dubli-stranits-na-sayte……/
    https://seokrem.com/seo/kak-nayti-dubli-stranits-na-sayte/

    Открывается по обоим адресам. Не подскажите, как сделать редирект на основную страницу при добавлении точек, как в примере выше?

    • Поисковая система этот дубль склеит с канонической версией страницы. На скриншоте сравнил url этого дубля и значение canonical — всё окей 🙂 http://joxi.ru/D2P36PjHpypkOm

      • Kosta GuitarSchool

        Понял. А на моем сайте тега canonical нет, похоже нужно проставить…