Як знайти дублі сторінок на сайті

Дублі сторінок — сторінки з однаковим контентом, доступним на різних URL-адресах. Розглянемо найважливіші питання: як знайти дублі сторінок, чим шкідливі дублікати сторінок, часті причини дублювання, видалення дублікатів, приклади.

Чим шкідливі дублі сторінок

Проблема дублів на сайті викликає у пошукових систем ряд питань — яка сторінка є канонічною, яку сторінку показувати в пошуковій видачі і чи є сайт, який показує відвідувачам дублікати сторінок якісним майданчиком.

Google бореться із дублікатами сторінок за допомогою фільтра Panda, починаючи з 2011 року. На даний момент фільтр є невід'ємною частиною формули ранжування. За наявності Панди сайт втрачає більшу частину трафіку з пошукової системи.

Яндекс у рекомендаціях для вебмайстрів рекомендує уникати дублів і попереджає, що пошукова система вибере лише одну сторінку з тих, що дублюються як канонічна.

Часті причини дублювання сторінок

Найчастішою причиною дублювання сторінок є особливість будови CMS, на яких розроблено сайт. Наприклад, в Joomla є безліч конструкцій URL, якими буде доступний той самий контент. Навіть в останніх версіях WordPress є варіант доступності контенту записів за конструкцією site.ru/postID та site.ru/ЧПУ. А в магазинній CMS Opencart: при ЧПУ із включенням назви категорії — прихильність товару до різних категорій. Деякі недосвідчені SEO-оптимізатори беруть за основу один контент і розмножують його, змінюючи лише кілька слів у тексті. За таким же принципом працюють і дорвії. Таке дублювання називається частковим і за таке дублювання на сайт можуть бути накладені санкції (Google Panda та ін).

Друга популярна версія дублювання - доступність сторінок з www і без (www.site.ru та site.ru). При такому дублювання всі версії сайту повинні бути додані в Google Webmaster Tools, після чого вже позбуватися їх.

Третя за популярністю варіація дублікатів - наявність контенту зі слешем наприкінці URL і без нього.

Пошук та видалення дублів сторінок на сайті входить до послуги Внутрішня SEO-оптимізація сайту. Заощаджуйте, замовляючи у індивідуального фахівця.

Сервіси та програми пошуку

Найбільш швидкий і зазвичай, точний спосіб — знайти дублікати сторінок по Title і мета-тегам. Нижче – сервіси та програми, якими користуюся сам.

Сервіси для пошуку дублів по Title та мета-тегам:

  1. Інструмент «Аудит сайту» у сервісі Serpstat (комплексні послуги для SEO, PPC ~$100/місяць).
  2. Аудит у сервісі Seotome (За 500 рублів - аудит 1 сайту).
  3. Інші, якщо знаєте, пишіть у коментарях.

Сервіси для пошуку часткових дублікатів за контентом:

  1. Аудит у сервісі Seotome (За 500 рублів аудит 1 сайту). Відображає у відсотковому співвідношенні дублювання контенту на сторінках.

Програми для пошуку дублів по Title та мета-тегам:

  1. Website Auditor від SEO Power Suite (Mac, Windows, Linux, ~$50/одноразово).
  2. Netpeak Spider (Windows лише, $14/місяць).
  3. Comparser (Windows лише, 2000 рублів).
  4. Xenu (Windows only, free).

Програми для пошуку дублів за контентом:

Якщо знаєте подібний софт — напишіть у коментарі контактам - Додам до списку.

Основні способи позбавлення від дублів сторінок на сайті

  1. Використовувати rel="canonical", який вказує на канонічну версію сторінки. Найкращий спосіб позбутися дублів. При використанні canonical практика показала, що ваги дублюючих сторінок склеюються, що добре для просування.
  2. Закрити сторінки, що дублюються, від індексації. Можна закривати конструкціями в robots.txt (як користуватися robots.txt) або наявністю на сторінці мета-тегу .
  3. Додати 301 редирект із дублюючої сторінки на основну. Підходить при дублюванні www/без, слеш на кінці/без. Налаштовується у файлі .htaccess або спеціальними плагінами.

Як знайти дублі сторінок: Приклади

Пошук дублів за допомогою Serpstat

Пошук дублів сторінок сайту за допомогою Serpstat

Пошук дублів за допомогою Website Auditor

Пошук дублів сторінок сайту за допомогою Website Auditor

Пошук дублів за допомогою Comparser

Пошук дублів сторінок сайту за допомогою Comparser