Дублі сторінок на сайті: як знайти та правильно закрити

Дублі сторінок на сайті: як знайти та правильно закрити

Дублі рідко виглядають як дублі. Ніхто не публікує двічі одну статтю — вони з’являються самі: сайт відкривається і з www, і без нього, товар доступний з трьох категорій, фільтр по кольору створив 40 адрес, а розсилка додала до посилань UTM-мітки. Формально це різні URL. Для пошукової системи — та сама сторінка в кількох копіях.

Проблема не в тому, що Google «карає за дублі». Санкцій за це немає. Проблема в іншому: з кількох однакових адрес система обирає одну, яку показуватиме у видачі, і вибирає її сама. Часто — не ту, яку ви просували.

Розбираємо, звідки беруться дублі, як їх знайти і чим закривати кожен тип, бо інструменти тут різні, а підміна одного іншим створює нові проблеми.

Чим дублі реально шкодять

Розмивається сигнал. Посилання, поведінкові дані й релевантність розподіляються між копіями замість того, щоб накопичуватись на одній адресі.

У видачу потрапляє не та сторінка. Google обирає канонічну версію самостійно, орієнтуючись на внутрішні посилання, sitemap та інші сигнали. Можна місяцями оптимізувати одну адресу, поки в результатах показується інша — з гіршим Title і без потрібних блоків.

Марно витрачається сканування. Робот обходить сотні варіацій із параметрами, поки нові й важливі сторінки чекають своєї черги. На сайтах до сотні сторінок це некритично, на магазині з фільтрами — відчутно.

Ускладнюється аналітика. Показники одного контенту розкидані по десятку адрес, і зрозуміти реальну картину складніше.

Звідки беруться дублі

Технічні

• Різні версії адреси головної: з www і без, http і https, зі слешем у кінці й без нього, з /index.php або /index.html.
• Великі та малі літери в URL. /Services/ і /services/ для сервера це різні адреси.
• UTM-мітки й інші параметри. Кожне посилання з розсилки чи реклами формально створює нову адресу.
• Фільтри й сортування. Класичне джерело сотень копій у каталозі: колір, розмір, ціна, сортування за популярністю.
• Пагінація. Сторінки 2, 3, 4 часто мають ті самі Title, Description і текстовий опис категорії.
• Товар у кількох категоріях. Одна картка, доступна за трьома шляхами.
• Внутрішній пошук. Сторінки результатів пошуку по сайту, які потрапили в індекс.
• Версії для друку, AMP-копії, службові адреси розробки.

Контентні

• Однакові описи товарів, узяті з прайсу постачальника, — і у вас, і ще в двадцяти магазинів.
• Сторінки міст або районів, де змінено тільки назву населеного пункту, а решта тексту ідентична.
• Тонкі сторінки послуг, створені під схожі запити з підміненим одним словом.
• Однакові Title і Description на різних сторінках — формально контент різний, але пошукова система бачить однакові сигнали.

Як знайти дублі

Google Search Console, звіт «Індексування сторінок». Найточніше джерело, бо показує, що думає сама пошукова система. Дивіться на три статуси:

• Дублікат без канонічної сторінки, вибраної користувачем — ви не вказали канонічну адресу, Google вирішив сам.
• Дублікат: Google вибрав іншу канонічну сторінку, ніж користувач — ви вказали, але система не погодилась. Зазвичай означає, що ваші внутрішні посилання ведуть на іншу адресу.
• Альтернативна сторінка з правильним канонічним тегом — а це нормальний стан, тут нічого робити не треба.

Краулер (Screaming Frog, Netpeak Spider, SiteAnalyzer). Скануєте сайт і сортуєте за збігом Title, Description, H1 та хешем контенту. Так знаходяться і повні копії, і сторінки з однаковими метаданими.

Оператор site: у пошуку. Швидка ручна перевірка: вводите site:вашсайт.com разом із фрагментом тексту і дивитесь, скільки адрес віддає система. Детально способи перевірки ми розбирали в статті про те, як перевірити індексацію сайту .

Пошук фрагмента в лапках. Беріть речення з опису товару чи послуги, шукайте його в лапках і дивіться, скільки сайтів і скільки ваших сторінок його містять.

Чим закривати: інструмент під кожен випадок

301 редирект — коли друга адреса вам не потрібна взагалі. Це різні версії домену, стара структура URL після редизайну, адреси з /index.html. Правило просте: якщо сторінка не має існувати — вона не існує, а не «існує з canonical». Про налаштування редиректів і типові помилки з ними ми писали в матеріалі про помилку 404 .

rel=canonical — коли обидві адреси мають працювати для користувача, але в індексі потрібна одна. Це UTM-мітки, фільтри, сортування, товар у кількох категоріях. Тег ставиться в <head> неканонічної сторінки і вказує на основну:

html

<link rel="canonical" href="https://site.com/category/product" />

noindex — коли сторінка потрібна людям, але не має бути в пошуку: кошик, особистий кабінет, результати внутрішнього пошуку, службові сторінки подяки.

Об’єднання сторінок — коли дві слабкі сторінки написані під один запит. Кращий текст залишається, другий переноситься в нього, стара адреса закривається редиректом.

Унікалізація — коли дублі контентні. Описи товарів переписуються, сторінки міст отримують реальну локальну специфіку, а не підмінену назву.

Окремо про те, чого робити не треба: закривати дублі через robots.txt. Заборона сканування не є забороною індексації — адреса все одно може потрапити у видачу, тільки без опису. Гірше інше: якщо робот не може завантажити сторінку, він не побачить ні canonical, ні noindex на ній. Заборона в robots.txt перекриває вам же інструмент вирішення проблеми.

Типові помилки з canonical

• Тег не в <head>. Canonical у тілі сторінки ігнорується. Те саме стосується тегів, які додаються скриптом уже після завантаження — їх може бути не враховано.
• Canonical із пагінації на першу сторінку. Поширена помилка: сторінки 2 і 3 містять різні товари, і canonical на першу означає, що їх вміст просто не буде оброблено. Кожна сторінка пагінації має канонічну адресу на себе.
• Ланцюжок canonical. Сторінка А вказує на Б, Б вказує на В. Вказувати треба одразу на кінцеву адресу.
• Canonical на сторінку з редиректом або 404. Сигнал суперечливий, система його проігнорує.
• Canonical разом із noindex на одній сторінці. Це взаємовиключні вказівки: перша каже «зарахуй цю сторінку іншій», друга — «прибери з індексу». Обирайте щось одне.
• Відносний шлях замість повного URL. Вказуйте абсолютну адресу з протоколом і доменом.
• Внутрішні посилання ведуть не на канонічну адресу. Найчастіша причина статусу «Google вибрав іншу канонічну сторінку». Тег — це рекомендація, а посилання по сайту — сильніший сигнал. Вони мають збігатися.

Коли справа не в дублях, а в канібалізації

Окремий випадок — дві повноцінні різні сторінки, написані під один пошуковий запит. Технічно це не дублі: контент унікальний, коду помилок немає. Але в пошуку вони конкурують між собою, і жодна не виходить наверх.

Це вирішується не canonical-тегом, а на етапі планування: одна сторінка — один запит і його синоніми. Як розводити близькі запити й вирішувати, коли потрібна одна сторінка, а коли кілька, ми розбирали окремо в статті про вибір ключових слів для сторінки .

Скільки чекати результату

Після виправлень потрібно дати час на переобхід. Дрібні сайти оновлюються в Search Console за один-два тижні, великі каталоги — довше, бо робот має заново пройти тисячі адрес. Форсувати можна частково: оновити sitemap, залишивши в ньому лише канонічні адреси, і надіслати ключові сторінки на переіндексацію вручну.

Що важливо: сам по собі показник «прибрали 300 дублів» — не результат. Результат — це коли у видачі показується та сторінка, яку ви просуваєте, і її позиції ростуть. Якщо після чистки дублів нічого не змінилося, причина була не в них.

Розібратися, що саме гальмує сайт у вашому випадку — технічний стан, структура чи контент — можна на SEO-аудиті .

Катерина Тучинська

Власниця SEO-агенції Altior з понад 10 роками досвіду у SEO. Працює зі стратегією просування, аудитами, структурою та розвитком сайтів. У матеріалах Altior пояснює SEO через практичну логіку: що саме заважає сайту рости, що варто змінювати і в якій послідовності