Решён
Как продвигать сайт с большим количеством страниц?

SEO Data Geek SEO
906
5

Есть крупный интернет - магазин запчастей, страниц больше ста тысяч, постоянная ротация ассортимента. База обновляется ежедневно, старые карточки вылетают, новые добавляются. Роботы Яндекса и Гугла обходят все это со скрипом, куча страниц висит в статусе просканировано, но не добавлено.
Как продвигать сайт с большим количеством страниц, чтобы не сливать краулинговый бюджет? Как оптимизировать обход роботами без потери позиций в поиске?

Решение
49
Участник • 2 ответа

Главное при работе с миллионниками - настроить корректную отдачу HTTP - заголовков Last-Modified и обработку If-Modified-Since на стороне веб - сервера. Если товар не менялся, сервер должен отдавать 304 статус. Это экономит краулинговый бюджет на порядок.

Второе - делите sitemap.xml. Один файл на сто тысяч страниц - это смерть для краулера. Разбейте карту сайта на файлы по десять тысяч урлов, сгруппировав их по категориям, и соберите все в один индексный файл sitemaps. Добавляйте туда только те товары, которые реально есть в наличии. Нет на складе - убираем из sitemap, отдаем 404 или 410 статус, если товар больше никогда не появится.

34
Эксперт • 3 ответа

Тут дело скорее всего в том, что сервак отдает горы дублей из - за фильтров и сортировок. Поисковики застревают на генерации урлов с параметрами типа page, sort, price и тратят весь лимит обхода на этот мусор.

Закрой нафиг все эти гет - параметры через robots.txt. Для Яндекса пропиши Clean-param, для Гугла настрой параметры сканирования в консоли. Пока ты не очистишь структуру от этого шлака, боты до новых карточек просто не доберутся.

24
Участник • 1 ответ

У нас на проекте автоаксессуаров была похожая беда, около двухсот тысяч страниц. Поисковые роботы тупо застревали на страницах пагинации глубоко в категориях.

Решили проблему жестко. Сделали автогенерацию теговых страниц под популярные низкочастотные запросы и перелинковали их через хлебные крошки. Ссылки на карточки стали доступны максимум в три клика от главной. Скорость индексации новых позиций выросла в разы, а мусорные карточки без спроса вообще закрыли от индекса.

11
Эксперт • 9 ответов

А зачем вообще индексировать сто тысяч страниц? Вы уверены, что на все эти товары есть поисковый спрос? Наверняка половина карточек - это редкие гайки, которые никто никогда не ищет напрямую в поиске. Оставьте в индексе категории, подкатегории и ходовые позиции, а редкий неликвид закройте от индексации. Сайт станет легче, позиции основных разделов сразу поползут вверх.

3
Участник • 2 ответа

У меня та же проблема на сайте стройматериалов. Яндекс вообще перестал новые товары хавать, висят по месяцу. Гугл хотя бы через Indexing API можно пнуть, а с Яндексом прямо беда какая то, ручной переобход по лимитам быстро заканчивается.

Написать ответ

Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Будьте вежливы и соблюдайте правила платформы.