Какие страницы должны индексироваться, а какие нужно закрыть от поисковиков?

С точки зрения SEO нужно индексировать те страницы, которые полезны пользователю и продвигают сайт: главная, категории, карточки товаров или услуг, полезный контент в блоге. Закрывать от поисковиков стоит технические разделы типа корзины, личного кабинета, результатов поиска по сайту, страниц с тегами, если они дублируют категории, и любых черновых или служебных страниц.

Индексировать стоит статические информационные страницы: главную, о компании, услуги, блог-статьи и разделы с полезным контентом. В отличие от них, технические и служебные страницы - например, корзину, личный кабинет, результаты поиска по сайту или дубли страниц с фильтрами - лучше закрыть от поисковиков, чтобы не засорять выдачу и не терять вес.

Закрывая служебные разделы, ты помогаешь поисковым системам фокусироваться на основном контенте, тогда как индексация только ключевых страниц повышает их релевантность. Это похоже на уборку в комнате: ты оставляешь на виду только важные вещи, а личное и временное убираешь в шкаф.

Индексировать стоит только контент, который приносит реальную пользу пользователям - основные страницы услуг, информационные статьи, каталоги товаров. Все технические разделы вроде корзины, личных кабинетов и страниц оплаты нужно закрывать от поисковиков. Еще бы я исключил дублирующий контент и результаты поиска по сайту - они только засоряют выдачу.