03 Фев 09 Директива Clean-param, важный параметр robots.txt
Итак, Яндекс сделал важное нововведение, Директива Clean-param в robots.txt
Тем самым он избавляет себя от лишней нагрузки и вебмастеров от склейки страниц и пессимизации.
Если вкратце - в robots.txt указываем параметр который не влияет на содержимое страницы и паук яндекс будет пропускать такие страницы. Примером могут служить многие форумы хранящие сессии в линках, партнёрские магазины с параметрами aff/id=45 и другие CMS.
#для форумов:
www.forum.ru/showthread.php?s=681498b9648949605&t=8243
www.forum.ru/showthread.php?s=1e71c4427317a117a&t=8243
#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /showthread.php#для партнёрок:
www.magazin.ru/get_tovar.pl?aff=12&book_id=123
www.magazin.ru/get_tovar.pl?aff=856&book_id=123
#robots.txt будет содержать:
User-agent: Yandex
Disallow:
Clean-param: s /forum/showthread.php
То есть эти параметры в линках исключаются для бота и он не проходит сотни зеркальных страниц.
Думаю это очень удачное нововведение если не будет глюков 
Гууглу стоит тоже смотреть в эту сторону.
Как обычно читаем подробно ТУТ
