Спецпроекты

Google вносит изменения в стандарт REP

Интернет Безопасность Интернет-доступ Интернет-реклама Веб-сервисы Интернет-ПО

Google вносит изменения в стандарт REP (Robots Exclusion Protocol), протокол исключения роботов, который используется файлами Robots.txt для googlebot, сообщается в официальном блоге компании.

Были представлены новые META-тэги роботов: unavailable_after и X-Robots-Tag. С их помощью можно исключить страницу из результатов поиска после указанной даты, запретить кэширование страницы и т.д. Например, при использовании unavailable_after страница перестает показываться в результатах поиска, но продолжает оставаться в системе.

Бесплатный ознакомительный семинар: «Стартап-менеджмент - новый подход к решению сложных задач в условиях жесткой конкуренции» 6.08



Профиль месяца

Нужно ли локализовывать иностранное ПО

Александр Шохин

президент Российского союза промышленников и предпринимателей

Взгляд месяца

Государство должно получать данные напрямую из информсистем компаний

Савва Шипов

Замминистра Минэкономразвития