Разделы


Robots.txt


Robots.txt — специальный текстовый файл, который предназначен для роботов поисковых систем. Главная его задача — «дать понять» роботам, какие страницы сайта необходимо проигнорировать и исключить из поисковой выдачи, а какие должны там присутствовать. При помощи этого файла можно в несколько раз снизить число запросов, поступающих на сервер, что в свою очередь снизит его нагрузку. Robots.txt не используется для запрета показа конкретных страниц в выдаче поисковика.

 

СОБЫТИЯ

Опубликовать/исправить описание технологии — book@cnews.ru


28.10.2025 Георгий Тарасов -

Георгий Тарасов, Curator: Для обучения ИИ требуется все больше бот-трафика

1
12.09.2025 Хозяева сайтов смогут назначать плату компаниям, которые обучают нейросети на их материале. Разработан стандарт 2
29.01.2025 Разозленные наглостью ИИ-компаний сайты тайком внедряют новое оружие против поисковых роботов 1
10.07.2024 Знаменитый производитель материнских плат и видеокарт Zotac вывалил в открытый доступ данные своих клиентов 1
06.12.2023 Qrator Labs зафиксировала всплеск бот-активности в период распродаж «Черной пятницы» 2023 1
12.02.2021 «Яндекс» сдал своего сотрудника правоохранителям за взлом тысяч почтовых ящиков клиентов 2
28.08.2020 Google в опасности: Apple строит собственный поисковый сервис 1
05.07.2018 «Яндекс» рассекретил тайны пользователей Google 1
30.03.2018 Чужие записи в Telegram может отредактировать любой желающий 1
17.01.2018 Хакеры научились «ломать» Linux-сервера, чтобы добывать криптовалюту 1
19.02.2015 «Теневой интернет» стал доступен рядовым пользователям 1
10.11.2011 Пенсионный фонд слил в Сеть личные данные граждан 1
31.08.2011 «Мегафон» признали виновным в массовой утечке SMS 1
08.08.2011 В июле 2011 г. произошла самая масштабная утечка данных в истории Рунета 1
26.07.2011 Прокуратура займется сексмагами, открывшими секреты клиентов поисковикам 1
25.07.2011 «Яндекс» раскрыл покупателей секс-шопов и их заказы 2
21.07.2011 EMS Russian Post ввёл on-line мониторинг работы систем информационной безопасности 1
19.07.2011 «Мегафон»: в скандальной утечке SMS может быть виноват «Яндекс.Бар» 2
18.07.2011 «Яндекс»: в утечке SMS виноваты админы «Мегафона» 2
29.08.2008 Порталы по госзакупкам: только закона мало 1
24.12.2007 «Яндекс» открыл сервис для вебмастеров 1
01.08.2007 Google вносит изменения в стандарт REP 1
18.04.2007 Google: сделать сайт «невидимкой» стало проще 1
13.04.2007 Sitemaps: Google, Yahoo!, MSN теперь «заодно» 1
10.04.2007 Карапузы восстали против Яндекса 1
27.10.2006 Google отменила ограничение на индексацию страниц с id в URL 1
27.01.2006 Google разрешили кэшировать веб-сайты 2
19.04.2004 NetPromoter Lab обновил По для оптимизации и регистрации веб-сайтов 1

Публикаций - 28, упоминаний - 34

Robots.txt и организации, системы, технологии, персоны:

Google LLC 12376 18
Yandex - Яндекс 8695 13
МегаФон 10194 8
Yahoo! 3711 4
OpenAI 422 4
VK - Mail.ru Group 3544 3
Microsoft Corporation 25383 2
9145 2
ВымпелКом - Билайн - Beeline - Вымпел-Коммуникации 9267 2
InterActiveCorp - IAC 18 1
Anthropic 80 1
DeepSeek - Hangzhou DeepSeek Artificial Intelligence 150 1
Perplexity - Perplexity AI 43 1
Kaspersky - Лаборатория Касперского 5348 1
Amazon Inc - Amazon.com 3178 1
Apple Inc 12813 1
Meta Platforms - Facebook 4564 1
Intel Corporation 12606 1
IBM - International Business Machines Corp 9573 1
InfoWatch - Инфовотч 1119 1
Check Point Software Technologies 804 1
Telegram Group 2701 1
Curator - Эйч-Эль-Эль - Qrator Labs - Highload Lab 163 1
Rambler Group - Рамблер ГК - Rambler&Co - Rambler Internet Holding - Рамблер интернет-холдинг - Rambler Media Group - Рамблер Медиа Групп 976 1
Sophos - SophosLabs 424 1
2ГИС - 2GIS - ДубльГИС 392 1
BlackBerry - Research In Motion (RIM) 1586 1
Cloudflare 135 1
Ростех - Росэлектроника - Вега - Вектор НИИ - Научно-исследовательский институт 1011 1
ИТБ - Информационные технологии будущего 90 1
Pegatron - ASRock 56 1
Zotac 22 1
Nvidia Corp 3801 1
Марвел-Дистрибуция - Marvel Distribution Company - Марвел КТ 343 1
Keysight Technologies - IXIA 16 1
Технологии Будущего 158 1
InterActiveCorp - Ask.com - AskJeeves.com 122 1
Марвел-Дистрибуция - Fplus - Фплюс - Ф-Плюс Оборудование и разработки - Ф-Плюс Мобайл - Fplusmobile - F+ tech - F+ data 375 1
PowerColor 13 1
Минцифры РФ - Роскомнадзор РФ - Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций - Роскомсвязьнадзор - Россвязьнадзор - Россвязькомнадзор - Госсвязьнадзор 2982 6
Правоохранительные органы - Полиция - Милиция - Силовые ведомства - Спецслужбы - Специальные службы - Охранные структуры 5800 3
ВАС РС - Арбитражный суд города Москвы - Арбитражный суд Московского округа 1108 2
U.S. Federal government - Federal government of the United States - Высшие федеральные органы государственной власти США 1635 1
ФСБ РФ - Федеральная служба безопасности Российской Федерации 3443 1
ФСТЭК РФ - Федеральная служба по техническому и экспортному контролю - Гостехкомиссия России 5127 1
СФР - ПФР - ПФ РФ - Пенсионный фонд Российской Федерации 1680 1
Госдума РФ - Государственная Дума Федерального Собрания РФ 3589 1
Государственные органы власти - ФОИВ РФ - Федеральные органы исполнительной власти - Федеральные министерства 5297 1
Минобороны РФ - Министерство обороны Российской Федерации - ВС РФ - Вооружённые силы Российской Федерации 3132 1
U.S. Department of Defense - Pentagon - Министерство обороны США - Пентагон - Department of War, DoW 1871 1
Президент РФ - Президент Российской Федерации 4849 1
U.S. Department of State - Госдепартамент США - Государственный департамент 538 1
Генпрокуратура РФ - СКР РФ - Следственный комитет Российской Федерации - Генпрокуратура РФ - СКР РФ ГСУ - Главное следственное управление Следственного комитета РФ 741 1
Совфед РФ - Совет Федерации Федерального Собрания Российской Федерации 1153 1
Районный суд РФ - Мосгорсуд - Московский городской суд - Районные суды Москвы 839 1
ФФОМС РФ - Федеральный фонд обязательного медицинского страхования‎ 362 1
ФФОМС РФ - ТФОМС - Территориальные фонды обязательного медицинского страхования 126 1
U.S. Supreme Court of the United States - Верховный суд США 212 1
Судебная власть - Judicial power 2421 1
U.S. Department of Defense - United States Navy, USN - ВМФ США - Военно-морские силы США - United States Marine Corps, USMC - Корпус морской пехоты США 663 1
Search engine - поисковая система - поисковые технологии - поисковый робот - поисковый портал 3099 13
Робототехника - Роботизация - Robotic Governance - Робототехнические системы, комплексы 6996 10
SMS - Short Message Service - Служба коротких сообщений 9031 9
Кибербезопасность - DLP - Data Leak Prevention - IDL - Information Leaks Detection - Предотвращение утечек информации - Предотвращение потери данных 7735 9
Кибербезопасность - Компьютерная безопасность - Информационная безопасность - ИБ-интегратор - Киберпреступность - Cybersecurity - Киберинциденты - Киберустойчивость - Cyber resilience 32423 8
Сервер - серверные платформы (системы) - серверное оборудование - server platforms server hardware 32166 7
Website URL - Website Uniform Resource Locator 998 6
Браузер - Веб-обозреватель - Web-browser - Веб-навигатор - Web-navigator 9766 6
HTML - HyperText Markup Language - Стандартизированный язык разметки документов в интернете 1922 6
Бот - Bot - Программа, выполняющая автоматически / по расписанию действия через интерфейсы, предназначенные для людей 2506 6
ИСПДн - Информационная система персональных данных - Защита и обезличивание персональных данных, деперсонализация - Автоматизация процесса сбора, хранения, передачи и защиты персональных данных граждан 8890 6
Кибербезопасность - IAM - Identity and Access Management - IGA - Identity Governance and Administration - IdM - Authentication (Identity) Management - CIAM - Customer Identity and Access Management - Аутентификация - Управление учётными данными 12488 6
ИТ-экосистема - ИТ-ландшафт - ИТ-архитектура - Информационная инфраструктура - ИТ-инфраструктура - ИКТ-инфраструктура - Информационно-телекоммуникационная инфраструктура, ИТКИ - Программно-аппаратный комплекс, ПАК - Комплекс программно-технических средств 74517 5
Искусственный интеллект - ИИ - Artificial Intelligence - AI - Artificial General Intelligence - AGI - Общий искусственный интеллект - Искусственный интеллект общего назначения - Универсальный искусственный интеллект 19213 4
DNS - Domain Name System - Система доменных имён 5464 4
e-Commerce - Электронная коммерция - интернет-магазин - цифровой магазин - онлайн-торговля - онлайн-ритейлер - онлайн-продажи - системы электронной коммерции 13127 4
Искусственный интеллект - Чат-бот - Chat-bot - Виртуальный собеседник (ассистент, помощник) - Virtual Assistant - Диалоговый робот (цифровой помощник) - Interactive digital assistant - Разговорный ИИ - Conversational AI - чат-боты с поддержкой NLU 5965 4
Кибербезопасность - Вредоносное ПО - ВПО - Зловред - malware 13746 4
Кибербезопасность - Vulnerability - Уязвимость - компьютерная безопасность - ИБ-дефект - Exploit - Эксплоиты (эксплойты), использующие уязвимости в ПО 7097 4
Кибербезопасность - Антивирус - Антивирусная программа - Средство антивирусной защиты - Средство обнаружения вредоносного ПО - Antimalware Platform Requirements 7777 3
Scam - Fraud - Скам - афера или мошенничество - махинации 6020 3
Кибербезопасность - Botnet - Ботнет - Вредоносное ПО - зомби-сеть - Сетевой червь - Почтовый червь - Интернет-червь - Паразитный (несанкционированный, вредоносный) трафик 1372 3
Cryptocurrency Mining - Cryptojacking - Криптоджекинг - Криптомайнер - Cryptomining - Скрытый майнинг - Нелегальный майнинг 347 2
PrivacyTech - Конфиденциальная информация - Анонимность - анонимизация - деанонимизация 1096 2
Кибербезопасность - НСД - Несанкционированный (неправомерный) доступ к информации - контроль целостности - компрометация (криптография) - Compromise Assessment - Data security 2721 2
HTTP - HyperText Transfer Protocol - Протокол передачи гипертекста 2337 2
ISP - Internet Service Provider - Internet Access Provider - Интернет-провайдер 17319 2
Кибербезопасность - DoS - DDoS - Distributed Denial of Service - Распределенный отказ в обслуживании - Многовекторные атаки - L7-атака - AntiDDoS-решения - DDoS Defense Service 3631 2
Кибербезопасность - Trojan - TrojWare - Троянская программа - Дроппер - Dropper - Вредоносное ПО 3301 2
Кибербезопасность - Фишинг - Phishing 2406 2
MLOps - Machine Learning Operations - Машинное обучение - AutoML - Автоматизированная подготовка данных - самообучение - ModelOps 6061 2
W3C - XML - eXtensible Markup Language - Расширяемый язык разметки - RSS - Rich Site Summary - RDF site summary - Really Simple Syndication - протокол передачи данных 1766 2
Instant Messenger - Мессенджер - Текстовые коммуникация - IM-системы для обмена мгновенными текстовыми, аудио и видео сообщениями - Интернет-пейджер 8620 2
MLOps - Нейросеть - Artificial Neural Networks, ANN - Искусственная нейронная сеть - Artificial Neural Network - Нейросетевые технологии - Neural network technologies 4218 2
CMS - Content Management System - Система управления содержимым-сайтами (контентом) 831 2
Кибербезопасность - SAPAS - Safety, Accessibility, Privacy, Authenticity, Security - Векторы киберзащиты: безопасность, доступность, приватность, аутентичность и защищенность данных 1464 2
Scanner - Сканер - Устройство ввода - создание цифрового изображения объекта - сканирующее оборудование 3628 2
Email - Электронная почта - e-mail - electronic mail - технология и служба по пересылке и получению электронных сообщений 13379 2
IP-сеть - IP-адрес - Internet Protocol Address - IP address - Уникальный сетевой адрес узла в компьютерной сети на основе стека протоколов TCP/IP 4398 2
Cryptocurrency - Decentralized Finance, DeFi - Децентрализованные финансовые криптоплатформы - Криптографическая валюта, криптовалюта - Цифровая валюта, Digital currency - Электронные деньги - Цифровые финансовые активы, ЦФА - Digital financial assets 1740 2
MITRE CVE - MITRE Common Vulnerabilities and Exposures - База данных общеизвестных уязвимостей информационной безопасности 5265 4
Microsoft Bing - Microsoft Search in Bing - Microsoft Live Search 506 3
Яндекс.Бар 28 3
OpenAI - ChatGPT 604 2
Google Android 14881 2
Google Search - Googlearchy - Гугл Поиск - Гуглеархия 481 2
OpenAI GPT - Generative Pre-trained Transformer - Алго­рит­м обра­бот­ки есте­ствен­но­го язы­ка 154 2
Curator - Эйч-Эль-Эль - Curator.AntiBOT - Qrator Bot Protection - Qrator AntiBot 8 2
Почта России EMS - Express Mail Service - Курьерская служба - Курьер онлайн 40 1
Telegram Bug Bounty 1 1
FreePik 1566 1
Вирус-вымогатель (шифровальщик) - Conficker Working Group - Conficker - Downup, Downadup, Kido - компьютерный червь 131 1
Google Chrome - браузер 1666 1
Google YouTube - Видеохостинг 2925 1
Apple iPhone - серия смартфонов 7446 1
Apple iPad 3952 1
Apple iOS 8375 1
Linux OS 11090 1
Google Assistant - Облачный сервис персонального ассистента - OK google 1440 1
Apple macOS 2300 1
Apple Mac - Apple Macintosh 3070 1
Nokia Symbian OS 1403 1
Microsoft Windows 16500 1
Apple - App Store 3028 1
Nvidia GeForce RTX - Nvidia Titan RTX - Nvidia RTX Studio - Серия GPU - Graphics processing unit - Графический процессор 399 1
PHP Hypertext Preprocessor - язык программирования 650 1
JavaScript - JS - язык программирования 1354 1
Apple Siri - Голосовой помощник 422 1
Tor Project - Tor - Onion routing - ПО для анонимного сетевого соединения - Луковая маршрутизация 283 1
Microsoft Windows Server - Серверная операционная система 829 1
Google - Gmail 993 1
МФЦ - Многофункциональный центр предоставления государственных и муниципальных услуг - МФЦ Мои документы региональные и городские 1549 1
Apple iPadOS 130 1
Apple Safari - браузер 881 1
Mozilla Firefox - браузер 1921 1
Monero (XMR) - криптовалюта на основе протокола CryptoNote 121 1
Google One - Google Drive - Google Диск - Сервис хранения, редактирования и синхронизации файлов 366 1
Google Docs - Google Office - Бесплатный онлайн-офис - Текстовый редактор 348 1
PKWARE - ZIP - Формат архивации файлов и сжатия данных 621 1
Microsoft Office Excel - XLS-XLSX 1348 1
PrivacyTech - Конфиденциальная информация - Конфиденциальные данные - Конфиденциальность и защита учетных записей - Чувствительная информация - Confidential information 7016 5
Государственные органы власти - Государственный сектор экономики - Госзаказчик - Государственный заказчик - Государственное и муниципальное управление - госсектор - госучреждения 55435 4
ОПК - Оборонно-промышленный комплекс - ВПК - Военно-промышленный комплекс - Обороноспособность - ВВСТ, вооружение, военная и специальная техника - Military-industrial complex - Оружие - Weapon 8934 3
Системный администратор - System administrator - ИТ-администратор - Системное администрирование - День Сисадмина - День системного администратора - последняя пятница июля 1348 3
Русский язык - День русского языка - 6 июня - русифицирование - русификация 11489 3
Судебная власть - Судебная практика, тяжба - Судебный иск, процесс - Судебное разбирательство - истец-ответчик - Lawsuit, trial 7640 3
Финансовый сектор - Банковская отрасль экономики - Кредитно-финансовые организации - Сектор финансовых корпораций - банковские операции - банковские услуги 51641 3
Судебная власть - Уголовное преступление - уголовное наказание - правонарушение (общественно опасное деяние) - задержание, арест, лишение свободы - тюремное заключение 3733 2
Торговля розничная - Чёрная пятница (распродажи) 342 2
Webmaster - Вебмастер 133 2
ИТ-рынок труда - ИТ-кадры - ИТ-персонал - ИТ-специалист - ИТ-менеджер 15362 2
Интернет-пользователь - internet user - интернет-сообщество - internet community - интернет-аудитория - internet audience 2152 1
M&A - Mergers and Acquisitions - Монополии - Monopoly - антимонопольные службы, законодательство, комплаенс 1870 1
Русский язык - Кириллица - Кириллические алфавиты - Кириллическая письменность 145 1
Издательское дело - Издательство - Книгоиздание - книжная индустрия - Publishing - Book Industry 1759 1
Статистика - Statistics - статистические данные 1842 1
Финансовый сектор - Кредитование - Коллекторское агентство - долговое агентство 440 1
Федеральный закон 94-ФЗ - О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд 256 1
ОКАТО - Общероссийский классификатор объектов административно-территориального деления Российской Федерации 10 1
Рунет - Русскоязычный интернет - Кириллические домены .Ru .РФ .РУС - Российский сегмент сети Интернет 3695 1
Internet Economy - Интернет-экономика - Сетевая экономика 5839 1
Здравоохранение - Фарминдустрия, фармацевтика и фармакология - Pharmaceuticals - Аптеки - Лекарственные препараты, Медикаменты - Медико-биологическая наука о лекарственных веществах и их действии на организм 4792 1
Федеральный закон 152-ФЗ - О персональных данных 2582 1
Startup - Стартап - Компания с короткой историей операционной деятельности 5540 1
Торговля розничная - Ритейл - Шопинг - Розница - Retail - торговые компании 26215 1
Торговля - FMCG&Retail - Fast Moving Consumer Goods - Товары повседневного спроса - Товары народного потребления - Потребительский рынок 5355 1
DarkNet - Deep Web - Даркнет - Дарквеб - Теневой интернет - Теневая Сеть - Темный интернет - Темная паутина - Скрытый интернет 576 1
Здравоохранение - БАД - Биологически активные добавки к пище - Biologically active food additives - Функциональный пищевой продукт 120 1
Социальная инженерия - Человеческий фактор - Human factor - Человеческие ошибки 2836 1
Copyright - Копирайт - Авторские и смежные права - Правообладатель - Интеллектуальная собственность - Intellectual Property - пиратство 4968 1
DMCA - Digital Millennium Copyright Act - Закон об авторском праве в цифровую эпоху 157 1
Запугивание и шантаж 169 1
Федеральный закон 218-ФЗ - О кредитных историях 233 1
Финансовый сектор - Кредитование - Сrediting - Заём 7342 1
Юриспруденция - Jurisprudence - юридическая консультация - юридические услуги 8435 1
Строительство - Девелопмент - Застройщики - Промышленность строительных материалов - Строительная техника - Промышленное и жилищное строительство - Производство строительных отделочных материалов 6339 1
Паспорт - Паспортные данные 2749 1
Юриспруденция - Законодательство - Legislation - Законодательная база - Нормативно-правовые акты 8582 1
Номер телефона - Телефонный номер - Абонентский номер - Phone number 1775 1
Прокуратура - система органов, осуществляющих от имени государства высший надзор за соблюдением законодательства, прав, свобод человека и гражданина 1833 1
* Страница-профиль компании, системы (продукта или услуги), технологии, персоны и т.п. создается редактором на основе анализа архива публикаций портала CNews. Обрабатываются тексты всех редакционных разделов (новости, включая "Главные новости", статьи, аналитические обзоры рынков, интервью, а также содержание партнёрских проектов). Таким образом, чем больше публикаций на CNews было с именем компании или продукта/услуги, тем более информативен профиль. Профиль может быть дополнен (обогащен) дополнительной информацией, в т.ч. презентацией о компании или продукте/услуге.

Обработан архив публикаций портала CNews.ru c 11.1998 до 03.2026 годы.
Ключевых фраз выявлено - 1424978, в очереди разбора - 727075.
Создано именных указателей - 191570.
Редакция Индексной книги CNews - book@cnews.ru

Читатели CNews — это руководители и сотрудники одной из самых успешных отраслей российской экономики: индустрии информационных технологий. Ядро аудитории составляют топ-менеджеры и технические специалисты департаментов информатизации федеральных и региональных органов государственной власти, банков, промышленных компаний, розничных сетей, а также руководители и сотрудники компаний-поставщиков информационных технологий и услуг связи.
До 20 марта открыт прием заявок на Конкурс «Импортозамещение в телекоммуникациях» До 20 марта открыт прием заявок на Конкурс «Импортозамещение в телекоммуникациях»

erid: 2W5zFHXcZPo

Рекламодатель: ООО «ФЛАТ-ПРО»

ИНН/ОГРН: 9714013259/1237700428240