Разделы


Robots.txt


Robots.txt — специальный текстовый файл, который предназначен для роботов поисковых систем. Главная его задача — «дать понять» роботам, какие страницы сайта необходимо проигнорировать и исключить из поисковой выдачи, а какие должны там присутствовать. При помощи этого файла можно в несколько раз снизить число запросов, поступающих на сервер, что в свою очередь снизит его нагрузку. Robots.txt не используется для запрета показа конкретных страниц в выдаче поисковика.

 


06.12.2023 Qrator Labs зафиксировала всплеск бот-активности в период распродаж «Черной пятницы» 2023 1

12.02.2021 «Яндекс» сдал своего сотрудника правоохранителям за взлом тысяч почтовых ящиков клиентов 2

28.08.2020 Google в опасности: Apple строит собственный поисковый сервис 1

05.07.2018 «Яндекс» рассекретил тайны пользователей Google 1

30.03.2018 Чужие записи в Telegram может отредактировать любой желающий 1

17.01.2018 Хакеры научились «ломать» Linux-сервера, чтобы добывать криптовалюту 1

19.02.2015 «Теневой интернет» стал доступен рядовым пользователям 1

10.11.2011 Пенсионный фонд слил в Сеть личные данные граждан 1

31.08.2011 «Мегафон» признали виновным в массовой утечке SMS 1

08.08.2011 В июле 2011 г. произошла самая масштабная утечка данных в истории Рунета 1

26.07.2011 Прокуратура займется сексмагами, открывшими секреты клиентов поисковикам 1

25.07.2011 «Яндекс» раскрыл покупателей секс-шопов и их заказы 2

21.07.2011 EMS Russian Post ввёл on-line мониторинг работы систем информационной безопасности 1

19.07.2011 «Мегафон»: в скандальной утечке SMS может быть виноват «Яндекс.Бар» 2

18.07.2011 «Яндекс»: в утечке SMS виноваты админы «Мегафона» 2

29.08.2008 Порталы по госзакупкам: только закона мало 1

24.12.2007 «Яндекс» открыл сервис для вебмастеров 1

01.08.2007 Google вносит изменения в стандарт REP 1

18.04.2007 Google: сделать сайт «невидимкой» стало проще 1

13.04.2007 Sitemaps: Google, Yahoo!, MSN теперь «заодно» 1

10.04.2007 Карапузы восстали против Яндекса 1

27.10.2006 Google отменила ограничение на индексацию страниц с id в URL 1

27.01.2006 Google разрешили кэшировать веб-сайты 2

19.04.2004 NetPromoter Lab обновил По для оптимизации и регистрации веб-сайтов 1


Публикаций - 24, упоминаний - 29

Robots.txt и организации, системы, технологии, персоны:

Минцифры РФ - Роскомнадзор РФ - Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций - Роскомсвязьнадзор - Россвязьнадзор - Россвязькомнадзор - Госсвязьнадзор 2585 5
Правоохранительные органы - Полиция - Милиция - Силовые ведомства - Спецслужбы - Специальные службы - Охранные структуры 5140 3
Арбитражный суд города Москвы - Арбитражный суд Московского округа 937 2
Минобороны РФ - Министерство обороны Российской Федерации - ВС РФ - Вооружённые силы Российской Федерации 2858 1
U.S. Federal government - Federal government of the United States - Высшие федеральные органы государственной власти США 1407 1
U.S. Supreme Court of the United States - Верховный суд США 203 1
Районный суд - Мосгорсуд - Московский городской суд - Районные суды Москвы 742 1
U.S. Department of State - Госдепартамент США - Государственный департамент 489 1
ФФОМС РФ - ТФОМС - Территориальные фонды обязательного медицинского страхования 106 1
Генпрокуратура РФ - СКР РФ - Следственный комитет Российской Федерации - Генпрокуратура РФ - СКР РФ ГСУ - Главное следственное управление Следственного комитета РФ 635 1
U.S. Department of Defense - United States Navy, USN - ВМФ США - Военно-морские силы США 570 1
ФСБ РФ - Федеральная служба безопасности Российской Федерации 2960 1
СФР - ПФР - ПФ РФ - Пенсионный фонд Российской Федерации 1636 1
U.S. Department of Defense - Pentagon - Министерство обороны США - Пентагон 1737 1
ФФОМС РФ - Федеральный фонд обязательного медицинского страхования‎ 335 1
Государственные органы власти - ФОИВ РФ - Федеральные органы исполнительной власти - Федеральные министерства 4747 1
ФСТЭК РФ - Федеральная служба по техническому и экспортному контролю - Гостехкомиссия России 3530 1
Судебная власть - Judicial power 2228 1
Search engine - поисковая система - поисковые технологии - поисковый робот 2799 12
SMS - Short Message Service - Служба коротких сообщений 8146 9
Кибербезопасность - DLP - Data Leak Prevention - IDL - Information Leaks Detection - Предотвращение утечек информации 6007 7
HTML - HyperText Markup Language - Стандартизированный язык разметки документов в интернете 1810 6
ИСПДн - Информационная система персональных данных - Защита и обезличивание персональных данных - Автоматизация процесса сбора, хранения, передачи и защиты персональных данных граждан 6699 6
Браузер - Веб-обозреватель - Web-browser - Веб-навигатор - Web-navigator 8796 6
Кибербезопасность - Компьютерная безопасность - Информационная безопасность - ИБ-интегратор - Киберпреступность - Cybersecurity - Киберинциденты 24302 5
Website URL - Uniform Resource Locator 825 5
Сервер - серверные платформы (системы) - серверное оборудование - server platforms server hardware 27954 5
e-Commerce - Электронная коммерция - интернет-магазины - онлайн-торговля - онлайн-продажи - системы электронной коммерции 11087 4
Робототехника - Роботизация - Robotic Governance 4808 4
Кибербезопасность - IAM - Identity and Access Management - IGA - Identity Governance and Administration - IdM - Authentication (Identity) Management - CIAM - Customer Identity and Access Management - Аутентификация - Управление учётными данными 10035 4
RPA - Robotics Process Automation - Роботизированная автоматизация процессов - Digital Process Automation, DPA 4670 4
DNS - Domain Name System - Система доменных имён 4538 4
Кибербезопасность - Vulnerability - Уязвимость - компьютерная безопасность - Exploit - Эксплоиты, использующие уязвимости в ПО 5590 3
Вредоносное ПО - Зловред - malware 11873 3
Бот - Bot - Программа, выполняющая автоматически / по расписанию действия через интерфейсы, предназначенные для людей 1637 3
Кибербезопасность - Антивирус - Антивирусная программа - Средство антивирусной защиты - Средство обнаружения вредоносного ПО - Antimalware Platform Requirements 7210 3
Instant Messenger - Мессенджер - IM-системы для обмена мгновенными текстовыми, аудио и видео сообщениями - Интернет-пейджер 5894 2
Электронная почта - e-mail - electronic mail - технология и служба по пересылке и получению электронных сообщений 12286 2
HRM - Удаленная работа сотрудников (удалёнка) - Мониторинг удаленно работающего персонала - Дистанционная работа - Remote work 11792 2
Trojan - TrojWare - Троянская программа - Вредоносное ПО 2909 2
Кибербезопасность - SAPAS - Safety, Accessibility, Privacy, Authenticity, Security - Векторы киберзащиты: безопасность, доступность, приватность, аутентичность и защищенность данных 1092 2
Cryptocurrency - Decentralized Finance, DeFi - Децентрализованные финансовые криптоплатформы - Криптографическая валюта, криптовалюта - Цифровая валюта, Digital currency - Электронные деньги - Цифровые финансовые активы, ЦФА - Digital financial assets 1334 2
HTTP - HyperText Transfer Protocol - Протокол передачи гипертекста 2154 2
Вредоносное ПО - Криптомайнер - Cryptomining 263 2
Scam - Fraud - Скам - афера или мошенничество - махинации 4510 2
ISP - Internet Service Provider - Интернет-провайдер 14670 2
IP-сеть - IP-адрес - Internet Protocol Address - IP address - Уникальный сетевой адрес узла в компьютерной сети на основе стека протоколов TCP/IP 3845 2
Web development - Веб-разработка 249 1
Открытые данные - Open data - Информационная открытость 597 1
AJAX - Asynchronous Javascript and XML - подход к построению интерактивных пользовательских интерфейсов веб-приложений 169 1
AdTech - Цифровые решения в области продвижения товаров и услуг онлайн и анализа потребительского спроса - Рекламные платформы - см также MarTech 4557 1
Кибербезопасность - Фишинг - Phishing 1579 1
Cryptocurrency Mining - Майнинг криптовалюты 446 1
Sitemap.xml 9 1
Scanner - Сканер - Устройство ввода - создание цифрового изображения объекта 3283 1
Microsoft Windows API 296 1
Loyalty Management - Системы лояльности - Программы поощрения клиентов - Программы поощрения постоянных покупателей 4161 1
Кибербезопасность - Honeypot deployment - "горшочек с медом" - приманка для злоумышленников - CyberTrap 148 1
MITRE CVE - Common Vulnerabilities and Exposures - База данных общеизвестных уязвимостей информационной безопасности 3908 4
Microsoft Bing - Microsoft Search in Bing - Microsoft Live Search 451 3
Яндекс.Бар 19 3
Google Android 13488 2
Eternalblue - Эксплойт, эксплуатирующий компьютерную уязвимость Windows 282 2
Apple Applebot - поисковый робот 1 1
Duck Duck Go - DuckDuckGo - DDG - поисковая система 26 1
Apple iPadOS 96 1
Google Search - Googlearchy - Гугл Поиск - Гуглеархия 414 1
Nokia Symbian OS 1398 1
Stafory - робот Вера 319 1
ВГТРК - Смотрим 584 1
Monero (XMR) - криптовалюта на основе протокола CryptoNote 94 1
Microsoft IIS - Microsoft Internet Information Services-Server 216 1
Яндекс.Метрика - Yandex.Metrika - Webvisor - Вебивизор 232 1
Google Dork Query 1 1
Apple News 12 1
OpenAI GPTBot 2 1
Apple macOS Tiger 3 1
Ruby on Rails - фреймворк 25 1
Microsoft MSN - Microsoft Network 684 1
Telegram Bug Bounty 1 1
Вирус-вымогатель (шифровальщик) - Conficker Working Group - Conficker - Downup, Downadup, Kido - компьютерный червь 102 1
Почта России EMS - Express Mail Service - Курьерская служба - Курьер онлайн 40 1
OpenAI ChatGPT 228 1
Apple - App Store 2783 1
Google One - Google Drive - Google Диск - Сервис хранения, редактирования и синхронизации файлов 316 1
Apple macOS 1917 1
PHP Hypertext Preprocessor - язык программирования 543 1
Apple iOS 7413 1
Microsoft Windows Server - Серверная операционная система 764 1
Google Assistant - Облачный сервис персонального ассистента - OK google 901 1
Linux OS 9227 1
Microsoft Windows Mobile OS - Microsoft Windows CE - Microsoft WinCE - Microsoft Windows Compact Edition - Microsoft Pocket PC - Microsoft Handheld PC - Microsoft HPC - Microsoft Palm-size PC 2386 1
Apple Mac - Apple Macintosh 2930 1
Apple iPhone - серия смартфонов 6903 1
Microsoft Office Excel 1145 1
Apple iPad 3810 1
Apple iTunes Store 1064 1
Google Docs - Google Office - Бесплатный онлайн-офис - Текстовый редактор 303 1
Конфиденциальная информация - Конфиденциальные данные - Конфиденциальность и защита учетных записей - Confidential information 5409 4
Системный администратор - System administrator - ИТ-администратор - Системное администрирование - День Сисадмина - День системного администратора - последняя пятница июля 1168 3
Государственные органы власти - Государственный сектор экономики - Госзаказчик - Государственный заказчик - Государственное и муниципальное управление - госсектор - госучреждения 47961 3
Финансовый сектор - Банковская отрасль экономики - Кредитно-финансовые организации - Сектор финансовых корпораций - Банковские операции 45631 2
Судебная власть - Судебная практика, тяжба - Судебный иск, процесс - Судебное разбирательство - истец-ответчик - Lawsuit, trial 6549 2
Русский язык - День русского языка - 6 июня 10413 2
Русский язык - Кириллица - Кириллические алфавиты - Кириллическая письменность 134 1
Торговля розничная - Чёрная пятница (распродажи) 257 1
Торговля - FMCG&Retail - Fast Moving Consumer Goods - Товары повседневного спроса - Товары народного потребления - Потребительский рынок 4584 1
Здравоохранение - Фарминдустрия, фармацевтика и фармакология - Pharmaceuticals - Аптеки - Лекарственные препараты, Медикаменты - Медико-биологическая наука о лекарственных веществах и их действии на организм 4089 1
Строительство - Девелопмент - Застройщики - Промышленность строительных материалов - Строительная техника - Промышленное и жилищное строительство - Производство строительных отделочных материалов 4882 1
Торговля розничная - Ритейл - Шопинг - Розница - Retail - торговые компании 22572 1
Здравоохранение - БАД - Биологически активные добавки к пище - Biologically active food additives 71 1
Статистика - Statistics - статистические данные 1659 1
M&A - Mergers and Acquisitions - Монополии - Monopoly - антимонопольные службы, законодательство, комплаенс 1745 1
Судебная власть - Уголовное преступление - уголовное наказание - правонарушение (общественно опасное деяние) - задержание, арест, лишение свободы - тюремное заключение 3321 1
Интернет-пользователь - internet user - интернет-сообщество - internet community - интернет-аудитория - internet audience 2074 1
Федеральный закон 94-ФЗ - О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд 255 1
Издательское дело - Издательство - Книгоиздание - книжная индустрия - Publishing - Book Industry 1557 1
Кредитование - Коллекторское агентство - долговое агентство 295 1
Федеральный закон 218-ФЗ - О кредитных историях 179 1
Регистратор 1417 1
Webmaster - Вебмастер 80 1
Юриспруденция - Jurisprudence - юридическая консультация - юридические услуги 7100 1
Номер телефона - Телефонный номер - Абонентский номер - Phone number 1511 1
Социальная инженерия - Человеческий фактор - Human factor - Человеческие ошибки 2117 1
DMCA - Digital Millennium Copyright Act - Закон об авторском праве в цифровую эпоху 146 1
Internet Economy - Интернет-экономика - Сетевая экономика 5659 1
Прокуратура - система органов, осуществляющих от имени государства высший надзор за соблюдением законодательства, прав, свобод человека и гражданина 1684 1
Паспорт - Паспортные данные 2352 1
Транспорт - Железнодорожная отрасль - Железная дорога - Железнодорожная инфраструктура - Железнодорожный транспорт - Железнодорожные перевозки - День железнодорожника первое воскресенье августа - Railway 2216 1
ОПК - Оборонно-промышленный комплекс - ВПК - Военно-промышленный комплекс - Обороноспособность - Military-industrial complex - Оружие - Weapon 8367 1
Юриспруденция - Законодательство - Legislation - Законодательная база - Нормативно-правовые акты 7081 1
Федеральный закон 152-ФЗ - О персональных данных 2163 1
ИТ-рынок труда - ИТ-кадры - ИТ-персонал - ИТ-специалист - ИТ-менеджер 12299 1

* Страница-профиль компании, системы (продукта или услуги), технологии, персоны и т.п. создается редактором на основе анализа архива публикаций портала CNews. Обрабатываются тексты всех редакционных разделов (новости, включая "Главные новости", статьи, аналитические обзоры рынков, интервью, а также содержание партнёрских проектов). Таким образом, чем больше публикаций на CNews было с именем компании или продукта/услуги, тем более информативен профиль. Профиль может быть дополнен (обогащен) дополнительной информацией, в т.ч. презентацией о компании или продукте/услуге.

Обработан архив публикаций портала CNews.ru c 11.1998 до 04.2024 годы.
Ключевых фраз выявлено - 1283792, в очереди разбора - 806070.
Создано именных указателей - 145080.
Редакция Индексной книги CNews - book@cnews.ru

Читатели CNews — это руководители и сотрудники одной из самых успешных отраслей российской экономики: индустрии информационных технологий. Ядро аудитории составляют топ-менеджеры и технические специалисты департаментов информатизации федеральных и региональных органов государственной власти, банков, промышленных компаний, розничных сетей, а также руководители и сотрудники компаний-поставщиков информационных технологий и услуг связи.