Robots.txt
Robots.txt — специальный текстовый файл, который предназначен для роботов поисковых систем. Главная его задача — «дать понять» роботам, какие страницы сайта необходимо проигнорировать и исключить из поисковой выдачи, а какие должны там присутствовать. При помощи этого файла можно в несколько раз снизить число запросов, поступающих на сервер, что в свою очередь снизит его нагрузку. Robots.txt не используется для запрета показа конкретных страниц в выдаче поисковика.
Robots.txt и организации, системы, технологии, персоны:
Google LLC 11451 14 |
Yandex - Яндекс 6596 12 |
МегаФон 7982 8 |
VK - Mail.ru Group 3291 3 |
Yahoo! 3689 3 |
ВымпелКом - Билайн - Beeline - Вымпел-Коммуникации 8469 2 |
Microsoft Corporation 24163 2 |
1С 7735 2 |
Check Point Software Technologies 736 1 |
InterActiveCorp - IAC 18 1 |
Qrator Labs - Highload Lab 127 1 |
OpenAI 145 1 |
Технологии Будущего 142 1 |
IXIA 15 1 |
InterActiveCorp - Ask.com - AskJeeves.com 121 1 |
ИТБ - Информационные технологии будущего 65 1 |
BlackBerry - Research In Motion (RIM) 1569 1 |
InfoWatch - Инфовотч 970 1 |
Sophos - SophosLabs 407 1 |
Apple Inc 11714 1 |
Telegram Group 1542 1 |
Kaspersky - Лаборатория Касперского 4571 1 |
IBM - International Business Machines Corp 9358 1 |
Rambler Group - Рамблер ГК - Rambler&Co 878 1 |
РЖД - Российские железные дороги 1807 1 |
Туту.ру - Tutu.ru - Новые Туристические Технологии, НТТ - российский сервис путешествий 54 1 |
АиП - A&P - Ашманов и партнёры 110 1 |
Манджиков Очир 56 3 |
Ермаков Валерий 98 2 |
Воробьев Михаил 51 2 |
Чечельницкий Евгений 19 1 |
Носик Антон 106 1 |
Гвоздев Дмитрий 120 1 |
Дуров Павел 267 1 |
Грабовский Илья 3 1 |
Маркин Владимир 16 1 |
Бастрыкин Александр 17 1 |
Ашманов Игорь 38 1 |
Дорохина Юлия 44 1 |
Федотов Николай 32 1 |
Солодов Игорь 1 1 |
Гуков Александр 1 1 |
Садовский Александр 7 1 |
The Register 1521 1 |
Business Insider - Бизнес инсайдер 233 1 |
TechMedia - Habr - Хабр - Хабрахабр 86 1 |
Telegraph 192 1 |
Vnunet 224 1 |
Обработан архив публикаций портала CNews.ru c 11.1998 до 04.2024 годы.
Ключевых фраз выявлено - 1283792, в очереди разбора - 806070.
Создано именных указателей - 145080.
Редакция Индексной книги CNews - book@cnews.ru
Читатели CNews — это руководители и сотрудники одной из самых успешных отраслей российской экономики: индустрии информационных технологий. Ядро аудитории составляют топ-менеджеры и технические специалисты департаментов информатизации федеральных и региональных органов государственной власти, банков, промышленных компаний, розничных сетей, а также руководители и сотрудники компаний-поставщиков информационных технологий и услуг связи.