nnov.ec-bot — робот энциклопедии

Кто мы. Энциклопедия Нижнего Новгорода — некоммерческий проект о городе и области. Робот читает публикации нижегородских изданий, чтобы поставить в статью факт со ссылкой на источник: имя издания, заголовок публикации и прямая ссылка. Мы не перепечатываем тексты целиком и не показываем чужие материалы вместо оригинала — наоборот, отправляем читателя к вам.

Как он себя ведёт

• представляется в User-Agent: nnov.ec-bot/1.0 (+https://www.nnov.ec/about-bot);
• читает и уважает robots.txt;
• держит паузу не меньше 2,5 секунды между запросами к одному сайту — и эта пауза общая для всех наших процессов, залпов не бывает;
• кэширует прочитанное на неделю и не запрашивает одну и ту же страницу повторно;
• получив 429, 503 или 403, прекращает ходить к сайту минимум на час — автоматически, без разбирательств.

Если робот мешает

Самый быстрый способ — закрыть его в robots.txt:

User-agent: nnov.ec-bot
Disallow: /

Он перестанет заходить в течение суток (столько живёт наш кэш robots.txt). Можно и мягче, тем же файлом: закрыть отдельные разделы или задать Crawl-delay — робот возьмёт вашу паузу, если она больше нашей.

Если хотите наоборот

Если вашему изданию важно, чтобы события попадали в городскую хронику точнее и быстрее, укажите ленту обычным способом — строкой Sitemap: в robots.txt или тегом <link rel="alternate" type="application/rss+xml"> в шапке страниц. Робот найдёт её сам и будет брать данные оттуда, а не обходить страницы: это меньше нагрузки на вас и меньше ошибок у нас.