Документация за краулъра

LohiSoftBot

LohiSoftBot е уебкраулърът, управляван от LohiSoft s.r.o. Тази страница документира какво прави, как да го разпознаете и как да го държите извън своя сайт.

Последна актуализация: 23 август 2026

Накратко

User-agent
LohiSoftBot/1.0
IP адреси на източника
79.139.58.98, 79.139.58.121
Бюджет за обхождане
Макс. 20 страници на сайт
Имена на хостовете на краулъра
*.bot.lohisoft.com
Контакт
message@lohisoft.com

Кой управлява краулъра

Оператор:
LohiSoft s.r.o.
Контакт:
message@lohisoft.com

За какво служи LohiSoftBot

LohiSoftBot/1.0 изгражда собствения търсещ индекс на LohiSoft.

Той не събира данни за обучение на AI модели и не копира съдържание за препубликуване.

Какво съхранява

За всяка страница краулърът съхранява само следното:

  • Заглавието на страницата
  • Полето meta description
  • Заглавията h1–h3
  • URL адресът
  • Текстът на връзките, сочещи към страницата

Какво не съхранява

Текстовото съдържание на страницата не се съхранява.

Индексът показва пътя, но не отговаря: резултатът от търсенето винаги препраща обратно към оригиналната страница.

Колко заявки прави

Най-много 20 страници на сайт.

Етикет при обхождане

  • Спазва robots.txt съгласно RFC 9309.
  • Изпраща по една заявка на хост в даден момент, с пауза между заявките.
  • При HTTP отговори 429 и 5xx намалява темпото, съобразявайки се със заглавието Retry-After.
  • Никога не заобикаля влизания в акаунт, платени стени или защита срещу ботове.

Как да го блокирате

Добавете следното към вашия robots.txt:

User-agent: LohiSoftBot
Disallow: /

Можете също да поискате незабавно изключване по имейл на message@lohisoft.com. След това ще премахнем домейна от списъка за обхождане.

message@lohisoft.com

Разпознаване и потвърждаване на краулъра

Низът User-agent

Текущо използван
LohiSoftBot/1.0 (+message@lohisoft.com)
Въвежда се постепенно
LohiSoftBot/1.0 (+https://lohisoft.com/bot)

По-старата форма с имейл постепенно се заменя с формата с URL адрес. И двете са легитимни, затова очаквайте да видите която и да е от тях по време на прехода.

IP адреси на източника

Краулърът извлича страници изключително от следните фиксирани IPv4 адреса:

  • 79.139.58.98
  • 79.139.58.121

Не прави заявки през IPv6.

Машинночетим списък за правила на защитна стена и WAF:

https://lohisoft.com/bot/ips.json

Предоставя се като application/json през HTTPS, без удостоверяване или пренасочвания.

Обратна DNS справка с права проверка (FCrDNS)

Това е препоръчителният начин за потвърждаване на краулъра. Не зависи от списъка с IP адреси по-горе, затова остава коректен дори ако преместим краулъра на друга машина.

  1. Направете обратна DNS справка (reverse lookup) за IP адреса, от който е получена заявката. Върнатото име на хоста трябва да завършва на .bot.lohisoft.com
  2. Направете права DNS справка (forward lookup) за това име на хост. Тя трябва да се разреши точно към същия IP адрес.
  3. Ако някоя от двете стъпки не съвпадне, заявката не е от нас и е правилно да я блокирате.

Сравнявайте по суфикса .bot.lohisoft.com, а не по голия .lohisoft.com: голият домейн покрива и нашия уеб сървър, и нашия пощенски сървър, докато .bot.lohisoft.com обхваща само краулърите.

Имена на хостовете на краулъра

79.139.58.98
crawler1.bot.lohisoft.com
79.139.58.121
crawler2.bot.lohisoft.com

Пример

$ dig +short -x 79.139.58.98
crawler1.bot.lohisoft.com.

$ dig +short crawler1.bot.lohisoft.com
79.139.58.98

Въпроси?

Ако нещо тук не е ясно, или искате домейнът ви да бъде изключен от обхождане, пишете ни.

LohiSoft s.r.o.

message@lohisoft.com