→ Mūsu roboti

DigifyScope roboti

Ja savas lapas žurnālā redzi kādu no šiem, tas esam mēs:

• DigifyScopeAudit/1.0Kāds ir pieprasījis šīs lapas auditu (ātrdarbība, drošība, sīkdatnes). Nāk tikai tad, kad audits ir pieprasīts.
• DigifyScopeBot/1.0Publiski pieejamu uzņēmumu lapu apskate: vai lapa strādā, vai ir HTTPS, kāda sistēma, publicētie kontakti.

Agrāk mūsu robots saucās CoreDigifyBot un nāca no bot.coredigify.com. Tas pats robots, tikai jauns vārds. Ja tavā robots.txt jau ir rindas vecajam vārdam, tās joprojām darbojas.

Kā mēs uzvedamies

• DigifyScopeBot ievēro robots.txt, arī Crawl-delay (līdz 30 s). Ievērojam gan DigifyScopeBot, gan CoreDigifyBot noteikumus. Ja kāds no tiem aizliedz, mēs nenākam.
• Ievērojam arī <meta name="robots">, <meta name="digifyscopebot">, <meta name="coredigifybot"> un X-Robots-Tag ar noindex / nofollow.
• Vienai lapai — ne biežāk kā reizi dažās sekundēs; vienam serverim — ne biežāk kā reizi sekundē, arī ja uz tā ir daudz lapu.
• Atbilde 429 vai 503 ar Retry-After — gaidām norādīto laiku. Ja lapas aizsardzība mūs aptur, tajā dienā vairs nenākam.
• Lasām tikai sākumlapu un vienu lapu, uz kuru tā pati norāda (kontakti / rekvizīti). Neminam adreses, nepieslēdzamies, neaizpildām formas, neizmantojam ievainojamības.
• Sīkdatņu pārbaudē DigifyScopeAudit noklikšķina tikai uz sīkdatņu joslas pogām «Piekrītu» vai «Noraidīt».

Kā atteikties

No DigifyScopeBot — pievieno savam robots.txt:

User-agent: DigifyScopeBot
Disallow: /

Derēs arī vecais vārds User-agent: CoreDigifyBot. Lai nerādītu lapu LV TOP sarakstā, bet ļautu to apskatīt, pietiek ar <meta name="digifyscopebot" content="noindex">.

No visām pārbaudēm, arī DigifyScopeAudit — pieprasīto auditu robots.txt neaptur, jo to ir lūdzis cilvēks. .lv domēnam aizpildi formu «Nepārbaudīt manu lapu» (apstiprinājums ar DNS ierakstu stājas spēkā uzreiz) vai raksti uz info@digifyscope.com, norādot domēnu: izslēgsim to un tā apakšdomēnus no visām pārbaudēm, arī no tām, ko pieprasa citi.

No kurienes nākam

Mūsu IP adrešu saraksts šobrīd tiek precizēts — pirms allowlist iestatīšanas raksti uz info@digifyscope.com.

Mašīnlasāms saraksts (tāds pats formāts kā Google robotiem): https://digifyscope.com/bot/ips.json.

Kā pārliecināties, ka tas tiešām esam mēs. User-Agent var viltot ikviens, tāpēc pārbaudi IP ar reverse DNS: adreses PTR ierakstam jābūt bot.digifyscope.com (vai jābeidzas ar .bot.digifyscope.com), un šim vārdam (forward DNS) jārāda atpakaļ uz to pašu IP.

host 203.0.113.10   # → bot.digifyscope.com
host bot.digifyscope.com  # → 203.0.113.10

Agrāk mūsu robota adrese bija bot.coredigify.com.

Ja tava lapa mūs bloķē

Ja tavas lapas aizsardzība (Cloudflare, ugunsmūris, CAPTCHA) aptur mūsu robotu, audita atskaitē redzēsi sadaļu «Lapa bloķē automātiskās pārbaudes — ieliec mūs allowlist». Tā nav kļūda tavā lapā — tikai pazīme, ka arī citiem robotiem (meklētājprogrammām, MI asistentiem) var būt grūtāk tikt klāt.

• Bloķējumu neapejam: nemainām User-Agent, nerisinām CAPTCHA, nemēģinām no citām adresēm.
• Pēc bloķējuma šai lapai 24 stundas nesūtām nevienu pieprasījumu; pēc 429 — tik ilgi, cik prasa Retry-After.
• Ja vēlies pilnu auditu, atļauj mūs. Vislabāk — User-Agent un IP kopā, ne tikai User-Agent (to var viltot).

Cloudflare — Security → WAF → Custom rules → «Create rule», darbība Skip (atzīmē «All remaining custom rules», «Super Bot Fight Mode» un «Browser Integrity Check»), izteiksme:

((http.user_agent contains "DigifyScope" or http.user_agent contains "CoreDigify") and ip.src in { MŪSU_IP })

Wordfence — Wordfence → Firewall → All Firewall Options → «Allowlisted IP addresses that bypass all rules»: pievieno mūsu IP.

Sucuri — Firewall → Access Control → «Allowlist IP»: pievieno mūsu IP.

Hostinga ugunsmūris (ModSecurity, Imunify360 u.c.) — pārsūti šo lapu savam hostinga uzņēmumam vai izstrādātājam un palūdz atļaut mūsu IP adreses.

Kad esi atļāvis, palaid auditu vēlreiz. Ja esi apstiprinājis, ka lapa ir tava, vai ja raksti mums, atkāpšanās laiku varam noņemt uzreiz.

Googlebot salīdzinājuma režīms

Dažas uzlauztas lapas meklētājprogrammām rāda citu saturu nekā cilvēkiem (piemēram, kazino vai «18+» reklāmas, ko īpašnieks savā pārlūkā neredz). Lai to pamanītu, varam lapu vienreiz atvērt ar Googlebot User-Agent un salīdzināt ar parasto skatu.

• Tikai lapām, kuru īpašnieks ir apstiprinājis īpašumtiesības (vai mūsu pašu lapām) — nekad masveida pārbaudēs, citu pieprasītos auditos vai neverificētu lapu bezmaksas auditos.
• Pieprasījums nāk no tām pašām mūsu IP adresēm, tāpēc reverse DNS pārbaudē tas nebūs Google — tā ir zīme, ka tas esam mēs.
• Nekad bloķējuma apiešanai; katra reize tiek ierakstīta mūsu žurnālā.