robots.txt un noindex: kad Google lapu neredz
Īsumā
robots.txt ir fails, kas meklēšanas robotiem saka, kurās vietnes daļās drīkst iet. Noindex ir norāde konkrētā lapā: «nerādi mani meklēšanas rezultātos». Abi ir noderīgi darba rīki, bet, ja tie ieslēgti kļūdas pēc, piemēram, pēc lapas izstrādes, kad tika slēgta piekļuve, lapa meklētājā var nebūt redzama vispār.
Kas tas ir
robots.txt atrodas vietnes saknē (piemers.lv/robots.txt). Tajā parasti raksta, kuras mapes robotiem nav jāapmeklē (piemēram, administrācijas daļa) un kur atrodas lapas karte.
Noindex ir norāde pašas lapas kodā vai servera atbildē. Tā nozīmē, ka robots drīkst lapu izlasīt, bet nedrīkst to iekļaut meklēšanas rezultātos.
Tipiska situācija: izstrādes laikā jauno lapu slēdz no meklētājiem, lai tā netiktu rādīta pirms laika. Palaižot lapu, šo aizliegumu aizmirst noņemt.
Kāpēc tas ir svarīgi
Ja robots.txt aizliedz visu vietni vai noindex ir uz sākumlapas, meklētāji lapu rādīt neturpinās, un uzņēmums kļūst neredzams, lai arī lapa pati strādā un tu to redzi pārlūkā. Daudzi to pamana tikai pēc mēnešiem, kad pieprasījumu skaits krities.
Ja robots.txt neļauj piekļūt stila un skriptu failiem, meklētājs lapu var redzēt citādi, nekā to redz cilvēks, un var to novērtēt nepareizi.
Pats faila trūkums nav katastrofa: robots tad apmeklē visu. Bet fails ir ērts veids norādīt lapas karti un izslēgt tehniskās daļas, tāpēc to ir vērts izveidot.
Piemērs
Fiktīva lapa piemers.lv pēc palaišanas robots.txt satur:
User-agent: *
Disallow: /
Šīs divas rindas nozīmē «nevienam robotam nav atļauts neko apmeklēt». Pareizais variants parasti ir daudz īsāks:
User-agent: *
Disallow: /admin/
Sitemap: https://piemers.lv/sitemap.xml
Līdzīgi noindex lapas kodā izskatās šādi, un to nedrīkst atstāt uz lapām, ko vēlies rādīt:
<meta name="robots" content="noindex">
Kā to pārbauda DigifyScope
DigifyScope pārbauda trīs lietas:
- vai robots.txt eksistē; ja nē, tas ir brīdinājums, nevis kļūda;
- vai robots.txt nebloķē visu vietni (
Disallow: /visiem robotiem); ja bloķē, tas ir trūkums; - vai robots.txt nebloķē stila un skriptu failus (CSS, JS), bez kuriem meklētājs lapu neredz tā, kā apmeklētājs; ja bloķē, tas ir brīdinājums;
- vai sākumlapai nav
noindex, ne lapas kodā, ne servera atbildē; ja ir, tas ir trūkums.
Mēs tikai nolasām to, ko redz jebkurš robots, un neko neizmainām.
Biežas kļūdas
- Pēc lapas palaišanas netiek noņemts izstrādes laikā ieslēgtais aizliegums.
- Robots.txt tiek lietots kā veids, kā «paslēpt» lapu no cilvēkiem. Tā tas nedarbojas: faila saturs ir publisks, un aizliegtā lapa tāpat atveras ikvienam, kam ir tās adrese.
- Lapa tiek bloķēta ar robots.txt, bet vienlaikus tai ir noindex; robots tad nevar izlasīt noindex norādi.
- Vienas lapas noindex nejauši tiek nokopēts uz visu lapu veidni.
Ko darīt
- Atver
tavs-domens.lv/robots.txtun pārliecinies, ka tur nav rindasDisallow: /kopā arUser-agent: *. - Pārbaudi, vai sākumlapai un svarīgākajām lapām nav
noindex. - WordPress sistēmā pārbaudi iestatījumu, kas liek meklētājiem neindeksēt vietni; to bieži ieslēdz izstrādes laikā.
- Neaizliedz robotiem piekļūt stila un skriptu failiem.
- Pēc izmaiņām pagaidi, kamēr meklētāji lapu pārlasa; tas var aizņemt dienas vai nedēļas.
Ja šajā pārbaudē ir atrasts trūkums, tas parasti ir steidzams jautājums. Precīzas norādes, kur tavā sistēmā to atslēgt, ir apmaksātajā atskaitē un labojumu plānā.
Pārbaudi, vai tas ir tavā lapā
Bāzes audits maksā 0 €, aizņem minūti vai divas, un tavā lapā mēs neko nemainām. Atskaitē redzēsi, vai šī problēma ir tieši tavā lapā.
Ja problēma tiek atrasta, apmaksātā atskaite parāda, kurās lapās tā ir un kas jāmaina, bet labojumu plāns satur soļus tieši tavai lapai un tavai platformai. Skaidrojumi šeit ir vispārīgi, jo katra lapa ir citādāka. Skatīt, kas ietilpst atskaitē un plānā →
Audita atrasto ir jāuztver kā iespējamu risku un pārbaudes iemeslu, nevis kā juridisku slēdzienu.