DigifyScope digifyscope.com
Ienākt

robots.txt un noindex: kad Google lapu neredz

Joma: Tehniskais SEO Ietekme: parasti svarīgi Atjaunināts:

Īsumā

robots.txt ir fails, kas meklēšanas robotiem saka, kurās vietnes daļās drīkst iet. Noindex ir norāde konkrētā lapā: «nerādi mani meklēšanas rezultātos». Abi ir noderīgi darba rīki, bet, ja tie ieslēgti kļūdas pēc, piemēram, pēc lapas izstrādes, kad tika slēgta piekļuve, lapa meklētājā var nebūt redzama vispār.

Kas tas ir

robots.txt atrodas vietnes saknē (piemers.lv/robots.txt). Tajā parasti raksta, kuras mapes robotiem nav jāapmeklē (piemēram, administrācijas daļa) un kur atrodas lapas karte.

Noindex ir norāde pašas lapas kodā vai servera atbildē. Tā nozīmē, ka robots drīkst lapu izlasīt, bet nedrīkst to iekļaut meklēšanas rezultātos.

Tipiska situācija: izstrādes laikā jauno lapu slēdz no meklētājiem, lai tā netiktu rādīta pirms laika. Palaižot lapu, šo aizliegumu aizmirst noņemt.

Kāpēc tas ir svarīgi

Ja robots.txt aizliedz visu vietni vai noindex ir uz sākumlapas, meklētāji lapu rādīt neturpinās, un uzņēmums kļūst neredzams, lai arī lapa pati strādā un tu to redzi pārlūkā. Daudzi to pamana tikai pēc mēnešiem, kad pieprasījumu skaits krities.

Ja robots.txt neļauj piekļūt stila un skriptu failiem, meklētājs lapu var redzēt citādi, nekā to redz cilvēks, un var to novērtēt nepareizi.

Pats faila trūkums nav katastrofa: robots tad apmeklē visu. Bet fails ir ērts veids norādīt lapas karti un izslēgt tehniskās daļas, tāpēc to ir vērts izveidot.

Piemērs

Fiktīva lapa piemers.lv pēc palaišanas robots.txt satur:

User-agent: *
Disallow: /

Šīs divas rindas nozīmē «nevienam robotam nav atļauts neko apmeklēt». Pareizais variants parasti ir daudz īsāks:

User-agent: *
Disallow: /admin/

Sitemap: https://piemers.lv/sitemap.xml

Līdzīgi noindex lapas kodā izskatās šādi, un to nedrīkst atstāt uz lapām, ko vēlies rādīt:

<meta name="robots" content="noindex">

Kā to pārbauda DigifyScope

DigifyScope pārbauda trīs lietas:

  • vai robots.txt eksistē; ja nē, tas ir brīdinājums, nevis kļūda;
  • vai robots.txt nebloķē visu vietni (Disallow: / visiem robotiem); ja bloķē, tas ir trūkums;
  • vai robots.txt nebloķē stila un skriptu failus (CSS, JS), bez kuriem meklētājs lapu neredz tā, kā apmeklētājs; ja bloķē, tas ir brīdinājums;
  • vai sākumlapai nav noindex, ne lapas kodā, ne servera atbildē; ja ir, tas ir trūkums.

Mēs tikai nolasām to, ko redz jebkurš robots, un neko neizmainām.

Biežas kļūdas

  • Pēc lapas palaišanas netiek noņemts izstrādes laikā ieslēgtais aizliegums.
  • Robots.txt tiek lietots kā veids, kā «paslēpt» lapu no cilvēkiem. Tā tas nedarbojas: faila saturs ir publisks, un aizliegtā lapa tāpat atveras ikvienam, kam ir tās adrese.
  • Lapa tiek bloķēta ar robots.txt, bet vienlaikus tai ir noindex; robots tad nevar izlasīt noindex norādi.
  • Vienas lapas noindex nejauši tiek nokopēts uz visu lapu veidni.

Ko darīt

  1. Atver tavs-domens.lv/robots.txt un pārliecinies, ka tur nav rindas Disallow: / kopā ar User-agent: *.
  2. Pārbaudi, vai sākumlapai un svarīgākajām lapām nav noindex.
  3. WordPress sistēmā pārbaudi iestatījumu, kas liek meklētājiem neindeksēt vietni; to bieži ieslēdz izstrādes laikā.
  4. Neaizliedz robotiem piekļūt stila un skriptu failiem.
  5. Pēc izmaiņām pagaidi, kamēr meklētāji lapu pārlasa; tas var aizņemt dienas vai nedēļas.

Ja šajā pārbaudē ir atrasts trūkums, tas parasti ir steidzams jautājums. Precīzas norādes, kur tavā sistēmā to atslēgt, ir apmaksātajā atskaitē un labojumu plānā.

Pārbaudi, vai tas ir tavā lapā

Bāzes audits maksā 0 €, aizņem minūti vai divas, un tavā lapā mēs neko nemainām. Atskaitē redzēsi, vai šī problēma ir tieši tavā lapā.

Pārbaudīt lapu

Ja problēma tiek atrasta, apmaksātā atskaite parāda, kurās lapās tā ir un kas jāmaina, bet labojumu plāns satur soļus tieši tavai lapai un tavai platformai. Skaidrojumi šeit ir vispārīgi, jo katra lapa ir citādāka. Skatīt, kas ietilpst atskaitē un plānā →

Audita atrasto ir jāuztver kā iespējamu risku un pārbaudes iemeslu, nevis kā juridisku slēdzienu.

← Visi raksti