Robots.txt er en tekstfil som gir crawlere instruksjoner om hvilke deler av et nettsted de kan besøke. Filen brukes til å styre crawling, ikke som en sikkerhetsmekanisme og heller ikke som en sikker måte å skjule innhold fra søkeresultater.
Hva innebærer Robots.txt i praksis?
I praksis bør robots.txt være enkel og presis. Feil regler kan blokkere viktige sider eller sløse bort crawl på URL-er som ikke bør prioriteres. Innhold som ikke skal være offentlig må beskyttes med tilgangskontroll, ikke bare med robots.txt. Sitemap-adressen kan også oppgis i filen.
Robots.txt er relevant ved teknisk SEO, migrering og større endringer i nettstedet. Den bør kontrolleres før publisering, særlig hvis plattformen har fått nye URL-mønstre. Se Googles forklaring av robots.txt, Sitemap og Canonical-tag.
La oss bygge noe solid sammen
.avif)
Vi hjelper ambisiøse virksomheter med merkevare, UI/UX og Webflow-løsninger som er gjennomtenkte, tydelige og bygget for å vare.
