robots.txt

I denne artikel:


Introduktion

Robots.txt bruges til at håndtere de søgemaskinerobotter som indekserer (crawler) sider på nettet, til brug på eksempelvis Google, Bing og DuckDuckGo's søgemaskiner mv. Robotterne kravler med andre ord automatisk internettet, går fra link til link og "støvsuger" data, som analyseres til søgning.

Når en robot kommer forbi din webshop, starter den med at læse hvad der står i robots.txt filen. Dette er en tekstfil skrevet i et format, som er standard for søgemaskinerobotter. Hvis du ønsker at fortælle robotten om sider den gerne må indeksere, eller sider den skal ignorere, gøres det i robots.txt filen. Når robotten har læst filen, går den i gang med at kravle siden. Søgemaskinerobotter læser sidens kode direkte og kan derfor finde links der måtte befinde sig mere eller mindre skjult.

Robots.txt filen ligger altid i "roden" af et website og derfor ved søgemaskinerobotterne hvor de skal finde den. Du kan selv finde robots.txt filen på din egen shop, ved at besøge ditdomæne/robots.txt.

Hvis du ønsker at tilpasse din robots.txt fil, skal du gå ind i SmartWeb under Filhåndtering > robots.txt (søgeoptimering).

 

Eksempel

Her er et eksempel på en standard robots.txt fil i SmartWeb:

Første linje tillader f.eks. alle typer af robotter. Herefter ekskluderes to mapper i shoppens struktur "framework" og "actions" som er systemrelaterede mapper, det ikke giver mening at indeksere. Robotten vil derfor ikke tage filerne i disse to mapper med i indekseringen.

Parameter Værdi Beskrivelse
User-agent: * User-agent henvender sig til den besøgende robot. Stjerne * står for "Alle". "User-agent: *" betyder dermed at reglerne i denne robots.txt gælder alle besøgende søgemaskinerobotter.
Disallow: / Disallow ekskluderer alt efter semikolon. Hvis du indsætter "/mappe/*", vil denne mappe og alt dens indhold (både mapper og filer) ekskluderes i robottens indeksering.

 

Bemærk: Robots.txt filen er en guideline som man regner med at robotterne følger. Men det er ikke en garanti for at sider du f.eks. ikke ønsker at indeksere, ikke bliver indekseret. Det afhænger af den pågældende søgemaskinerobot.

 

Nyttige links

Du kan læse mere om formatering af tekst med parametre og værdier i robots.txt her.