När man inte vill synas

KikareNär man pratar om sökmotoroptimering handlar det som oftast att öka sin synlighet, att ranka så bra som möjligt i sökmotorer. Det finns dock tillfällen när man inte vill få sina sidor indexerade och sökbara, något som kan vara minst lika krångligt, även för stora börsnoterade bolag med miljardomsättning.

Robots.txt

Genom att skapa en textfil, robots.txt, och placera den i roten på din domän kan du ange regler över vilka sidor olika sökmotorers spindlar får besöka. Om en spindel inte får besöka din sida kan den heller inte se vilken information som finns på sidan. Exakt hur dessa regler ser ut tar jag inte upp här, men Google har en bra guide.
Ungefär här anser sig 99% klara trots att man missar en viktig sak:
Bara för att sökmotorn inte kan se vilken information sidan har innebär inte det per automatik att sidan exkluderas ur sökindexet.

<meta name=”robots” content=”noindex”>

Det finns andra sätt för sökmotorer att upptäcka sidor, till exempel om en annan sida länkar till din sida som är blockerad enligt robots.txt. Som jag skrev ovan innebär detta bara att sökmotorn inte ”får” läsa sidan innehåll, de kan mycket väl ändå visa sidan i deras sökresultat, dock ofta med en titel som är webbadressen och en beskrivning som talar om att att en beskrivning inte tillgänglig på grund av webbplatsens robots.txt.

Genom att placera en speciell meta-tagg på de sidor du inte vill ska indexeras, talar du om för sökmotorn att den ska strunta i dessa trots att andra sidor länkar till den.

<meta name=”robots” content=”noindex”>

Ovanstående tagg ska placeras i webbsidans head-tagg och talar om för sökmotorer att inte indexera sidan.

Tänk på att inte blockera sidan med robots.txt, då kan sökmotorn per definition inte se sidans html-kod och missar därav din meta-tagg!

X-Robots-Tag HTTP header

Ett likvärdigt sätt till meta-taggen för att blockera indexering är att ange en extra http header, X-Robots-Tag: noindex. Detta kan vara enklare i vissa lägen då man enkelt kan skriva regler på servern vilka sidor som ska få denna extra header. Likaså när det handlar om pdf-dokument, bilder med mera är det ändå omöjligt att ange meta-taggen. Mer tekniska detaljer på vilka format som är giltiga direktiv kan hittas hos Google.

Så vill du undvika publicera dina kunders beställningar, personnummer och supportärenden (där du t.o.m. kan skicka in meddelanden som personen), se till att dölja dina sidor på rätt sätt. Att bara ange dina regler i robots.txt räcker helt enkelt inte.

Företaget länkarna handlar om ovan har kontaktats för över 1 vecka sedan både via e-post och kundtjänst-chatt som vidarebefordrat till ansvariga, dock utan svar.

2 reaktioner på ”När man inte vill synas

  1. Bra skrivet! Tycker det är ett intressant ämne. Jag skulle nog inte säga att en sökmotor ”inte får” besöka eller indexera sidan. Däremot skriver ju Google ”… även om alla ansedda sökrobotar respekterar föreskrifterna i en robots.txt-fil finns det dem som väljer att tolka dem annorlunda.”
    Och det handlar mer om att respektera önskemål från webbplatsen. Sen vad Google egentligen gör med informationen vet vi inte. Kanske får man pluspoäng om man har några ”spännande förbjudna” sidor 🙂

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *