Vi lägger till robots.txt och en webbplatskarta

robots.txt: en fil som inte blockerar något

En robots.txt-fil ligger i webbplatsens rot och talar om för sökrobotar vilka sökvägar de får hämta. Heliocites fil har tre rader:

• User-agent: * riktar sig till alla sökrobotar.
• En tom Disallow: betyder att ingenting är förbjudet.
• En rad med Sitemap: anger webbplatskartans fullständiga adress.

Utan någon fil alls skulle sökrobotarna utgå från samma sak: allt är tillåtet. Filen är ändå användbar eftersom raden med Sitemap: gör att alla sökrobotar kan hitta webbplatskartan utan att få adressen separat.

Ett vanligt missförstånd: robots.txt styr genomsökning, inte indexering. Om du blockerar en sida och andra webbplatser länkar till den kan sökmotorerna fortfarande lista URL:en; de kan bara inte läsa innehållet. För att hålla en sida borta från sökresultaten låter du den i stället genomsökas och ger den en noindex-tagg. Heliocites 404-sida gör precis det.

sitemap.xml: de första fem URL:erna

En webbplatskarta är en XML-lista över de sidor du vill att sökmotorerna ska känna till. När ändringen gjordes listade Heliocites webbplatskarta startsidan, SEO-guiden, bloggen och de två första inläggen. Några regler som den följer:

• Bara kanoniska URL:er. Varje adress i webbplatskartan matchar sidans kanoniska länk exakt, inklusive avslutande snedstreck. 404-sidan finns inte med.
• Rättvisande datum i lastmod. Google använder datumet för senaste ändring bara när det visar sig vara korrekt över tid. Det ska därför ändras när innehållet ändras, och inte annars.
• Ingen priority eller changefreq. Google har sagt att båda ignoreras, så de är utelämnade.

På en webbplats med fem sidor där varje sida länkas från startsidan skulle sökrobotarna hitta allt utan en webbplatskarta. Den fyller en funktion i Search Console: efter att kartan har skickats in rapporterar Search Console hur många av de listade URL:erna som är indexerade och varför resten inte är det. Det är den mätningen bloggen bygger på.

En webbplatskarta garanterar inte att något indexeras. Den är en ledtråd om vad som finns, inte en begäran som säkert kommer att beviljas.

Webbplatskartan har vuxit sedan den här första versionen. Se den aktuella webbplatskartan för hela listan.

Hålla den uppdaterad

Webbplatskartan skrivs för hand, precis som resten av webbplatsen. Varje nytt inlägg innebär nu tre redigeringar: själva inlägget, blogglistorna och en ny post i sitemap.xml. Om det blir omständligt är det ett tecken på att webbplatsen behöver ett litet byggsteg, och då blir det också ett inlägg.

Nästa steg

Ansluta Google Search Console, skicka in webbplatskartan och dokumentera det första utgångsläget: vad som är indexerat och vad som inte är det ännu.

Referenser: Googles introduktion till robots.txt och vägledning om webbplatskartor.