Rett fra Google:
Metakoder er en flott måte for nettredaktører å gi søkemotorer informasjon om nettstedene sine. Metakoder kan brukes til å gi informasjon til alle slags klienter, og hvert system behandler bare metataggene de forstår og ignorerer resten.
Hvis du vil blokkere alle søkemotorer helt:
Hvorfor?
Kanskje det er en litt privat URL på nettstedet ditt, men ikke beskyttet på en slik måte at en søkebot ikke kunne se den. Som om en side krever innlogging for å se den, blir den uansett blokkert fra en søkebot. Men hvis det bare er en forvirret URL, hvem vet hvordan søkeroboter kommer seg rundt, så du vil kanskje forhindre indeksering.
Søkeresultater er en annen vanlig. Rart å ha et søkeresultat, kanskje søkeresultater. WordPress-temaer har en tendens til å inkludere dette:
Jeg kan endre det litt og fortelle bots, hei, du kan følge lenker her for å fortsette å indeksere nettstedet, men ikke indeksere denne siden spesifikt.
Andre
Søkemotorer pleier å bruke beskrivelseskoden for tekstinnhold ved siden av :
Se Google-siden for andre Google-spesifikke som muligheten til å stoppe Google-spesifikke brukergrensesnitt ting som deres "søkefelt for nettstedslink".