Naar de inhoud
Gratis naslagwerk over HTML
HTML leren en naslaan
Naslag / Structuur van een pagina

Het element <meta name="robots">

De robots-waarde voor het name-attribuut van het <meta>-element (vaak "robots-tag" genoemd) definieert het crawl- en indexeringsgedrag dat web-crawlers bij de pagina moeten hanteren. Indien opgegeven, definieert u instructies voor crawlers in het content-attribuut van het <meta>-element als een door komma's gescheiden lijst met een of meer regels.

Auteur: Maarten Soetens

Gebruiksnotities

Een <meta name="robots">-element kan de volgende aanvullende attributen hebben:

contentHet content-attribuut moet gedefinieerd zijn, en de waarde ervan stelt het indexerings- en crawlgedrag in voor coöperatieve zoekmachinerobots. Accepteert een of meer van de volgende trefwoorden als een door komma's gescheiden lijst:
  • index
    • : Staat de robot toe de pagina te indexeren. Dit is het standaardgedrag. Wordt gebruikt door alle grote crawlers.
  • noindex
    • : Verzoekt de robot de pagina niet te indexeren. Wordt gebruikt door alle grote crawlers.
  • follow
    • : Staat de robot toe de links op de pagina te volgen. Dit is het standaardgedrag. Wordt gebruikt door alle grote crawlers.
  • nofollow
    • : Verzoekt de robot de links op de pagina niet te volgen. Wordt gebruikt door alle grote crawlers.
  • all
    • : Equivalent aan index, follow. Gebruikt door: Google.
  • none
    • : Equivalent aan noindex, nofollow. Gebruikt door: Google.
  • noarchive
    • : Verzoekt dat de zoekmachine de paginainhoud niet in de cache opslaat. Gebruikt door: Google, Yahoo, Bing.
  • nosnippet
    • : Voorkomt het weergeven van een beschrijving van de pagina in zoekresultaten. Gebruikt door: Google, Bing.
  • noimageindex
    • : Verzoekt dat deze pagina niet verschijnt als verwijzende pagina van een geïndexeerde afbeelding. Gebruikt door: Google.
  • nocache
    • : Synoniem van noarchive. Gebruikt door: Bing.

Beschrijving

Er zijn verschillende belangrijke overwegingen bij het instellen van een robots-metawaarde:

  • Alleen coöperatieve robots volgen deze regels. Ze voorkomen niet dat kwaadwillende actoren, zoals e-mailharvesters, de instructies negeren.
  • Als gedefinieerd in een <meta>-tag, moeten robots de pagina nog steeds bezoeken om deze regels te lezen. Overweeg om bandbreedte te besparen een robots.txt-bestand te gebruiken in plaats daarvan.
  • De tag <meta name="robots"> en robots.txt vervullen verschillende rollen: robots.txt regelt het crawlen, terwijl de robots-metatag de indexering en ander gedrag beïnvloedt.
  • Een pagina die geblokkeerd wordt door robots.txt kan nog steeds geïndexeerd worden als er vanuit andere bronnen naar gelinkt wordt.
  • De noindex-instructie wordt pas van kracht nadat de robot de pagina opnieuw bezoekt, dus zorg ervoor dat robots.txt dit niet verhindert.
  • Sommige waarden, zoals index versus noindex of follow versus nofollow, sluiten elkaar wederzijds uit. Het gedrag is niet gedefinieerd wanneer tegenstrijdige waarden gebruikt worden.
  • Robots zoals Google, Yahoo en Bing ondersteunen deze instructies ook in de HTTP-header X-Robots-Tag, wat nuttig is voor niet-HTML-inhoud zoals PDF's of afbeeldingen.

Voorbeelden

Een robots-trefwoord gebruiken

Het volgende voorbeeld gebruikt nofollow om te verzoeken dat een crawler geen links op een pagina volgt, en noindex om te verzoeken dat de pagina wordt uitgesloten van indexering:

HTML
<meta name="robots" content="nofollow, noindex" />

Verwante elementen

<base> <body> <head> <html> <link> <meta> <noscript> <script>