Robot txt bestand

Hipmarketing Geen categorie 0 Comments

Robot txt bestand:

Een robot txt bestand is een bestand in de hoofdmap van uw site waarin u aangeeft welke delen van uw site niet toegankelijk zijn voor crawlers van zoekmachines.

Het laatste wat je wil is dat er persoonlijke informatie word opgepikt door de zoekmachines

het is dus heel belangrijk om dit goed in te laten stellen.

Met robots.txt kun je Google en andere zoekmachines laten weten welke pagina’s je liever niet wilt laten indexeren. Deze optie om bepaalde delen van je website af te schermen is niet alleen handig, maar dit geeft ook een betere structuur aan je website en zoekmachines waarderen dit.

Er zijn diverse tools beschikbaar die een robots txt bestand kunnen maken

ik persoonlijk raad die van Google aan deze vind je hier samen met een heldere uitleg.