1 / 2

Robot.txt

Robot.txt. Bestandje op je server waarmee je aan zoekmachines aangeeft wat ze wel of niet mogen indexeren. Voorbeeld 1 User-agent: * Disallow : / willekeurigefolder / Disallow : / ietsanders / Sitemap : http://www.jouwwebsite.nl/sitemap.xml. Voorbeeld 2

kimn
Download Presentation

Robot.txt

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Robot.txt Bestandje op je server waarmee je aan zoekmachines aangeeft wat ze wel of niet mogen indexeren Voorbeeld 1 User-agent: *Disallow: /willekeurigefolder/Disallow: /ietsanders/Sitemap: http://www.jouwwebsite.nl/sitemap.xml Voorbeeld 2 User-agent: GooglebotDisallow: /voorbeeld-rss.xml • Nuttig • Duplicated content uit index te halen en straf te voorkomen • Server tijd te sparen door alle bots behalve googlebot toe te laten Check op syntax fouten via http://tool.motoricerca.info/robots-checker.phtml Beter een lege robot.txt dan geen. Dit voorkomt grote logfiles omdat veel zoekmachines deze zoeken en dan een 404 fout krijgen Leeg:User-agent: *Disallow:

  2. Robot.txt voorbeelden Ik wil niet dat Google mijn foto's indexeert # Google ImageUser-agent: Googlebot-ImageDisallow: / Ik wil geen backup van web.archive.org # Internet ArchiverWayback MachineUser-agent: ia_archiverDisallow: / Hier staat mijn sitemap Sitemap: http://www.jouwebsite.nl/sitemap.xml.gz Voor Wordpress User-agent: *Disallow: /cgi-binDisallow: /wp-adminDisallow: /wp-includesDisallow: /wp-content/plugins

More Related