robots.txt staat in de hoofdmap van je site. Daarin zeg je welke paden een crawler mag ophalen. Het bestand verwijdert een URL niet uit de zoekresultaten. Daarvoor is noindex of een andere indexeringsinstelling nodig.
Was dit artikel duidelijk?
Kennisbank›Technische SEO›Wat is robots.txt?
Technische SEO
Wat is robots.txt?
Instructies voor crawlers over wat ze mogen opvragen.