# robots.txt voor www.sportsspeakers.nl

# wget e.d. slurpers niet fijn voor de serverload
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /

# advertentiebots niet fijn
User-agent: Mediapartners-Google*
Disallow: /

# deze slurpt ook bandwidth
User-agent: WebReaper
Disallow: /

# niet alle dirs openzetten
User-agent: *
Disallow: /generateditems/
Disallow: /sports_admin/
Disallow: /tool_faq/
Disallow: /tool_images/
Disallow: /tool_links/
Disallow: /tool_nieuws/
Disallow: /tool_tekstblok/
Disallow: /tool_userfiles/
Disallow: /uploadaudio/
Disallow: /uploaddocs/
Disallow: /uploadimages/
Disallow: /uploadnieuwsbrief/
Disallow: /uploadvideo/

# in seconden
Crawl-delay: 1