# http://kox.homeip.net/robots.txt

# Ganze Site für alle Robots sperren
# User-agent: *
# Disallow: /


# Die dürfen alle nichts machen
User-agent: scooter
User-agent: webcrawler
User-agent: lycra
User-agent: omega
User-agent: baiduspider
Disallow: /


# Die haben Erlaubnis bis auf die definierten Ausnahmen
User-agent: wget
User-agent: webzip
Disallow: /Marktplatz
Disallow: /Sandkasten
Disallow: /FIBU
Disallow: /HTML
Disallow: /Civilibal
Disallow: /Demo
Disallow: /index
Disallow: /cgi-bin/


# Massendownloader vom CGI Verzeichnis fernhalten
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/


# Alle nicht aufgeführten dürfen bis auf folgende Verzeichnisse
User-agent: *
Disallow: /news
Disallow: /radio.html
Disallow: /temp
Disallow: /Marktplatz
Disallow: /Sandkasten
Disallow: /FIBU
Disallow: /HTML
Disallow: /Civilibal
Disallow: /Demo
Disallow: /index