Wenn der Namen nicht spezifisch in Robots.txt aufgelistet wird, dann werden einfach die Befehle unter User-agent: * ausgeführt, also wird der DuckDuckBot folgende Befehle befolgen:
Disallow: */SiteGlobals
Disallow: */DE/Service
Disallow: */EN/Service
Disallow: */DE/_Magazine
Crawl-delay: 180
Wichtig anzumerken ist jedoch, dass DuckDuckGo nicht nur seine eigenen Ergebnisse anzeigt, sondern auch sich bei anderen Suchmaschinen bedient. Unteranderem ist Bing eine davon. Bei Bing haben wir folgendes:
User-agent: Bingbot
Allow: */SiteGlobals
Deshalb taucht die Seite auch bei DuckDuckGo auf. :)