Google ist hier ja echt noch eine von den "netteren" suchmaschinen.
die robots.txt ist eine nette sache....aber völlig optional.