A keresõnek az a dolga hogy keressen, akinek nem tetszik, az védekezzen ellene, ahogy a #2-ben is olvasható.
Mekkora feladat egy robots.txt fájlt feltenni a szerver gyökérkönyvtárába? A választ a Google súgó oldalán találtam meg:
To remove your site from Google only and prevent just Googlebot from crawling your site in the future, place the following robots.txt file in your server root:
User-agent: Googlebot
Disallow: /
(...)
To remove all files of a specific file type (for example, .gif), you'd use the following robots.txt entry: