"a webhelytulajdonosok megkeresése nélkül nem is indexelhetne egy weblapot egyik kereső sem"
Hülyeséget írsz, miért kellene engedélyt kérni azért, hogy egy cég programja meglátogasson egy adott honlapot? Semmilyen adatvédelmi vagy egyéb jogszabályt nem sért, te is irhatsz ilyen programot. Ugyanolyan, mint sétálni az utcán és felírni a házszámokat, csak éppen ők Ferrarival csinálják a rögzítést.