Търсачки, игнориращи robots.txt


1

Здравейте!


  1. Интересува ме, съществурат ли търсачки, които не се съобразяват с правилата в robots.txt, т.е. индексират целият сайт (вкл. непозволени страници)?

  2. А това може ли да счете за нещо незаконно и да се осъди дадената търсачка?



Отговори



0
1. Има. Кои са? Най-различни търсачки. Хакерските също могат.
2. Не можеш. Голяма част от сайтовете, които са без собствено съдържание агрегират на този принцип. Това е една от причините да умира печатния бизнес в световен мащаб, защото им крадат съдържанието автоматично, а те не могат нищо да направят.
С две думи имаш ли нещо скрито не го качвай в нета :)

от deyan.todorov (1019 точки)


0
Питах с цел да намеря и да ползвам такава търсачка. ;) Ако знаете някоя, ще се радвам да споделите.


0
може би си имал предвид онлайн изданията или онлайн частта на съответния вестник, защото напечатан на хартия текст не можеш го агрегира по никакъв друг начин освен с очи :) Предполагам, че и на това може да му се намери цаката - слагаш два реда да загатват темата и другото с клик върху икона или картинка, цялата вътрешна част в таблица (нали търсачките пропускаха индексирането на таблично съдържание)

от redOne (0 точки)