Robots Exclusion Protocol: Różnice pomiędzy wersjami

 

Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla [[wyszukiwarka internetowa|wyszukiwarek]], które podążając za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów.

Robots Exclusion Protocol jest systemem honorowym i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad.

 

* Czasem pobranie jakiejś strony powoduje wywołanie jakiejś akcji, np. oddanie głosu w sondażu (ściśle interpretując standardy, wszystkie tego typu akcje powinny odbywać się za pomocą formularzy i metody POST, nie linków i GET, nie jest to jednak powszechnie przestrzegane).

* Niechęć autora do tego, żeby dana strona była indeksowana w wyszukiwarkach, gdyż nie wnosi ona żadnej nowej treści do ich bazy. Tak jest m.in. ze stronami edycji na Wikipedii, np.:

* Duże obciążenie [[serwer]]a w związku z generacją strony oraz zwykłą niechęć do tego, żeby była ona w bazach wyszukiwarek. Niektóre strony internetowe z różnych przyczyn wolą pozostać poza wyszukiwarkami, lub pozwalają na indeksowanie tylko swojej strony głównej.

 

Istnieją dwa mechanizmy Robots Exclusion Protocol: robots.txt i meta-tagi

 

Najważniejszym mechanizmem jest plik robots.txt umieszczony w katalogu głównym serwera.

Zgodnie ze standardem Robots Exclusion Protocol, robots.txt to plik składający się z:

</source>

 

Jest też możliwe podawanie w tagach [[HTML]]: <tt><meta name="robots" contents="X"></tt>,

gdzie X to:

X może być złożone z jednego, dwóch lub trzech powyższych słów rozdzielonych przecinkiem (np. <tt>noindex,nofollow,noarchive</tt>), przy czym dopuszczalne jest też użycie słowa <tt>none</tt> jako odpowiednika <tt>noindex,nofollow</tt>.

 

 

[[Kategoria:Wyszukiwarki internetowe]]