Robots Exclusion Protocol: Różnice pomiędzy wersjami

[wersja przejrzana][wersja przejrzana]
Usunięta treść Dodana treść
PG (dyskusja | edycje)
szablon
m Zmieniono wielkość nagłówków
Linia 15:
Istnieją dwa mechanizmy Robots Exclusion Protocol: robots.txt i znaczniki meta.
 
=== robots.txt ===
Najważniejszym mechanizmem jest plik robots.txt umieszczony w katalogu głównym serwera.
Zgodnie ze standardem Robots Exclusion Protocol, robots.txt to plik składający się z:
Linia 31:
Niektóre boty rozumieją też inne pola, np. ograniczające ilość pobrań ze strony na minutę.
 
==== Przykłady ====
Cała witryna '''będzie''' indeksowana przez roboty (tak jakby nie było pliku robots.txt):
<syntaxhighlight lang="robots">
Linia 57:
</syntaxhighlight>
 
=== Znaczniki meta ===
Jest też możliwe podawanie dyrektyw dla robotów w znacznikach [[HTML]]: <tt><meta name="robots" content="X"></tt>,
gdzie X to: