Robots Exclusion Protocol – mechanizm informowania automatów o tym, czego nie powinny robić na stronie WWW.

Dotyczy to przede wszystkim działających automatycznie programów indeksujących serwisy WWW dla wyszukiwarek, które podążając za hiperłączami indeksują całą zawartość danego serwisu do katalogu wyszukiwarki, ale również programów innego typu, np. automatycznych mirrorów.

Robots Exclusion Protocol jest systemem honorowym i jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. System ten jest generalnie przestrzegany, gdyż w niczyim interesie nie leży łamanie jego zasad.

Spis treści

[edytuj] Powody stosowania

http://pl.wikipedia.org/w/wiki.phtml?title=Robots_Exclusion_Protocol&action=edit

[edytuj] Mechanizmy

Istnieją dwa mechanizmy Robots Exclusion Protocol: robots.txt i znaczniki meta.

[edytuj] robots.txt

Najważniejszym mechanizmem jest plik robots.txt umieszczony w katalogu głównym serwera. Zgodnie ze standardem Robots Exclusion Protocol, robots.txt to plik składający się z:

Pole User-agent oznacza jakich programów dany rekord dotyczy. Pola Disallow to prefiksy URL-i, których ściągać nie wolno.

Pole User-agent: * dotyczy wszystkich nie wymienionych w innych rekordach programów.

Niektóre boty rozumieją też inne pola, np. ograniczające ilość pobrań ze strony na minutę.

[edytuj] Przykłady

Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):

User-agent: *
Disallow:

Cała witryna nie będzie indeksowana:

User-agent: *
Disallow: /

Indeksowane nie będą tylko foldery "images" i "private" w katalogu głównym strony:

User-agent: *
Disallow: /images/
Disallow: /private/

Indeksowany nie będzie tylko plik "file" w katalogu "directory":

User-agent: *
Disallow: /directory/file.html

[edytuj] Znaczniki meta

Jest też możliwe podawanie dyrektyw dla robotów w znacznikach HTML: <meta name="robots" content="X">, gdzie X to:

X może być złożone z jednego, dwóch lub trzech powyższych słów rozdzielonych przecinkiem (np. noindex,nofollow,noarchive), przy czym dopuszczalne jest też użycie słowa none jako odpowiednika noindex,nofollow.

Znaczniki meta wymagają analizy HTML-a, więc są uznawane o wiele rzadziej niż robots.txt

Źródło „index.php?wiki=Robots_Exclusion_Protocol




kubki reklamowe tapety na telefon za darmo Tchnienie news Biuro rachunkowe katarzyna cichopek
zasilacz ups rack parkiety egzotyczne praca oferty pracy Kserokopiarki praca Kraków podłogi panelowe Przetwórstwo Tworzyw
fajne mieszne filmiki wesoe - webasto - Komrki Telefony komrkowe Informacje gsm - super mieszne filmiki rne kategorie - www.ciuciaj48.muckaz.eu - Kalendarz Vancouver 2010 Wyniki Igrzysk - Filmy animowane Bajki najlepsze bajki - alveo - Telewizyjne Transmisje Igrzysk w TV i Terminarz - Nowo w Polsce Yerba Mate Zapraszamy!
box serwisowy nspro box box serwisowy | Bazy danych | audiobooki Audio Book audiobooki audiobooki książki audio | Under The Boards - [CD+DVD] | Gadu Gadu komunikator GG pobierz nowe GG | lustrzanki cyfrowe | komputery | tego nie ma w telewizji | Nowości z sieci dla Ciebie. | torrenty | fajne strony | konto premium hotfile premium dla hotfile | Strony internetowe Projektowanie stron internetowych profesjonalna grafika | Hotel wrocław - feelprime. hotel Wrocław Hotele we Wrocławiu. | Przenośne odtwarzacze mp3 i mp4 pozwalają słuchać muzyki i radia.

apteka erotyczna | gg video | Kompleksowa budowa domu | ŁOWICZ HOTELES | Drinks | Londres | Tarnów