Protokol pro zakázání přístupu robotům


(přesměrováno z Robots.txt)

Protokol pro zakázání přístupu robotům (robots.txt) je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.

Obsah

Příklady


Uvedením následujícího textu v souboru robots.txt lze zakázat procházení webu všem vyhledávačům:

User-agent: *
Disallow: /

Následující příklad zakáže všem robotům, aby procházeli obsah složek /cgi-bin, /images, /tmp a /private:

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Zakázaní Googlebotu procházet vše v adresáři /en:

User-Agent: Googlebot
Disallow: /en/

Alternativy


Parametr konkrétních odkazů

Zakázat procházení konkrétních odkazů lze i vložením speciálního parametru rel="nofollow" do každého z odkazů.

<a href="/stranka-kterou-nechci-prochazet" rel="nofollow"> 

Metatag robots

Zákaz procházení odkazů vedoucí z konkrétní URL lze pomocí umístění speciálního metatagu do hlavičky stránky.

<meta name="robots" content="nofollow" />

Sitemap.xml


Do souboru robots.txt je doporučené vložit odkaz na sitemap.xml, aby tento soubor mohly vyhledávače snáze nalézt a využívat jej k efektivnějšímu procházení webu.

Sitemap: http://www.root.cz/sitemap/sitemap.xml

Zákaz procházení není zákaz indexace


Mnoho správců webů se mylně domnívá, že zákazem procházení dojde automaticky i k zákazu indexace stránek, ale praxe je mírně složitější. Internetové vyhledávače musí stránku navštívit a stáhnout, aby ji mohly zanést do svého indexu (proces indexace). Když je procházení daného adresáře zakázané v souboru robots.txt, tak danou stránku nemohou roboti navštívit a tedy indexovat. Jestliže však na danou stránku vede mnoho zpětných odkazů, tak mohou tuto stránku vyhodnotit, jako důležitou a přesto ji indexovat.

Související články


Externí odkazy











Kategorie: Internetové vyhledávače




Poslední aktualizace: 20.02.2021 05:08:14 CET

Zdroj: Wikipedia (autoři [Dějiny])    licence: CC-BY-SA-3.0

Změny: Všechny obrázky a většina návrhových prvků, které s nimi souvisejí, byly odstraněny. Některé ikony byly nahrazeny FontAwesome-Icons. Některé šablony byly odstraněny (např. „Článek potřebuje rozšíření“) nebo byly přiřazeny (např. „Poznámky“). Třídy CSS byly buď odstraněny, nebo harmonizovány Byly odstraněny konkrétní odkazy na Wikipedii, které nevedou k článku nebo kategorii (jako „Redlinks“, „links to edit page“, „links to portals“). Každý externí odkaz má další obrázek. Kromě několika drobných změn designu byly odstraněny mediální kontejnery, mapy, navigační krabice, mluvené verze a geomikroformáty.

Upozornění Protože daný obsah je v daném okamžiku automaticky převzat z Wikipedie, ruční ověření bylo a není možné. LinkFang.org proto nezaručuje přesnost a aktuálnost získaného obsahu. Pokud existují informace, které jsou v tuto chvíli chybné nebo mají nepřesné zobrazení, neváhejte a kontaktujte nás: e-mail.
Viz také: Tiráž & Ochrana dat.