Soubor robots.txt je textový soubor, který se nachází v kořenové složce webového serveru. Slouží k informování webových robotů, jako jsou webové vyhledávače, o tom, které části webové stránky mohou procházet a indexovat.
Soubor robots.txt obsahuje příkazy, které weboví roboti mohou interpretovat. Mezi běžné příkazy patří:
- Disallow - tento příkaz zakazuje webovým robotům procházet konkrétní cestu nebo soubor.
- Allow - tento příkaz povoluje webovým robotům procházet konkrétní cestu nebo soubor.
- User-agent - tento příkaz umožňuje webovým robotům specifikovat, pro které roboty se příkazy v souboru robots.txt vztahují.
Soubor robots.txt může být užitečným nástrojem pro správu webových stránek. Pomocí souboru robots.txt můžete například zabránit webovým robotům v přístupu k soukromým nebo citlivým informacím. Můžete také použít soubor robots.txt k řízení toho, jak jsou vaše webové stránky indexovány ve vyhledávačích.
Příklad souboru robots.txt
Zde je příklad souboru robots.txt, který zakazuje webovým robotům procházet složku /private a umožňuje webovým robotům procházet složku /public.
User-agent: *
Disallow: /private
Allow: /public
Použití souboru robots.txt
Soubor robots.txt by měl být umístěn v kořenové složce a musí se jednat o textový soubor s příponou .txt.
Weboví roboti si soubor robots.txt nejprve stáhnou a poté ho analyzují. Pokud webový robot najde v souboru robots.txt příkaz Disallow, bude se vyhýbat procházení cesty nebo souboru, který je uveden v příkazu. Pokud webový robot najde v souboru robots.txt příkaz Allow, bude procházet cestu nebo soubor, který je uveden v příkazu. Pokud webový robot nenajde v souboru robots.txt žádný příkaz, bude procházet vše.
