Robotok txt site
Robots.txt fájl a gyökérkönyvtárban egy oldalon.
Ez szinte kötelező a minden honlapon, mert lehet használni, hogy befolyásolja az indexelés a webes dokumentumok. Egyszerűen fogalmazva, hogy lehet használni, hogy elmondja a keresőmotorok, úgy, hogy nem hozzák a kívánt index weboldalakat, mint a találatokat a helyszínen, a hivatalos dokumentumok, stb
Ez könnyen megnézzük bármelyik oldalon (ha van ilyen. Minden bizonnyal a kevésbé súlyos webes forrás).
Fájl formátum a következő:
A felvétel kezdődik egy vagy több felhasználói ágens, amely meghatározza egy adott kereső robot. Ezután kövesse az utasításokat engedélyezése (lehetővé teszi) vagy letiltja (tiltás). Lehetséges felbontás és tiltása irányelv nélkül dőlt. Minden bejegyzés kerül külön sorban. A csillaggal (*): olyan robot.
Robots.txt fájl példa
User-agent: WebCrawler <- робот webcrawler
User-agent: Googlebot <- робот Googlebot
Hagyjuk: /tmp/ok.html <- разрешить смотреть папку /tmp/ok.html
Disallow: / assort <- запретить смотреть папку /assort
Tiltása: / user / fid <- запретить смотреть папку /user/fid
Még néhány példa: