Hogyan hozzunk létre egy fájlt
Hozzon létre egy egyszerű szöveges dokumentumot, és nevezd meg robots.txt. A Windows 7 levelet .txt kiterjesztést nem szükséges, csak hívja az újonnan létrehozott szöveges dokumentum robotok
A szintaxis egyáltalán nem bonyolult, semmi zamudrenogo nem.
User-Agent: * - A direktíva jelzi, hogy mi pontosan a kereső robot jön fellebbezést. Icon „*” azt jelenti, hogy minden robotot. Annak érdekében, hogy meghatározza a robot bármely adott kereső, akkor kell csak be, hanem a „*” robot nevét.
Itt van egy lista a keresőrobotok nagy keresőprogramok Roux NETA:
Tiltása: - tiltó irányelvet fájlindexelés. anyag, oldal könyvtárban.
Annak érdekében, hogy a keresőmotorok az index az összes szükséges anyagot irányelv tiltása: hagyja üresen:
Hagyjuk: - irányelv lehetővé teszi, indexelés egy bizonyos anyag, az oldal könyvtárban.
Teljesen kikapcsolni az indexelés az egész oldal, regisztrálnia kell az alábbi kódot:
Ön kikapcsolhatja indexelni fájlokat speciális kiterjesztéseket, mint például a gépelési robots.txt ezen a vonalon, ments index minden kiterjesztésű fájlok .pdf:
Host: - A, feltüntetve a fő tükör oldalon. Így megadhatja az elsődleges helyen vagy anélkül www. Annak ellenére, hogy jobb, ha nem is az oldalán a házigazda.
Sitemap: - egy irányelv, amely jelzi, hogy az .xml sitemap tervezett keresőmotorok.
A robots.txt fájlt kell elhelyezni a gyökérkönyvtárban a helyén.
Az oldalak létre a CMS (tartalomkezelő rendszerek), mint például a WordPress vagy Joomla! vannak speciális plug-inek, amelyek lehetővé teszik, hogy konfigurálja a megfelelő indexelése az oldalon.