Mi a keresési robot
Mi a keresési robot. keresés Spider
Keresés robot ( „pókháló” robot) - program, amely része a kereső, és úgy tervezték, hogy megkerülje a weboldalakat céljából belépő információkat róluk a kereső adatbázisban. A működési elve a pók hasonlít egy közönséges böngésző.
Tulajdonosai keresők néha korlátozza a behatolás mélysége a pók belül a helyszínen, és a maximális mérete a beolvasott szöveget, így túl nagy oldalak nem lehet teljesen indexelt a kereső. A szokásos pókok, vannak úgynevezett „harkályok” -, hogy a robotok „csörgő” indexelt a célból, hogy meghatározzuk, ha rendelkezésre áll.
Tab oldalak sorrendjét, látogatások gyakoriságának, Hurkolja védelem, valamint az azonosítására szolgáló kritériumok fontos információkat határozza meg keresési algoritmusok.
Továbbá, sok a keresőmotorok, hogy a felhasználó a lehetőséget, hogy adjunk egy hely a sorban az indexelés. Általában ez jelentősen felgyorsítja az indexelés honlapján, és azokban az esetekben, amikor nem külső hivatkozások nem vezetnek a honlap általában az egyetlen lehetőség, hogy jelezze a létezését.
Korlátozza indexeli webhelyét, akkor használja a robots.txt fájlt, de néhány gátlástalan botok lehet figyelmen kívül hagyni, hogy létezik ez a fájl. Teljes védelem az indexelés lehet biztosítani más mechanizmusok, mint például a jelszó megadása az oldalon, vagy az a követelmény, hogy töltsenek ki egy regisztrációs lapot, mielőtt hozzáférést a tartalomhoz.