Botok - hogyan működnek (első rész), megjegyzi, blogger
Most olvasd el a cikket
„Keresők - hogyan működnek.”
Modern keresőprogramok kezelni több tízezer találatok számának
második. Hogyan történik ez?
Botok a fizikai szinten
Modern kereső - egy összetett szerkezet, amely több százezer, és a Google - millió fizikai szerverek. Minden információt. amelyen azokat tárolják, terjeszti és védi adatközpontok szerte a világon.
Yandex kiszolgáló helyiség
Logikai vázlata a keresők
Amikor a felhasználó meg akarja találni valamit az interneten. belép egy lekérdezést. Ez a kérés feldolgozása „terheléselosztót” - egy speciális eszköz, amely automatikusan átirányítja a felhasználót kérést a legkevésbé terhelt pillanatában a klaszter. Ez lehetővé teszi a használatát a számítási teljesítmény áll rendelkezésre a lehető leghatékonyabban.
Ezután a keresésnek továbbítjuk a „meta”. Ez a rendszer megkapja az összes szükséges információt, és megtudja, hogy milyen típusú adatokat a kérelem vonatkozik. Ebben a szakaszban a kérelmet ellenőrizni helyesírás, itt azt állapítjuk meg, ahonnan a régió kérelem érkezett, és arról, hogy mutassa meg a regionális oldalakon.
A feldolgozás Yandex kérés
És most a legégetőbb kérdés minden tulajdonos a helyszínen, és megtudja. hogyan fog
indexelési folyamatot
Indexelés - egy olyan folyamat, amelynek során a keresőmotor pókok „hogy kirándulásokat” a helyszíneken, és gyűjtsük össze a lapok a különböző információkat, és adja meg azt a különleges adatbázisban. Itt, hogy személyes ismeretség velük! 🙂 Ezután ezek az adatok valahogy feldolgozni, és épül az index - a squeeze dokumentumok (weblapok). Ez az index a kereső megkeresi és kapcsolatot biztosít a helyszínek alapján a felhasználó kéri.
Vegyük példának a indexelési folyamat Yandex. A kereső van 2 típusú robotok: gyors (fast-robot) és az alapvető.
A fő feladat a robot - indexelése minden tartalom, és gyors - az adatbázisba a legfrissebb információkat. Scheduler lánctalpas látogat útvonalak és továbbítja azt a „pók”, amely séta a kiválasztott oldalakat, és leereszt információkat tőlük. Ha az indexelés során talált dokumentumok új kapcsolatokat, azok bekerülnek az általános listában.
Az eljárások sorozata Yandex indexelés.
A dokumentumok az index esik két módja van:
2) Vagy a tulajdonos a helyszínen is felvehet egy URL-t egy speciális formája ( „addurilka”), vagy a Yandeks.Metriku telepítve a webhelyen. Ez a szolgáltatás továbbítja url oldalak index Yandex. nem tudja telepíteni a mutatók kódot egy weboldal, vagy tiltsa le ezt a beállítást a felület, ha szükséges.
És most fokozatosan átkerült a koncepció
Speed indexelés és frissítése oldalak
Ideális esetben az újonnan létrehozott oldalt kell indexelni azonnal. Azonban a nagy mennyiségű adat megnehezíti, hogy gyorsítsák indexelése új oldalt, és frissítse a régiek. Kereső robotok folyamatosan frissítjük a kereshető adatbázisban, de teszik a felhasználók számára elérhetővé, hogy át kell vinni egy „alap-keresés”. Az adatbázis át hiányosan. Ez alól kivételt képeznek tükör oldalak oldalak kereső spam, és egyéb nemkívánatos szerint a kereső és a dokumentumokat. Ahhoz azonban, hogy bizonyos típusú információkat, mint a frissítés sebességét elfogadhatatlan. Ilyen például a híroldalak indexelési folyamat. Kiemelt hírek rendelkezésre kell állnia a kereső után szinte azonnal hozzáteszik. Ahhoz, hogy gyorsítsák fel az indexelés oldalak gyakran frissített, és van egy különleges „gyors robot.” aki felkeresi híroldalak naponta többször.
Típusú kereső robotok
Között a meglévő keresési robotok az, hogy a négy fő:
➜➜ indexelő robot
➜➜ robot képek
➜➜ robot tükör helyén;
➜➜ robot Ellenőrzi, hogy vagy oldalt.
Néhány külföldi robotok álcázzák magukat Yandex robotok megadásával a megfelelő felhasználói ügynök. Meg tudja nézni a hitelességét a
robot azonosításával alapján reverse DNS-kéréseket.
Az indexelés robot érzékeli és indexelni az oldalt, hogy megteremti az alapot az elsődleges kutatás. A képek a robot belép az index képi információ, amelyet később jelenik meg a kibocsátás az adott szolgáltatási például Yandeks.Kartinki vagy a Google Images. A robot, amely meghatározza a tükör, ellenőrizze a tükörszerveren regisztrált a robots.txt fájlban. Ha ezek azonosak, az eredmények a kereső csak egy hely - a fő tükör.
Ez nem viselte meg nagyon hosszú cikket, csak annyit, hogy
Ha vezetés szükséges, hogy értékelje a teljesítményét az alkalmazottak, a tanfolyam minden eszközzel. Az első dolog, amit a hatóságok ellenőrzik a tevékenység az interneten, és ...
Hagyományosan, minél közelebb a szilveszteri örömmel Yandex webmesterek új algoritmust. És a neve az új algoritmus szép - „Palekh”, és maga a dolog ...
Az elmúlt hónapokban az anyagok az úgynevezett Push-értesítések egyre kezdtek megjelenni. Annak ellenére, hogy ez a fejlesztés több programozó ...