Véd a felesleges keresőrobotok, és csökkenti a szerver terhelését, a webhely
Szia barátok! Összességében én már ennek Web design körülbelül 6 éve. Nem tudom, hogy sok vagy kevés, de nem ez a lényeg. Ebben az időszakban, én változott a két tárhely szolgáltatók - most a harmadik.
A következtetés, hogy csináltam magamnak alapján saját tapasztalat, az a következő: a sikeres előmozdítása a helyszínen óriási szerepet játszott a minőségi hosting és szerver kapacitását, amelyek székhelye oldalakon. A keresőmotorok egyértelműen nem tetszik a források, amelyek folyamatosan csökken, és elzárva. Tehát én személy szerint viccesnek találom, amikor az emberek beszélnek lelkesen arról, hogy mit fizet tárhely csak egy dollár havonta. Alapértelmezésben nem lehet, hogy az ilyen hosting képes minőségi szolgáltatásokat.
Az én választásom - egy jó és megbízható web hosting szolgáltató és a drága tarifa, ami egyúttal a nagy kapacitású a szerver. És mivel a VDS én még nem érett, és a speciális igényeit ezen, amíg úgy érzi, hogy én elégedett a személyes web szerver, elvileg tekinthető a hatalom kényelmes alternatívát VDS.
De „ez proruha az öregasszony”, és ugyanabban az időben. Először is, a „mirigyek” meg kell törni tulajdon, és mivel van a hibák minden hardvert. Másodszor, számos külső tényező, amely jelentős hatással a rendelkezésre álló helyek.
A pozitív tényező a webmesterek, túlterhelés a szerver, a növekedés az ellátás, a negatív tényezők - DDoS támadások, és a szükségtelen keresőrobotok „szimatol” a helyszínen.
Nemrég kaptam egy üzenetet a fogadó, hogy az azonosított jelentős terhelést a szerver az intézkedések a kereső robotok, és egy nagy lista a botok. Sőt, kiderült, egy ilyen kis DDoS támadás, amikor ezek a robotok néhány másodpercig kért száz oldalas honlapok.
Hogyan védekezhet a nem kívánt kereső robotok? Gondolkodás nélkül kétszer, kerestem az interneten, és találtam egy megoldást -, hogy kiegészítse a .htaccess fájlt a következő tartalommal:
érdekében allow, deny
hogy minden
# Következő lista yuzeragentov hogy megtiltjuk hozzáférés
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent Ning bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase User-Agent Library bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Semmi bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent keresőbot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Lánctalpas bad_bot
Order allow, deny
Hagyjuk az összes
Deny származó env = bad_bot
Ugyanígy a lista tiltott botok lehet hozzárendelni és a nevét a másik bot kapja meg. Azt hiszem, ez lesz lebontották.