Korlátozza a hozzáférést a helyén a - nem kívánt - botok - SEO fórum
Sok webmester (és magamat is beleértve), annak érdekében, hogy felgyorsítsa a keresőmotorok index oldalak, hivatkozásokat adhatnak oldalak Twitter és a Facebook. Egyesek azt viszont néhány olyan programok és szolgáltatások hozzáadásával RSS-hírcsatornák, stb
Az eredmény egy igazi mini-DDoS, amikor csupán néhány másodpercet, ezek a botok a szerver által kért tíz és száz oldalt. És ez a csizma, azt akarod, hogy a haszon kivételével a terhelést a szerver nem engedi.
De mindez, mint mondják, „nem fontos”. A lényeg, hogy egy részletes monitoring naplók és kiderült, a kérelmek nagy száma miatt a „bal” botok. Ban őket IP értelme nem volt, mert sok gyakran változott. Aztán találtam egy megoldást, amely még mindig biztonságosan megmenti az oldalak különböző zadalbyvat botokat és ennek megfelelően sokkal csökkenti a terhelést a szerveren.
A gyökérmappáját helyén .htaccess fájl létrehozása a következő tartalommal:
érdekében allow, deny
hogy minden
# Következő lista yuzeragentov hogy megtiltjuk hozzáférés
SetEnvIfNoCase User-Agent JS-Kit bad_bot
SetEnvIfNoCase User-Agent PostRank bad_bot
SetEnvIfNoCase User-Agent Python-urllib bad_bot
SetEnvIfNoCase User-Agent UnwindFetchor bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent TweetmemeBot bad_bot
SetEnvIfNoCase User-Agent Butterfly bad_bot
SetEnvIfNoCase User-Agent MFE_expand bad_bot
SetEnvIfNoCase User-Agent Java bad_bot
SetEnvIfNoCase User-Agent Summify bad_bot
SetEnvIfNoCase User-Agent MetaURI bad_bot
SetEnvIfNoCase User-Agent FlipboardProxy bad_bot
SetEnvIfNoCase User-Agent ScribdReader bad_bot
SetEnvIfNoCase User-Agent RockMelt bad_bot
SetEnvIfNoCase User-Agent InAGist bad_bot
SetEnvIfNoCase User-Agent Ning bad_bot
SetEnvIfNoCase User-Agent TweetedTimes bad_bot
SetEnvIfNoCase User-Agent PaperLiBot bad_bot
SetEnvIfNoCase User-Agent Library bad_bot
SetEnvIfNoCase User-Agent Ezooms bad_bot
SetEnvIfNoCase User-Agent strawberryj bad_bot
SetEnvIfNoCase User-Agent Scooper bad_bot
SetEnvIfNoCase User-Agent Ahrefs bad_bot
SetEnvIfNoCase User-Agent Spider bad_bot
SetEnvIfNoCase User-Agent Semmi bad_bot
SetEnvIfNoCase User-Agent EventMachine bad_bot
SetEnvIfNoCase User-Agent aiHitBot bad_bot
SetEnvIfNoCase User-Agent SolomonoBot bad_bot
SetEnvIfNoCase User-Agent keresőbot bad_bot
SetEnvIfNoCase User-Agent Wget bad_bot
SetEnvIfNoCase User-Agent Lánctalpas bad_bot
Order allow, deny
Hagyjuk az összes
Deny származó env = bad_bot
Csak egy darab ez az adat a bot neve, mi lesz „bingbot”, és add, hogy mi listája a .htaccess fájlt a következő sort:
SetEnvIfNoCase User-Agent bingbot bad_bot
Ha yuzeragenta, akinek szeretne hogy megtagadja a hozzáférést a webhely nevét két szóból áll, akkor csak egyszerűen vegye idézőjelbe. Például egy helyszínen yuzeragentom zadalbyvat bot:
Mozilla / 5.0 (compatible; SISTRIX Lánctalpas; httr: //crawler.sistrix.net/)
Írja be az alábbi .htaccess kombináció: