CwCity Board >>> Allgemeines >>> Whats New >>> SemrushBot - problemlos loswerden
SemrushBot - problemlos loswerden

Seiten: 1
Ratgeber
Verfasst am: 10.02.2015 um: 22:04 Uhr
 
Dr. CwCity.de
Community God
Beiträge: 10010
SPAM:
0% Spam
Ich ahbe mich jetzt längere Zeit mit dem "SemrushBot" herumgechlagen:
Er ignorierte die robots.txt. Er zeigte immer wieder neue Brwoser-Agents. Er wechselte immer wieder die IPs.
Es nutze eigentlich nicht viel, dass ich ihn irgendwann endlich wirklich blocken konnte. Er kam trotzdem immer wieder.

Auf Dauer verursacht auch das Blocken von Crawlern Traffic, auf jeden Fall knabbert es aber an den Ressourcen des Webspace. Irgendwann verbraucht er einfach seinen ganzen RAM nur für das wegblocken.

Zunächst wandte ich mich dann an den Betreiber. Leider erfolglos.
Nachdem ich die Nase davon voll hatte, dass am Tag bis zu mehreren Tausend Zugriffen dieses Bots erfolgten, wandte ich mich an @ schulle.
Er konnte mir da leider nicht von Adminseite her weiterhelfen. Die Gründe sind nicht relevant.

Ok, dann gehe ich einfach mal dem Betreiber auf den Geist
Er hat die robots.txt manuell geprüft und sie als "wirksames Aussperren" bestätigt, gab dabei aber zunächst an, dass der Bot vorrangig über Links zu mir kommt.

Da hatte er aber bei mir den "falschen Nerv erwischt" ... er bakam "Kontra" von mir und ich forderte die Einhaltung seiner Zusage an, dass der Bot nicht mehr wieder kommen würde. Und natürlich schrieb ich ihm auch, dass ich seine Erklärungmit den Backlinks nicht akzeptieren würde.
Dabei bekam er auch eine Liste mit den Auftauchen seines Bots nach seiner Zusage.

Wenige Stunden später hörte der Bot auch wirklich auf, meine Seite zu scannen. Einen Tag später erhielt ich noch eine schriftliche Entschuldigung dafür, dass der Bot doch wieder gekommen war.

WENN euch dieser Bot also stört, passt eure robots.txt entsprechend an.
Weist den Betreiber dann später in einer Mail daraufhin, dass sein Bot bitte nicht mehr scannen soll. Liefert ihm dann gleich auch ein Log mit, damit er seine "Fuzzies" darauf ansetzen kann.
Dauert zwar ein paar Tage, bis alles rund läuft. Danach könnt ihr aber eure Sperren wieder abbauen und euren RAM für Wichtigeres als das Blocken dieses Bots nutzen.

Erwischt man "den Richtigen" , geht er auch wirklich auf eure Mails ein und sendet nicht nur vorgefertigte Textbausteine , sondern "tut wirklich was"


 
Ratgeber---Forum.de ---- Partnerseiten ------ Halle der Ehre ----- zum Forum ---- Ratgeber---Forum.Net ----- Das Ende des Internets
----> Interessante andere Seiten --> Toromino.de 


 



 
Seiten: 1

Folgende User sind hier gerade aktiv:
-

ANZEIGE