Robots.txt, Meta-Tags und SEO

Bild, Amigos3D

… des Letzteren des Titels, zum SEO, ist virtuell ein Anfang ohne Ende und wird Leuten ambitionierten Webseiten und gesunden Spieltriebs zum Erfolg. 

Tags: Meta, Dublierter Content, SEO, rel-Attribute, XML Sitemap, header.php,  s. Tab „Meta“

Robots.txt-Datei

Die Suchmaschinen zur Indexierung der Website ein- oder ausladen erfolgt über die virtuelle Robots.txt von WordPress im Dashboard/Einstellungen/Lesen „Sichtbarkeit für Suchmaschinen“ und entsprechendem Häkchen.

Da die so genannt Robots.txt einfache Sache ist, möchte ich nur so viel wie eine kleine, aber informative Zusammenfassung anbieten, welche Inhalts im Internet zu finden sind und jedem Link ähnlich sind.

Grundlagen: selfhtml.org

Schöne, einfache Beschreibung von https://zoman.info/die-robots-txt-datei-von-wordpress-bearbeiten/ u. a. mit Plug-in Hinweis, wenn man keinen direkten Zugriff auf dem Webserver hat.

Abriss Internetrecherche: Hindurch Robots.txt sind Dateien, Verzeichnisse auch die gesamte Webseite den Suchmaschinen auszuschließen. Die Crawler können über die Robots.txt gesteuert werden, beispielsweise nur den „Bingbot“ zulassen und „Googlebot“ nicht mit einbeziehen.

Nicht zwingend ist ein Verweis auf die XML-Sitemap, aber von Vorteil, um dem Crawler zu weisen, wo sich die Sitemap befindet. Die Aufgabe der Robots.txt ist, den Crawlern anzuweisen, was mit dem Inhalt zu tun ist. Es hält die Suchmaschinenrobots nicht davon ab, Seiten und Inhalte zu crawlen. Die Robots.txt ist kein Zugriffsschutz für Dateien, hierzu ist der Paßwortschutz im Editor anzuwenden. Die Robots sind nicht verpflichtet, die Website zu crawlen.

Die Robots.txt lässt sich zur Ansicht über URL/robots.txt aufrufen, z. B. des Codes unter Ausschluss der Suchmaschinen wird angezeigt:

User-agent: *
Disallow: /

Des Weiteren, schematisch: Praxis-Tipps (nicht nur) für Einsteiger, http://www.edv-beratung-thomas.de/index.htm?ti-seo-13-robots-txt.html

Robots.txt-Datei und Unterordner „wordpress“

Mit Adresse von https://www.1und1.at/digitalguide/hosting/hosting-technik/indexierungsmanagement-mit-der-robotstxt/ , s. Robots.txt erstellen: Für Crawling-Zielsetzung der Domain example.net muss sich die Robots.txt im selben Verzeichnis befinden wie www.example.net. Über den Web-Browser wäre eine solche Datei unter www.example.net/robots.txt abrufbar. Bietet das Serverprogramm des Host keinen Zugriff auf das Root-Verzeichnis, sondern nur auf einen Unterordner (wie etwa www.example.de/benutzer/), sind Indexierungsregeln mittels Robots.txt nicht möglich.

Die Robots.txt ist im Ordner hochzuladen, wo sich WordPress befindet: … weiß man eben –. aber auch Dashboard/Einstellungen/Lesen das Häkchen zum Ausschluss der Suchmaschinen entfernen? Eigentlich müsste das nicht sein, weil Selbige durch die erstellte, selbstständige Robots.txt überschrieben wird?

Ebd. Lehrreich:

Originär folgenden Hinweis: Die virtuelle robots.txt kann man auch ohne Plug-in erweitern. Wie man die robots.txt mit Plug-in bearbeitet, ist im Artikel „Die robots.txt Datei von WordPress bearbeiten“ beschrieben. Zum Anlegen der virtuellen robots.txt nutzt WordPress die Funktion do_robots(). In der WordPress Version 4.2.2 finden wir diese Funktion in den Core … s.https://zoman.info/eintraege-zur-virtuellen-robots-txt-von-wordpress-ohne-plugin-hinzufuegen/

Vor dem fri­ckeln – äh, editieren in den Dateien am Web-Host-Server immer vorerst betreffende Datei – Dateisicherung.

S. auch Mehrfacher Contentrisiko beseitigen; im WordPress Duplicate Content finden.

Beispiel einer Robots.txt-Datei für WordPress

Eine Datei namens robots.txt ist neben der virtuellen Robots.txt von WordPress eine eigens, selbst zu erstellende Datei, welche auch ein weiterer Punkt zur WP-Sicherheit ist, s. https://fastwp.de/2766/ „Standard robot.txt für WordPress“. Diese „Standard“ Robots.txt-Datei ist mit einigen speziellen Codes im Zusammenspiel mit FastWP SEO Snippet https://fastwp.de/2161/zu verstehen, s. hierzu auch Tab Meta/SEO Meta-Tags.

Robots.txt-Datei des Weiteren

Website(n) den Suchmaschinen ausschließen …
und wie z. B. alle „Seiten“, als „page“, nicht geht.

Das Ausschließen von Webseiten muss mit dem Verzeichnispfad der URL zusammenhängen.

User-agent: *
Disallow: /page/ oder
Disallow: /wp-page/* usw. funktioniert mitnichten.

… außer die URL hat selbigen Namen.

Also mitziehend eines Thema mehrere  zusammenhängende „Seiten“ ausschließen:

Die erwünschte Titelseite des Themas im Editor unter Seiten-Attribute/Eltern als „Hauptseite (keine Übergeordnete)“ zuordnen und die jeweilig folgenden Seiten des Themas unter Eltern der Hauptseite zuweisen.

Somit sind Beispiels:

  • domain.net/vogel/
  • domain.net/vogel/uhu/
  • domain.net/vogel/uhu/bubo-bubo/
  • usw.

in Robots.txt mit

User-agent: *
Disallow: /vogel/*/*

… die Hauptseite und alle untergeordneten „Seiten“ der Indexierung ausgeschlossen.

Robots.txt-Datei Testen

Robots.txt Tester

http://tool.motoricerca.info/robots-checker.phtml

Robots.txt Tester

http://www.searchenginepromotionhelp.com/m/robots-text-tester/robots-checker.php

Die Tester widersprechen sich in den Ergebnissen, welche der Auszeichnungen in Zusammenfassung, z. B.:

User-agent: EnigmaBot
User-agent: INGRID/0.1
User-agent: linklooker
Disallow: /

oder

User-agent: EnigmaBot
Disallow: /

User-agent: INGRID/0.1
Disallow: /

User-agent: linklooker
Disallow: /

… jeweils pro Agent in extra Auszeichnung richtig ist. In Summe, folgenden Links (Überprüfung der Robots.txt-Datei) ist nachvollziehbar, dass beiderlei Versionen ansprechen.

Überprüfung der Robots.txt-Dateien

Robots.txt Test Tool

Originär, obigen Link folgend:

Bevor die robots.txt in das Root-Verzeichnis der Website raufgeladen wird, sollte der Nutzer stets ihre Korrektheit prüfen. Der kleinste Fehler kann dazu führen, dass der Bot die Vorgaben übergeht und ggf. Seiten einliest, die nicht im Suchmaschinenindex dazu kommen sollen. Hierzu die URL eingeben und den jeweiligen User Agent auswählen. Nach dem Klick auf “Prüfung starten” überprüft das Tool, ob das Crawling für die angegebene URL für den Bot erlaubt ist oder nicht.

Ungewollte Bots

Mithin – evtl. „Simple Falle für ungewollte Bots“? – Plug-in Hinweis https://fastwp.de/8536/ Plug-in Blackhole: Beschreibung, Insatallation und FAQ s. hier im vierten Tab.

BotsReport

Des Themas im Allgemeinen informativ,  u. a. http://www.botreports.com/i/iaarchiver.shtml

z. B. ia_archiver ausschließen:

User-agent: ia_archiver
Disallow: /
Kl. Merkzettel zur Aufschlüsselung

Ohne / am Ende sind alle nachfolgenden Dateien mit eingeschlossen.

Disallow: /wp-admin
Die Administrations-Umgebung von WordPress

Disallow: /wp-includes
Die Gesamtheit der WordPress-Anwendungslogik

Disallow: /wp-content
wp-content/plugins usw.

Allow: /wp-content/uploads
Vom Nutzer hinzugefügter Inhalt

Meta-Elemente … SEO

Webmasters Thema Nummer 1, die Website Optimierung für Suchmaschienen, ist es nun auch für Anfänger Zeit – immerhin den Ausblick zum Thema Metadaten zu genießen.

Dublierter Content

Lesenswert! – alle drei Seiten: http://www.suchmaschinen-online.de/optimierung/meta.htm, etwa, Seite 3, auch zum Thema Dublicate Content – also inhaltlich! – Abgesehen von möglicher rechtlicher Konsequenz ist [(fast) exakte] Kopie eines Text des Inhalts anderer Website nicht nur fairnesshalber Abstand zu nehmen: weil dadurch infrage der Zeit wenigen Wochen, die Suchmaschinen eine der Websites analogen Textes aus dem Index streichen. Die Suchmaschinen arbeiten die Inhalte durch, erkennen doppelt oder auch mehrfach analogen Text. Exakt gleichen Text suchen sich die Suchmaschinen jedwede Fundstelle. Somit ist aus den Ergebnis möglich, dass für das Programm der Suchmaschinen die Website wahrhaften Autors nicht auf dem aktuellen Stand scheint, diese aus dem Index streicht und ein Pageturner wird als (pseudo) Autor behalten. – In Plazet (also der Erlaubnis) Kopie von Text des Inhalts und obligaten Link zu dessen Website erkennen die Suchmaschinen den doppelten Text als fundiert und beide Websites sind sogleich als legitim eingestuft. – Für kurzen Textauszug zur Dokumentation und somit Link oder namentlichen Hinweis zum Autor wird es auch ohne Nachfrage zur Fairness gereichen – wie auch die namentliche Nennung von Zitat dazugehört.

SEO Meta-Tags

Der Autor führt vom SEO Grundverständis https://fastwp.de/wordpress-seo/ zur Relevanz der Meta-Elemente https://fastwp.de/5382/ und über „Autom. SEO Meta-Tags“ Snippet in functions.php + Code in header.php https://fastwp.de/2161/ zu Autom. Meta-Tags“ alleinig in header.php https://fastwp.de/5337/ .

Autom. SEO Meta-Tags

Nach dem erstellen des Snippet-Codes in der functions.php ist in Themes header.php, nach <?php wp_head(); ?> einzufügen:

<?php wp_head(); ?>
<?php echo FastWP_seo(); ?>

Anmerkung zum SEO Meta-Tags (Snippet in functions.php + Code in header.php ): Wenn das Snippet für die functions.php deaktiviert ist, erfolgt durch den Code in header.php zum leeren Code der Funktion (functions.php) ein Error und müßte ebenso entfernt werden – weiß man eben.

Autom. Meta-Tags

Einfügen des Snippets in header.php im <head> unter <?php wp_head(); ?>, also dort, wo das Snippet für die header.php des SEO Meta-Tags eingefügt ist, ist stattdessen das „Autom. Meta-Tags“ Snippet einsetzbar und funktionell.

Abgelaufene Anmerkung zum Snippet des Titels „Autom. Meta-Tags“: Im Versuch des Snippets war vormals der Name des Seitentitels für den Browsertab doppelt, also sind adäquate Codes vorhanden und angepasst gehörten. Also anstatt normale SEO Meta-Tags (Snippet in functions.php + Code in header.php ) das performe Snippet Autom. SEO Meta-Tags (alleinig für header.php) zu verwenden, ist auf Anhieb nicht gelungen.

Siehe hierzu auch HTML-Seitentitel doppelt, und s. einzurahmendem „Beginner workflow“

Beginner workflow … also obigen Links (HTML-Seitentitel doppelt) folgend: <title> ist im inc-Ordner verknüpft und wäre somit zu unterscheiden, der Datei customizer.php, custom-header.php … Und in Spielerei mit diesen Dateien (auch herunter- und hochladen) sind vermutlich, aber tatsächlich, die Widgets der Seitenleisten verschwunden. Die Wiederaufnahme blieb erfolglos, weil die Widgets in den Seitenleisten nicht hielten, d. h. die Konfigurierung war möglich und Websites visuell, aber erneuten Aufrufs der Widgets, die Konfigurierung wieder weg. Sodann nach „Bugfix WordPress“, aber noch nicht funktionell! –, erst folgender, außergewöhnlichen Bemerkung: Ein konfiguriertes Widget einer Seitenleiste in den Abstellbereich („Inaktive Widgets“) ziehen und wieder zurück in die Seitenleiste – hiemit war die Konfigurierung wieder funktionsgemäß. Ob dies auch vorherigen Durchführung des Bugfix funktioniert hätte, kann ich nicht schreiben, wäre evtl. die sofotige Lösung gewesen – edv ebd. – Nebenher waren auch die einzelnen Webseiten nicht mehr verlinkt, also nicht aufrufbar (welche Ungereimtheit auch durch andere Umstellungen mal möglich ist), aber dies ist leicht unter Dashboard/Einstellungen/Permalinks unter Abspeicherung auf „Einfach“ und erneuter Abspeicherung vorheriger Version erledigt.

Zum Missfallen der Unkonfigurierbarkeit der Widgets im Zusammenhang des Sippets:
„Kurze Wörter automatisch aus URL entfernen.“

Hier möchte ich für das Snippet: „Kurze Wörter automatisch aus URL entfernen“, s. https://fastwp.de/1997/, unbedingt anmerken: Das Snippet bewirkte meiner Website einen Bug.

Also, nach werkeln (editieren) in der functions.php und folgenden Errors sowie deren Richtigstellung, hielt ich nachschau, wie es wohl den Widgets geht: Hier waren die konfigurierten Widgets verschwunden, und haben sich nicht erneut erstellen lassen. D. h., einrichten konnte man die Widgets, aber bei erneuter Ladung der Seite zur Erstellung der Widgets waren diese wiederum weg. Nach Eingrenzung der Möglichkeiten, über Deaktivieren der Plug-ins stellte sich heraus, dass es im Plug-in Code Snippets (wo die Snippets für die functions.php abgespeichert sind) zu finden ist, und, ja, der besagte Code (Kurze Wörter automatisch aus URL entfernen) in Gegenprüfung war der Fehler.

Indessen meiner Anmerkung im Artikel auf der Website FastWP, hatte David nach Freischaltung des Kommentars dieses nächsten Tags wieder gelöscht. Hiermit liegt der Schluss nahe, dass der Fehler des Snippets „Kurze Wörter automatisch aus URL entfernen“ im Zusammenhang mit anderem Snippet evtl. Plug-in den Bug hervorruft.

Anmerkung betreffend „längerer URL“:

Bei längerem Titel mit Füllwörtern ist die URL konformer ohnehin händisch anzupassen und kann nach dem ersten Abspeichern der Seite/Beitrag erfolgen. Also längerem Titel mit Füllwörtern, auf die Schlagworte des Themas für die URL reduzieren. S. Editors unter der Titelzeile, Permalink: … Bearbeiten.

rel-Attribute

Mit den rel-Attriputen lassen sich die einzelnen Links einstellen.

rel=“nofollow“

Das rel=“nofollow“ im Link lässt meist die Suchmaschinen davon abhalten, diesem Link in Hinsicht Backlink zu folgen. (s. dessen in Wikipedia usw.).

<a href="http://www.domainname.net" target="_blank" rel="nofollow noopener noreferrer">Text, Text, Text</a>

Überblick – informativ, direkt: HTML-Links verbessern: So setzt man rel-Attribute richtig ein

… u. a. ganz nett mal in eigener Weibiste ein Bild (welches vermutlich zur Vergrößerung angeklickt wird), vorab laden zu lassen, um es flugs darzustellen, s. Das rel=“prefetch“ Attribut.

XML Sitemap generieren

Alleinig als XML-Datei wird die Sitemap in Erweiterung des Codes laut https://fastwp.de/8423/ generiert und ist zur Überprüfung im Browser über www.domainname.net/sitemap.xml visuell, mit Ordner „wordpress“ als Unterverzeichnis im Stammverzeichnes des Web-Host-Servers, lautet die Adresse: www.domainname.net/wordpress/sitemap.xml – nach Veröffentlichung von Seite/Beitrag oder Updates erfolgt sogleich automatische Erneuerung der Sitemap, aber nicht beim Abspeichern nach einfachen Edit eines Artikels.

  • Die Datei sitemap.xml befindet sich im Stammverzeichnis am Web-Host-Server oder, wenn WordPress im Unterordner vorhanden ist, indessen Root-Verzeichnis vom Unterordner „wordpress“.

Möchte man nur die Beiträge in der Sitmap generieren, ist dem Snippet obigen Link der Code page wegzulassen:

=> 'modified', 'post_type' => array( 'post', 'page' ),

… mithin kann der Code add_action(„publish_page“, „create_sitemap“);  entfernt werden, weil hiermit bei Veröffenlichung einer Seite nur die Aktualisierung der Sitemap bewerkstelligt wird und somit im Ausschluss der „Seiten“ (page) ohnehin nutzlos ist.

In Verwendung Plug-in WP-Jetpack und entsprechende Aktivierung unter Engagement, ist die Sitemap für die Suchmaschinen „Google“ und „bing“ optimiert und für Besucher zur Übersicht strukturiert dargestellt. Aufzurufen ist die Sitemap über www.domainname.net/sitemap.xml, egal ob ohne- oder mit Unterordner „wordpress“.

header.php

Seite den Suchmaschinen ausschließen
u. a.  Code für die robots.txt

Beispw. die Seite für das „Impressum“ den Suchmaschinen ausschließen, siehe bitte:  http://www.texto.de/tipp-wie-man-seiten-aus-google-effektiv-ausschliesst-790/

Cachen des Inhalts (Anlegen einer Kopie des Inhals) den Suchmaschinen ausladen

Möchte man das Cachen (Anlegen einer Kopie) in den Suchmaschinen ausschließen, in der header.php im <head> zu den Meta Elementen hinzufügen:

<meta name='robots' content='noarchive'>
Snippet in funktions.php
Last-Modified Header in WordPress hinzufügen

https://fastwp.de/4374/ das Snippet für Last-Modified Header verträgt sich nicht mit Plug-in WP Lightbox 2, weil dessen bei „Suchergebnissen mit Beitragsbild“ eine Warnung im Headerbereich angezeigt wird:

Warnung: Header-Informationen können nicht geändert werden – Header, die bereits gesendet wurden (Ausgabe gestartet unter /users/[…]/www/wordpress/wp-content/plugins/wp-lightbox-2/wp-lightbox-2.php:109) in / users / […] / www / wordpress / wp-content / plugins / code-snippets / php / snippet-ops.php (384): eval () ‚d Code auf Zeile 4

Dises Snippet ist hier scheinbar  mit WP Lighbox 2 nicht geeignet.

Anfang

Die Suchmaschine „bing“ habe ich mit März 17 meiner Website eingeladen. – Dem Suchbegriff wegerl bplaced wird die Seite zuvorderst gereiht. Die Textliche Beifügung, aber: Hier sollte eine Beschreibung angezeigt werden, diese Seite lässt dies jedoch nicht zu, 

Hilfe: Intuition und Geduld.

Plug-in
Blackhole,
Beschreibung, Installation und FAQ originär Plug-in Blackhole in Übersetzung (Google).

 Beschreibung 

Füge deine eigene virtuelle Blackhole-Falle für unerwünschte Bots hinzu. Das Blackhole Plugin enthält einen versteckten Link zu Ihren Seiten. Sie fügen dann eine Zeile zu Ihrer robots.txt-Datei hinzu, die Bots davon abhält, dem versteckten Link zu folgen. Bots, die deine Roboterregeln ignorieren oder nicht gehorchen, werden den Link kriechen und in die Honeypot-Falle fallen. Sobald gefangen, ungewollte Bots verweigert weiteren Zugriff auf Ihre WordPress-powered Website.

Ich nenne es die „one-strike“ -Regel: Bots haben eine Chance, deiner Seite die robots.txt-Regel zu befolgen. Nichteinhaltung der Ergebnisse bei sofortiger Verbannung. Der beste Teil ist, dass die Blackhole nur aufdringlichen Bots wirkt: menschliche Benutzer sehen nie die versteckte Verbindung, und gute Bots befolgen die Roboter Regeln auf dem ersten Platz. Win-Win! :)

Verwenden eines Caching-Plugins? Schauen Sie sich die Installationshinweise für wichtige Informationen an.

Eigenschaften

Whitelist

Standardmäßig blockiert dieses Plugin keine der großen Suchmaschinen:

AOL.com
Baidu
Bingbot / MSN
DuckDuckGo
Googlebot
Teoma
Yahoo!
Yandex

Diese Suchmaschinen (und alle ihre unzähligen Variationen) sind Whitelist. Sie haben immer den vollen Zugriff auf Ihre Website erlaubt, auch wenn sie Ihren robots.txt Regeln nicht gehorchen. Diese Liste kann in den Plugin-Einstellungen angepasst werden.

Header Image Courtesy NASA / JPL-Caltech.

 Installation 

Installieren Blackhole für ungewollte Bots

  • Laden Sie das Blackhole Plugin auf Ihr Blog und aktivieren Sie es
  • Besuchen Sie die Blackhole-Einstellungen und kopieren Sie die Roboter-Regeln
  • Füge die Roboterregeln deiner robots.txt-Datei deinesorts hinzu
  • Konfiguriere die Blackhole-Einstellungen wie gewünscht und fertig.

Für eine vollständige Dokumentation klicken Sie auf die Registerkarte „Hilfe“ in der oberen rechten Ecke des Blackhole-Einstellungsbildschirms. Hilfe-Registerkarte auch auf dem Bildschirm „Bad Bots“.


Keine robots.txt

Wenn Ihre Website keine robots.txt-Datei hat, können Sie eine wie folgt erstellen:

  • Fügen Sie dem Stammverzeichnis Ihrer Website eine leere Textdatei hinzu.
  • Benennen Sie die Textdatei, robots.txt und laden Sie auf Ihren Server hoch.

Erledigt. Weitere Informationen finden Sie im nächsten Abschnitt und validieren Sie Ihre robots.txt-Datei.

Roboter Werkzeuge & Info

Erfahren Sie mehr über robots.txt, s. diesen Beitrag
Überprüfe deine robots.txt-Datei, s. Hinweise diesen Beitrag
Überprüfen Sie robots.txt in Google Webmaster-Tools

Caching-Plugins

Blackhole für Bad Bots ist noch nicht mit allen Caching-Plugins und Scripts getestet. So kann es nicht mit allen kompatibel sein. Hier ist eine Liste der bekannten kompatiblen Caching-Plugins und die erforderlichen Schritte für die volle Kompatibilität:

  • WP Schnellster Cache – Füge die Blackhole Trigger URL zur Cache-Ignorierliste hinzu
  • Melden Sie ein anderes Caching-Plugin

Wenn Sie ein Caching-Plugin oder Skript verwenden und Blackhole nicht funktioniert, können Sie eine der folgenden Lösungen ausprobieren:

  • Fügen Sie die Blackhole-URL (verfügbar über die „Robots Rules“ -Einstellung) zu Ihrem Caching-Plugin „ignorieren“ Liste
  • Fügen Sie die IP (s) Ihres Caching-Skripts oder Load Balancer zur Blackhole-Einstellung hinzu, „Whitelisted IPs“

Wenn keiner dieser Tricks funktioniert, empfiehlt es sich, das Plugin zu deaktivieren. Bitte gründlich prüfen (siehe nächster Abschnitt für weitere Infos).

Testen

Um zu testen, dass die Blackhole-Trap funktioniert, sehen Sie den Quellcode einer beliebigen Webseite auf Ihrer Website. Scrollen Sie nach unten in die Fußzeile der Seite, bis Sie einen Link finden, der folgend ähnelt:

<a rel="nofollow" style="display:none;" href="https://example.com/?blackhole=1234567890" title="Blackhole for Bad Bots">Do NOT follow this link or you will be banned from the site! (NICHT folge diesem Link oder du wirst von der Seite verboten!)</a>

Klicken Sie auf den Link (den Wert href), um die Warnmeldung anzuzeigen. Nachdem Sie die Warnmeldung besucht haben, aktualisieren Sie die Seite, um die Nachricht Zugriff verweigert anzuzeigen. Und/oder besuchen Sie eine andere Seite auf der Vorderseite Ihrer Website zu überprüfen, dass Sie verboten wurden. Aber mach dir keine Sorgen, du wirst nie aus dem WP Admin Bereich oder der WP Login Seite verboten werden. So einfach anmelden und entfernen Sie Ihre IP-Adresse aus der Bad Bots-Liste, um Front-End-Zugriff wiederherzustellen.

Whitelist Bots

Blackhole für Bad Bots wird streng getestet, um sicherzustellen, dass die Top-Suchmaschinen-Bots sind NIEMALS BLOCKED. Alle Bots, die einen User Agent melden, der eine der folgenden Zeichenfolgen enthält, haben immer Zugriff auf Ihre Website, auch wenn sie robots.txt nicht gehorchen.

aolbuild, baidu, bingbot, bingpreview, msnbot, duckduckgo, adsbot-google, googlebot, mediapartners-google, teoma, slurp, yandex

Natürlich ist diese Liste über die Plugin-Einstellungen komplett anpassbar. Jeder hinzugefügte String wird mit dem vollständigen User-Agenten abgeglichen, also sei vorsichtig. Erfahren Sie mehr über User-Agenten der Top-Suchmaschinen. https://perishablepress.com/list-all-user-agents-top-search-engines/

Sie können auch Whotsist Bots nach IP-Adresse. Besuchen Sie die Einstellung „Whitelisted IPs“ und geben Sie die IP-Adresse ein (separate IPs mit Kommas trennen). Sie können auch ganze Sortimente von IPs whitelist. In der gleichen Plugin-Einstellung füge noch etwas hinzu:

123.456.

Das wird es erlauben, dass alle Bots eine IP-Adresse melden, die mit 123.456 beginnt.

Customizing (Anpassen)

Blackhole bietet viele Haken zum Anpassen und Ausbauen:

Benutzerdefinierte Warnvorlage

Das Blackhole zeigt zwei Arten von Nachrichten an:

  • Warnmeldung – Wird angezeigt, wenn Bots dem Blackhole Trigger Link folgen.
  • Gesperrte Nachricht – Wird für alle Anfragen von blockierten Bots angezeigt.

Die gesperrte Nachricht kann über die Plugin-Einstellungen angepasst werden. Die Warnmeldung kann durch die Einrichtung einer benutzerdefinierten Vorlage angepasst werden:

  • Kopiere blackhole-template.php aus dem Plugin / Inc / Verzeichnis
  • Fügen Sie die Datei in Ihre Themenvorlage ein, zB: /wp-content/my-awesome-theme/blackhole-template.php
  • Passen Sie einen der Markup zwischen „BEGIN TEMPLATE“ und „END TEMPLATE“
  • Laden Sie auf Ihren Server und fertig.

Wenn die benutzerdefinierte Vorlage in Ihrem Themenverzeichnis vorhanden ist, wird das Plugin automatisch verwendet, um die Warnmeldung anzuzeigen. Wenn die benutzerdefinierte Vorlage nicht in Ihrem Themenverzeichnis vorhanden ist, wird das Plugin auf die Standard-Warnmeldung zurückfallen.

Weitere Optionen in der Pro-Version, s. unten.

Deinstallieren

Blackhole für schlechte Bots reinigt sich nach sich selbst. Alle Plugin-Einstellungen und die schlechte Bot-Liste werden aus der Datenbank entfernt, wenn das Plugin über den Plugins-Bildschirm deinstalliert wird.

 FAQ 

Welche anderen Sicherheits-Plugins empfehlen Sie?

Ich habe vor kurzem eine Video-Tutorial-Serie für Lynda.com auf, wie man WordPress Websites zu sichern. Das ist ein guter Ort, um mehr über die besten Techniken und WP-Plugins für den Schutz Ihrer Website vor Bedrohungen zu lernen.

Wie ist dieses Plugin anders als eine Firewall?

Blackhole nutzt seine eigene „smart bot technology“, die nur Bots blockiert, wenn sie schlechtes Verhalten gezeigt haben. Firewalls sind typischerweise „statisch“ und Blockanforderungen auf der Grundlage eines vordefinierten Satzes von Mustern. Das bedeutet, dass Firewalls manchmal legitime Besucher blockieren. Blackhole blockiert nie regelmäßige Besucher, und nur es blockiert Bots, die den Robots.txt-Regeln deiner Seite nicht gehorchen. Also ist die Rate der falschen Positiven nahe Null.

Der Triggerlink erscheint nicht im Quellcode meiner Seiten.

Damit das Plugin den Trigger-Link zu deinen Seiten hinzufügen kann, muss dein Thema das Template-Tag wp_footer () enthalten. Dies ist ein empfohlenes Tag für alle WordPress Themen, so dass Ihr Thema sollte es enthalten. Wenn nicht, können Sie es selbst hinzufügen oder sich mit dem Theme-Entwickler in Verbindung setzen und um Hilfe bitten. Hier finden Sie weitere Informationen über wp_footer (). Sobald das Footer-Tag enthalten ist, kann das Plugin den Trigger-Link zu Ihren Seiten hinzufügen.

Wird das gute Bots wie Google und Bing blockieren?

Nein niemals. Alle großen Suchmaschinen-Bots sind Whitelist und werden niemals blockiert. Sofern Sie sie nicht aus der Whitelist-Einstellung entfernen, was nicht empfohlen wird.

Ich denke, das Plugin blockiert Chrome, Firefox, etc.?

Unmöglich, weil das Plugin niemals von User Agent blockiert. Es blockiert nur per IP-Adresse. Es werden keine anderen Kriterien verwendet, um etwas zu blockieren.

Ist es möglich, einige Bots zu blockieren, indem man sie nur zu blockierten Liste hinzufügt und ihnen den Zugriff auf meine Website verweigert?

Nicht möglich mit der kostenlosen Version, aber die Pro-Version enthält eine einfache Möglichkeit, Bots manuell hinzuzufügen (über das Bad Bot Log).

Wie füge ich der Whitelist weitere Bots hinzu?

Besuchen Sie die Plugin-Einstellungen und fügen Sie der Liste hinzu.

Wie kann ich die Liste der blockierten Bots zurücksetzen?

Besuchen Sie die Plugin-Einstellungen und klicken Sie auf die Schaltfläche.

Wie lösche ich das Beispiel / default bot aus dem Protokoll?

Nicht möglich mit der kostenlosen Version, kann aber mit der Pro Version arbeiten.

Wie kann ich die E-Mail-Benachrichtigungen deaktivieren?

Besuchen Sie die Plugin-Einstellungen und klicken Sie auf die Schaltfläche.

Gibt es eine eigenständige Version des Blackhole?

Ja. Besuchen Sie Perishable Press, um eine PHP-basierte Version herunterzuladen https://perishablepress.com/blackhole-bad-bots/, die WordPress nicht benötigt.

Gibt es eine Pro-Version von Blackhole?

Ja, die Pro-Version ist bei Plugin Planet erhältlich.

Wird Multisite unterstützt?

Noch nicht, aber es ist auf der To-do-Liste.

Kann ich den Blackhole Link manuell einschließen?

Ja, Sie können den folgenden Code überall in Ihrer Themenvorlage hinzufügen:

<?php if (function_exists('blackhole_trigger')) blackhole_trigger(); ?>
Sollten Whitelist Bots genaue Namen enthalten oder kann ich nur Teilnamen verwenden?

Sie können Teilnamen oder vollständige Namen verwenden, je nachdem, wie spezifisch Sie mit Blocking sein möchten. Wenn man sich die standardmäßigen Whitelist-Bits ansieht, wird man sehen, dass es sich nur um Teile des vollständigen User-Agenten handelt. So können Sie z. B. alle Bots blockieren, die den String „whateverbot“ enthalten, indem er diesen String in die Whitelist-Einstellung einfügt. Es macht es einfacher, Bots zu blockieren, aber man muss vorsichtig sein mit falschen Positiven.

Was ist mit WordPress automatisch (versteckt) robots.txt?

Standardmäßig wird WordPress automatisch eine versteckte „virtuelle“ robots.txt-Datei auf alles, was es anfordert, bedienen. Sobald Sie Ihre eigene „echte“ robots.txt Datei hinzufügen, wird WordPress aufhören, die virtuelle zu erzeugen. Also, wenn es um WordPress und robots.txt geht, echte Trümpfe virtuell. Blackhole Pro erfordert, dass Sie einige Regeln zu einer tatsächlichen robots.txt-Datei hinzufügen, aber es erstellt/fügt keine Roboter-Regeln oder die robots.txt-Datei für Sie hinzu. Schauen Sie sich die Registerkarte des Plugins für mehr Infos an.

Welche WP-Caching-Plugins sind mit Blackhole kompatibel?

Blackhole für Bad Bots ist noch nicht mit allen Caching-Plugins und Scripts getestet. So kann es nicht mit allen kompatibel sein. Hier ist eine Liste der bekannten kompatiblen Caching-Plugins und die erforderlichen Schritte für die volle Kompatibilität:

  • WP Schnellster Cache – Füge die Blackhole Trigger URL zur Cache-Ignorierliste hinzu
  • Melden Sie ein anderes Caching-Plugin.

Wenn Sie ein Caching-Plugin oder Skript verwenden und Blackhole nicht funktioniert, können Sie eine der folgenden Lösungen ausprobieren:

  • Fügen Sie die Blackhole-URL (verfügbar über die „Robots Rules“ -Einstellung) zu Ihrem Caching-Plugin „ignorieren“ Liste
  • Fügen Sie die IP (s) Ihres Caching-Skripts oder Load Balancer zur Blackhole-Einstellung hinzu, „Whitelisted IPs“
  • Wenn keiner dieser Tricks funktioniert, empfiehlt es sich, das Plugin zu deaktivieren.

Weiteres, Frage, Feedback? – siehe Plug-in FAQ .

BLACKHOLE FREE VS PRO

Starker Schutz gegen schlechte Bots ✓ ✓
Arbeitet mit SSL / HTTPS ✓ ✓
Funktioniert auf jedem WP-fähigen Server (z. B. Apache, Nginx, Windows) ✓ ✓
.htaccess NICHT erforderlich! ✓ ✓
Leicht, schnell und flexibel ✓ ✓
Funktioniert mit anderen Sicherheits-Plugins ✓ ✓
Ein-Klick-Wiederherstellung der Standardeinstellungen ✓ ✓
Kompatibel mit WP Schnellster Cache ✓ ✓
Option zum Deaktivieren für angemeldeten Benutzer ✓
Schwellensteuerung (Anzahl der zulässigen Treffer) ✓
Kundenspezifische E-Mail-Benachrichtigungen ✓
Benutzerdefinierte Nachrichten für blockierte Bots ✓
Benutzerdefinierte Umleitung für blockierte Bots ✓
Benutzerdefinierte Blackhole Trigger Links ✓
Vollständige Inline-Dokumentation ✓
Whitelist Bots von User Agent ✓
Whitelist Bots nach IP Adresse ✓
Umleitungs-Whitelist-Bots ✓
Setzen Sie den benutzerdefinierten HTTP-Statuscode ✓
Full-featured Bot Log mit Paging, Sortierung und Feldsuche ✓
Füge schlechte Bots direkt zum Bad Bot Log hinzu ✓
Geo / IP-Standort-Lookups für jeden schlechten Bot ✓
Protokolliert die Anzahl der gesperrten Treffer für jeden Bot ✓

Zum Tabmenü ↑

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.