Gewusst wie: "robots.txt" verwenden, um Ihre dummen Blog ausblenden

Komplett löschen etwas aus dem Internet ist wie corralling betrunken, wilde Gänse nach Einstellung sie lose: verdammt fast unmöglich. Aber es gibt Möglichkeiten, die Web-Inhalte, die Sie nicht möchten, dass alle Augen auf zu legen zu verbergen. Sie können alle Arten von Webseiten mit dem, was im Wesentlichen ein "Keep Out" ausblenden melden Sie für Suchmaschinen: eine spezielle Datei namens "robots.txt".

Die Datei "robots.txt" fungiert als Verknüpfung zum Inhalt so tief begraben ist es schwer zu graben. Als vor kurzem illustriert, wenn es versucht, Gelöschte Beiträge zu verstecken, die kritischen Eigenschaften der seine Anzeigenkunden wurden BuzzFeed, dient "robots.txt" ziemlich potent Vertuschung. Wenn Sie möchten Verantwortung für etwas ausweichen, die Sie veröffentlicht haben, wird die Datei teilweise Ihre Spuren ausblenden. Das Internet Speicher ist lang und "robots.txt" ist ein Protokoll, zu vergessen.

BuzzFeed verwendet "robots.txt", damit es schwieriger für Menschen zu finden, ein paar Beiträge über Dove und Monopol, das er in einem Anfall von redaktionellen Dummheit gelöscht hatte. Durch das Hinzufügen von URLs dieser Geist stellen in ihrem Verzeichnis "robots.txt", verhindert es ältere Versionen zeigt sich in Online-Durchsuchungen. Dies bedeutete nicht, dass die Beiträge vollständig verschwunden waren. Menschen können immer Graben gehen, durch Ihre "robots.txt"-Datei zu sehen was du verborgen hast, so ist es nicht effektiv für den Mord an Ihrem Beitrag vollständig. Aber es machte es so, dass Unilever Führungskräfte über die gelöschten Kommentar Taube sauer nicht in der Lage wäre, es zu finden, es sei denn, sie gezielt durch BuzzFeeds "robots.txt" Verzeichnis gestöbert.

Wie funktioniert es? Suchmaschinen wie Google, Bing und Yahoo cache oft ältere Versionen von Webseiten, was bedeutet, dass es ziemlich einfach, eine Kopie der gelöschten Post zu finden ist. Das Internet Archive Wayback Machine Archive auch Kopien von Weg stellen, erhalten eine digitale Aufzeichnung. Im Allgemeinen ist diese Gewohnheit der Erhaltung ein Segen für den Schutz der digitalen Geschichte. Aber wenn Sie etwas wollen in Vergessenheit geraten, wird diese Tendenz zur Aufzeichnung ein Problem.

Jedoch hören Google, Bing, Yahoo, die Wayback Machine und eine Vielzahl von anderen Such-Robots Ihre Befehle nicht zu protokollieren. Die meisten der Roboter von Suchmaschinen verwendet werden sofort das Vorhandensein einer robots.txt-Datei suchen und Anweisungen, um Inhalte ausschließen zu gehorchen.

Für eine professionelle Medienunternehmen selbst zu zensieren ist schattig wie Hölle, aber vielleicht haben Sie, Liebe Leserinnen und Leser, haben einen besseren Grund. Erstellen einer Datei "robots.txt", Ihre schändlichen Taten zu verbergen ist sehr einfach. Sie öffnen Sie einen Texteditor und geben Sie Folgendes ein:

Benutzer-Agent:

Disallow:

Dann passen Sie es mit genau das, was Sie nicht zulassen möchten, und speichern Sie es als eine txt-Datei. Es ist wichtig, Kleinbuchstaben für "Roboter" zu verwenden und zu einem separaten "Disallow:" Befehl für jeden Ausschluss.

Für die Wayback Machine zum Beispiel schreiben Sie dies und Schrubben sie werden rückwirkend Ihre Seite:

Benutzer-Agent: Ia_archiver

Disallow: /

Danach laden Sie die Datei in das Stammverzeichnis Ihrer Domain (muss es sein Haupt). Wenn Sie direkten Zugriff auf das Verzeichnis haben, wenden Sie sich an Ihren Web-Administrator. Sie können auch einrichten, die nur eine bestimmte Buchung verstecken, oder Befehle, die mehrere Crawler von der Suche aufhören.

Dies ist nicht nur nützlich für das Verstecken von peinlicher Abenteuern in Blogging — es ist auch hilfreich für das Verstecken von passwortgeschützten Seiten und vertrauliche Informationen. E-Commerce-Dienste können "robots.txt" verwenden, um Datenbanken zu halten, die persönlichen Daten der Kunden versteckt enthalten.

Einige Websites werden Sie kreativ mit ihren "robots.txt"-Dateien – Yelp enthält Anweisungen für den unwahrscheinlichen Fall, dass der Roboter als einer inneren fühlenden geworden Witz. Und Web-Admins umfassen Richtungen in "robots.txt", ihre Websites schneller, kroch erhalten zu helfen, also es so viel ein Tool ist für Roboter herum führen, wie es ist ein Werkzeug für das erzählen sie draußen bleiben.

Die meiste Zeit, versuchen Menschen, ihre Inhalte im Internet entdeckt. Aber "robots.txt", die seit 1994 zeigt anhaltende Lust auf ein Maß an Kontrolle über wie was wir ins Web Stellen verteilt wird. Als Medienunternehmen backtrack auf was sie veröffentlicht haben, weist er auf wie dieses Tool für Jacken verwendet werden kann. Dennoch gibt es viele Gründe, warum Menschen wollen die Möglichkeit, Zielgruppen zu begrenzen, und die Existenz eines Werkzeugs, Entscheidungsträger mehr Macht über das, was geben wird entdeckt und erinnerte mich an online ist eine gute Sache.

[SEOROI | Yoast | Kognitiven SEO | Google]

Illustration von Jim Cooke

Kontaktieren Sie den Autor unter [email protected].
Öffentlichen PGP-Schlüssel
PGP-Fingerprint: FF8F 0D7A AB19 6 71 C967 9576 8 12 9478 EE07 10 C