Duplicate Content und seine Vermeidung

Dieser Tage erschien auf den Seiten von Googles Webmaster Zentrale endlich ein übersetzter Artikel von Vanessa Fox zum Thema Duplicate Content [1]. Es kann nichts schaden, sich noch einmal relevante Aussagen aus diesem Beitrag zu vergegenwärtigen. Interessant ist beispielsweise diese Aussage:

Duplicate Content führt nicht dazu, dass eure Site in die Supplemental Results rutscht. Allerdings kann dies indirekt ausgelöst werden, falls verschiedene Links auf die unterschiedlichen Versionen eurer Seite zeigen und so einen niedrigeren PageRank verursachen.

Ich halte diese Aussage durchaus für missverständlich und würde es so interpretieren: Nur weil eine gesamte Internetpräsenz den ein oder anderen Duplicate Content enthält, wird sie nicht als Ganzes abgewertet. Auch eine Seite, von der innerhalb einer Präsenz der ein oder andere DC existiert, wird nicht abgewertet (DC verliert also ein wenig von seinem Image als Schreckgespenst *g*). Alle restlichen doppelten Seiten dagegen schon. Und welche Seiten als DC in den supplemental index wandern, bestimmt Google – wenn es der Webmaster unterlässt, entsprechend vorzubeugen.
Dabei schreibt Vanessa, dass ein nofollow nicht der beste Weg ist, DC auszuschließen. Als wesentlich bessere Methode wird die robots.txt empfohlen. Diese Anmerkung sollte man bei Umsetzung von Tipps wie etwa „Pimp my WordPress“ [2] durchaus im Auge behalten.
Dieser Tage musste ich wegen eines Contentdiebes mal das Netz checken. Ein einziger Artikel fand sich auf 20 Webseiten, auf vier davon mit Genehmigung. Im normalen Index waren nur zwei dieser Treffer zu finden – und zwar die einzigen beiden authorities. Auch bei einem völlig anderen Content-Check wurden trotz DC zwei Haupttreffer angezeigt – auch hier wieder authorities. Insofern könnte das Alter der Domain und der Veröffentlichung maßgeblichen Einfluss darauf haben, ob man trotz DC im Hauptindex bleibt. Dito die Anzahl der Backlinks, wie Google selbst schreibt:

Im Moment stützen wir uns auf eine Anzahl von Faktoren wie etwa die Autorität einer Website und die Anzahl an Backlinks.

Insofern sollte man sehr vorsichtig sein, wenn man Content an Affiliates weitergibt. Wenn deren Seiten seitens Google höher eingestuft werden, kann die eigene Contentseite schnell in die Supplemental Results abwandern. Mit einem Magazin, das Artikel von mir aus seiner Printausgabe ins Netz stellt, habe ich deswegen seit über einem Jahr folgende Absprache:
1. Das Recht zur Erstveröffentlichung von Artikeln im Printbereich liegt bei jenem Magazin (dafür zahlt es ja auch), das Recht hinsichtlich der anschließenden Erstveröffentlichung im Netz bei mir. Erst danach publiziert das Magazin den Artikel auf seiner Seite.
2. Der Direktlink zum Artikel auf deren Seite wird zumindest für ein paar Wochen oder Monate via robots.txt gesperrt. Auch dieses Vorgehen deckt sich mit den aktuellen Empfehlungen Googles:

Für die Weiterverbreitung von Content mittels Feeds schlagen wir vor, dass ihr die Websites, die euren Content verwenden wollen, dazu anhaltet, ihre Version mittels der robots.txt-Datei zu blocken. So stellt ihr sicher, dass nur eure Version in den Suchergebnissen erscheint.

Besonders hilfreich wird es sein, wenn Google in den Webmaster Tools einen eigenen Bereich für Duplicate Content einrichtet. Hier soll dann erscheinen, welche internen und vor allem externen Seiten über identischen Content verfügen. Eine angesprochene Alarmfunktion, über die Google nachdenkt, die den Webmaster in solchen – vor allem externen – Fällen per RSS oder eMail informiert, wäre natürlich das Sahnehäubchen. Sollte ein Content Dieb ausgerechnet auf einer Authority-Seite sitzen, hilft möglicherweise nur noch ein DMCA-Antrag [4].
[1] Duplicate Content-Session auf der SMX Advanced (deutsch vom 22.06.07, Original vom 13. Juni 2007)
[2] WordPress Blog optimieren
[3] Weitere Informationen von Adam Lasnik, Search Evangelist: Duplicate Content – Best Practice bei dupliziertem Inhalt
[4] DMCA-Antrag