Die Quelle der Website blockiert das Sammeln: Was macht Telematic

Früher oder später wird jeder, der das automatische Sammeln von Inhalten aus externen Quellen einrichtet, damit konfrontiert: Gestern hat der Feed zuverlässig Artikel geliefert, und heute schweigt die Quelle plötzlich. Der erste Gedanke ist normalerweise panisch — „Die Quelle ist kaputt, alles, der Autopilot steht still“. In der Praxis ist es in neun von zehn Fällen jedoch keine Störung, sondern ein Schutz der Website: Sie hat einfach keinen menschlichen Browser, sondern eine automatische Anfrage erkannt und beschlossen, den Inhalt nicht bereitzustellen.

Der Unterschied zwischen „Die Quelle ist tatsächlich nicht verfügbar“ und „Die Quelle schützt sich vor Bots“ ist grundlegend. Im zweiten Fall sollte das System nach dem ersten Misserfolg nicht aufgeben, denn hinter einer solchen Blockade kann alles stecken: von einem einfachen Timeout bis hin zu einem fortschrittlichen Anti-Bot-System, das das Verhalten des Browsers überprüft. Wir bei Telematic haben das Sammeln von Inhalten genau für solche Situationen konzipiert, nicht für eine ideale Welt, in der jede Website immer reines HTML auf die erste Anfrage zurückgibt.

Im Folgenden wird erläutert, wie dies intern funktioniert und was es für jemanden bedeutet, der einfach möchte, dass täglich frisches Material in das Projekt kommt und nicht endlose Fehler im Startprotokoll.

//Warum Quellen das Sammeln überhaupt blockieren

Die meisten Websites, insbesondere Nachrichten- und Branchenseiten, stehen seit langem unter dem Druck von Bots: Einige stehlen Inhalte, andere manipulieren den Traffic, wieder andere überlasten einfach den Server mit häufigen Anfragen. Die Antwort der Branche ist ein mehrstufiger Schutz: von einfachen Anfragelimits pro IP bis hin zu komplexen Prüfungen, die analysieren, ob sich der „Besucher“ wie ein echter Browser verhält — ob er JavaScript ausführt, den Cursor bewegt, Schriftarten und Bilder in der richtigen Reihenfolge lädt.

Für das System des automatischen Sammelns bedeutet dies, dass man sich nicht auf eine einzige Methode zur Seitenbeschaffung verlassen kann. Was gestern funktioniert hat, kann morgen blockiert werden — nicht weil die Quelle geschlossen wurde, sondern weil der Schutz strenger geworden ist oder das System ein Muster in den Anfragen erkannt und es vorübergehend als verdächtig eingestuft hat.

//Drei Ebenen der Seitenbeschaffung

Genau aus diesem Grund stoppt das Sammeln von Inhalten bei Telematic nicht nach dem ersten Misserfolg, sondern durchläuft nacheinander mehrere Ebenen der Seitenbeschaffung, bevor es die Quelle als tatsächlich nicht verfügbar einstuft:

• Einfache Anfrage. Der schnellste und kostengünstigste Weg — direkte Ansprache der Seite ohne Browseremulation. Geeignet für die meisten offenen Websites und RSS-Feeds, bei denen es überhaupt keinen Schutz gibt.
• Browseremulation. Wenn die einfache Anfrage abgelehnt wird oder eine leere/beschnittene Seite zurückgibt, kommt eine vollständige Browser-Engine ins Spiel, die JavaScript ausführt, dynamische Inhalte lädt und sich wie ein echter Benutzer verhält.
• Fortgeschrittener Umgehungsmechanismus. Für Quellen mit der aggressivsten Anti-Bot-Schutz wird eine tiefere Ebene angewendet, die den Netzwerk- und Verhaltensfingerabdruck eines normalen Clients imitiert — bis hin zu dem, wie das Netzwerk-Handshake der Anfrage aussieht.

Nur wenn das Material auf keiner dieser Ebenen beschafft werden kann, wird die Quelle als vorübergehend nicht verfügbar markiert und nicht als „für immer kaputt“. Das ist grundlegend: Ein einmaliger Netzwerkfehler oder eine vorübergehende Blockierung sollten die Quelle, die zuvor monatelang zuverlässig gearbeitet hat, nicht abwerten.

//Was mit dem Material passiert, das dennoch gesammelt wurde

Eine Seite zu erhalten, ist nur die halbe Miete. Danach kommt der thematische Inhaltsfilter ins Spiel: Wenn im Projekt ein Thema eingestellt ist, filtert das System auf Projektebene Materialien, die formal aus der Quelle stammen, aber inhaltlich nicht passen — zum Beispiel, wenn ein Branchensender plötzlich eine Werbpressemitteilung oder ein themenfremdes Material veröffentlicht. Dies geschieht noch bevor der Inhalt in die kostspielige KI-Überarbeitung gelangt, was sowohl Token als auch die Aufmerksamkeit des Menschen spart, der sonst die „nicht thematischen“ Entwürfe durchsehen müsste.

Das, was den Filter passiert hat, wird dann anhand von Auto-Analyse-Schwellenwerten überprüft: Das System entscheidet selbst, welche Materialien mit ausreichender Sicherheit den Kriterien des Projekts entsprechen, um automatisch weiter in der Pipeline zu gehen, und welche als Entwurf für eine manuelle Überprüfung verbleiben. Dies ist kein binärer Schalter „der Quelle vertrauen oder nicht“, sondern eine einstellbare Vertrauensgrenze, die es ermöglicht, offensichtliche Fälle zu automatisieren und dem Menschen die Entscheidung in strittigen Fällen zu überlassen.

//Unsere Erfahrung: Wenn die Quelle „ausfällt“, nicht wegen uns

Wir hatten einen exemplarischen Fall während der Tests: Eine der Branchenseiten, die über mehrere Wochen hinweg zuverlässig Material geliefert hat, hörte plötzlich an einem Tag auf, irgendetwas außer einer Störmeldung mit Captcha zurückzugeben. Die erste Reaktion war, die Quelle als tot abzutun und sie aus dem Projekt zu entfernen. Bei der Überprüfung stellte sich jedoch heraus, dass die Website einfach einen strikteren Schutz aktiviert hatte, nachdem eine Welle von Massenscraping durch einige Drittanbieter-Dienste stattgefunden hatte — es traf alle, die die Website automatisch besuchten, einschließlich uns.

Genau der mehrstufige Ansatz rettete die Situation: Die einfache Anfrage funktionierte tatsächlich nicht mehr, aber die Browseremulation konnte die Seite weiterhin normal abrufen, weil der Schutz in erster Linie die primitivsten Anfragen ohne Anzeichen eines echten Browsers abblockte. Hätte das System nach der ersten Ebene aufgegeben, wäre die Quelle völlig zu Unrecht als „nicht verfügbar“ eingestuft worden — das Material wurde weiterhin problemlos gesammelt.

Es gibt auch die umgekehrte Situation: Die Quelle aktiviert irgendwann einen Schutz, der so ernst ist, dass keine Ebene durchkommt. In solchen Fällen vermerkt das System die Quelle ehrlich als nicht verfügbar, anstatt endlos an die geschlossene Tür zu „klopfen“ und Ressourcen dafür zu verschwenden. Auch dies ist eine bewusste Entscheidung: Es ist besser, im Startprotokoll klar zu zeigen, dass die Quelle Aufmerksamkeit erfordert, als das Problem mit endlosen stummen Wiederholungen zu verschleiern.

//Was das für den Projektinhaber bedeutet

Die praktische Schlussfolgerung ist einfach: Wenn Sie im Startprotokoll der Quelle heute einen einzelnen Fehler sehen, ist das noch kein Grund zur Panik und zur Übertragung des gesamten Feeds in einen anderen Dienst oder zur manuellen Überprüfung der Einstellungen. Das System hat bereits den Weg von der einfachen Anfrage bis zur fortgeschrittenen Umgehung zurückgelegt, bevor es ein Problem meldet — das heißt, zu dem Zeitpunkt, an dem Sie den Fehler sehen, sollten Sie die Quelle wirklich genauer betrachten.

Es ist ratsam, den thematischen Filter von Anfang an so genau wie möglich einzustellen — das spart nicht nur Zeit für die manuelle Moderation, sondern auch Tokens, die sonst für die Überarbeitung von nicht thematischen Materialien ausgegeben würden. Und die Schwellenwerte der Auto-Analyse sollten zunächst konservativ eingestellt und schrittweise gelockert werden, während Sie sehen, dass der automatisch akzeptierte Inhalt tatsächlich den Erwartungen entspricht — so gewinnt der Autopilot schrittweise Vertrauen und nicht durch einen abrupten Schalter.

Letztendlich besteht die Aufgabe dieses Mechanismus darin, die routinemäßige Belastung des Menschen „zu überprüfen, ob die Quelle noch aktiv ist“ abzunehmen und ihm nur inhaltliche Entscheidungen zu überlassen: Ist das Material veröffentlichungswürdig, passt der Ton, ist eine manuelle Bearbeitung erforderlich. Alles, was die technische Verfügbarkeit der Website betrifft, versucht das System selbst zu lösen, bevor es den Projektinhaber stört.