Mit dem Erscheinen des neuen revolutionären Updates von Screaming Frog herrscht auf LinkedIn Hochbetrieb:
Die einen berichten einfach über das Release und listen die wichtigsten neuen Funktionen auf, andere nennen dieses Update das bislang wichtigste und richtungsweisendste.
Wieder andere meinen, dass Screaming Frog zwar nicht so viele Funktionen wie Tools wie Sistrix, Ahrefs oder SEMrush bietet – aber sich dennoch zu einem der bedeutendsten Werkzeuge im Arsenal moderner SEOs entwickelt.
Wenn du also bisher noch nie mit Screaming Frog gearbeitet hast – oder nur die stark eingeschränkte kostenlose Version genutzt hast -, dann ist jetzt genau der richtige Zeitpunkt, das Tool in vollem Umfang kennenzulernen.
Screaming Frog SEO Spider 22.0 – Wichtige Neuerungen
Die Version 22.0 des Screaming Frog SEO Spider bringt zahlreiche neue Funktionen und Verbesserungen. Darunter sind weitreichende AI-basierte Features zur inhaltlichen Analyse, erweiterte Export-Optionen und Verbesserungen bei der Bedienung. Im Folgenden fassen wir die wichtigsten Neuerungen für Einsteiger und erfahrene SEOs zusammen.
Semantische Ähnlichkeitsanalyse
Mit der neuen Semantischen Ähnlichkeitsanalyse kann der SEO Spider jetzt Seiten inhaltlich vergleichen – über reine Textübereinstimmungen hinaus. Das Tool nutzt dazu große KI-Sprachmodelle (LLMs), um Inhalte in numerische Vektor-Embeddings zu überführen und so deren inhaltliche Bedeutung zu erfassen. Dadurch erkennt es auch Seiten, die unterschiedliche Formulierungen verwenden, aber thematisch stark überlappen (zum Beispiel mehrere Artikel zum selben Thema). Solche inhaltlichen Überschneidungen können zu Keyword-Kannibalisierung führen oder das Crawling und die Indexierung ineffizient machen. Der Spider zeigt im Content-Tab für jede URL die am semantisch ähnlichsten Seite an, inklusive eines Ähnlichkeits-Score (zwischen 0 und 1) und der Anzahl ähnlicher URLs. Standardmäßig gelten Werte über 0,95 als ähnlich, was sich aber in den Einstellungen anpassen lässt.
Außerdem listet der SEO Spider unter „Low Relevance Content“ Seiten auf, die inhaltlich stark vom Hauptthema der Website abweichen (so genannte Ausreißer). Dazu wird aus allen Crawldaten ein durchschnittliches Seiten-Embedding (Zentroid) gebildet und gemessen, welche URLs am weitesten davon entfernt sind. Das hilft dabei, potenziell irrelevante oder abweichende Inhalte zu erkennen – etwa Blogbeiträge, die nur entfernt zum Hauptfokus der Seite passen. Somit unterstützt die semantische Analyse nicht nur bei der Duplicate-Content-Erkennung, sondern auch beim Auffinden inhaltlicher Lücken oder Ausreißer.
Content-Cluster-Visualisierung
In der Content-Cluster-Visualisierung werden die URLs eines Crawls grafisch inhaltlich gruppiert. Der SEO Spider erstellt ein zweidimensionales Streudiagramm, in dem jede Seite als Punkt erscheint. Seiten mit ähnlichen Inhalten liegen nahe beieinander, während thematisch andere Seiten weiter entfernt sind. So lassen sich Muster im Content schnell erkennen: Zum Beispiel gruppieren sich thematisch verwandte Artikel (beispielsweise Rezepte oder Tierartikel) als Cluster im Diagramm. Auch Ausreißer fallen auf – einzelne Punkte am Rand, die kaum Verbindungen zu anderen Inhalten haben.
Dieses Werkzeug hilft beim Verständnis der inhaltlichen Struktur einer Website. Sie sehen auf einen Blick, wie groß einzelne Themencluster sind und wie eng sie zusammenhängen. Für die Content-Strategie und interne Verlinkung ist das sehr nützlich: Man erkennt, welche Artikel sich thematisch überschneiden und daher sinnvoll verlinkt oder ggf. zusammengelegt werden können. Über einen Einstellungs-„Cog“ lassen sich zudem Stichprobe, Dimensionsreduktion und Farbschemata ändern sowie Bereiche per Segment fokussieren. So kann man zum Beispiel einzelne Themenbereiche isoliert betrachten und ihre Clustergröße beurteilen.
Semantische Suche
Neu ist auch das Semantische Suche-Tab. Hier geben Sie eine Suchanfrage ein (z.B. ein Keyword) und erhalten eine Liste der relevantesten Seiten im Crawl. Der Spider wandelt die Suchanfrage in ein Vektor-Embedding um und berechnet dann für jede URL die Kosinus-Ähnlichkeit zum Abfrage-Vektor. Statt bloßer Schlüsselwort-Übereinstimmung ermittelt das Tool so die inhaltliche Relevanz der Seiten. Dieses Verfahren orientiert sich stärker an den Prinzipien moderner Suchmaschinen und KI-Modelle als an einfachen Keyword-Checks.
In der Praxis hilft die semantische Suche zum Beispiel bei der Keyword-Zuordnung (Mapping): Man sieht sofort, welche Seiten am besten zu einem Suchbegriff passen. Auch beim Aufbau interner Links ist es nützlich, weil man verwandte Seiten zum Verlinken findet. Zudem lässt sich die Funktion für Wettbewerbsanalysen einsetzen, indem man prüft, wie die eigenen Seiten zu bestimmten Begriffen im Vergleich abschneiden. Das Tab zeigt neben relevanten Seiten auch statistische Details (Ausreißer, „repräsentative“ Seite usw.) an. Somit bietet die semantische Suche eine neue Möglichkeit, Inhalte im Kontext von Suchanfragen zu bewerten.
Verbesserte KI-Integration
In Version 22.0 wurde die KI-Integration weiter verfeinert, um flexibler mit Prompts und API-Anfragen umzugehen. So lassen sich Multiple Prompt Targets verwenden: Innerhalb eines Prompts kann man jetzt mehrere Elemente oder Variablen gleichzeitig ansprechen und so komplexere Abfragen formulieren. Außerdem können AI-Abfragen gezielt auf bestimmte URL-Gruppen beschränkt werden. Sie können etwa ein Segment anlegen, das nur URLs mit bestimmten Problemen (z.B. fehlendem Alt-Text) umfasst, und den Prompt nur für dieses Segment ausführen. Das spart API-Credits, da nicht unnötig alle Seiten abgefragt werden müssen.
Darüber hinaus erlaubt das Update, einzelne URL-Details als Eingabe für den Prompt zu verwenden (zum Beispiel Page Title oder H1). Technisch interessant ist auch die neue Custom Endpoint-Funktion: Sie können nun eigene API-Endpunkte definieren und dadurch zusätzliche KI-Anbieter integrieren. Neben den bisherigen Optionen (OpenAI, Google Gemini, Ollama) kann man zum Beispiel DeepSeek, Microsoft Copilot oder Grok anbinden. Sogar Anthropic (Claude) steht jetzt als weiterer Anbieter zur Verfügung. Diese Erweiterungen machen die AI-Nutzung flexibler und ermöglichen Experimente mit verschiedenen Modellen.
Erweiterter Spalten-Konfigurator
Die neue Version erlaubt eine umfassendere Steuerung der Tabellen-Spalten in der Benutzeroberfläche. Über den Spalten-Konfigurator kann man auf einen Schlag viele Spalten auswählen, verbergen oder in der Reihenfolge verschieben. Ähnlich wie beim Anpassen der Tabs ist es jetzt möglich, mehrere Felder simultan zu aktivieren oder auszublenden. Das spart Zeit im Arbeitsalltag, denn man kann die Tabellenansichten einfacher an die eigenen Bedürfnisse anpassen und irrelevante Spalten schnell ausblenden. Insgesamt macht das den Umgang mit den Crawldaten übersichtlicher und weniger mühsam.
Multi-Export-Funktion
Erhältlich ist jetzt auch ein Custom Multi-Export unter dem Menüpunkt Bulk-Export. Mit dieser Funktion können Sie mehrere Export-Berichte oder Bulk-Exporte gleichzeitig starten und als Export-Preset speichern. Praktisch ist das, wenn Sie bei jedem Crawl immer denselben Satz an Berichten exportieren möchten. Statt jeden Export einzeln anzustoßen, starten Sie sie auf einmal mit einem Klick. Das spart Zeit und reduziert Klick-Aufwand. Zudem lässt sich der Multi-Export-Preset sowohl manuell in der UI als auch über die Planungs- und CLI-Funktionen ausführen. Auf diese Weise lässt sich auch der Looker-Studio-Export direkt aus einem manuellen Crawl heraus starten, ohne Umweg über die Planung.
Export in mehrere Tabs
Eine weitere nützliche Export-Erweiterung ist die Option, mehrere Exporte in einzelne Tabs eines einzelnen Sheets bzw. Workbooks zu bündeln. Anstatt für jeden Bericht eine eigene Datei zu erhalten, landen alle ausgewählten Exporte geordnet in verschiedenen Registerkarten einer einzigen Excel-Datei oder Google-Tabelle. Das Ergebnis ist übersichtlicher, da alle relevanten Daten zentral in einem Dokument liegen. Besonders bei vielen unterschiedlichen Reports spart man so eine Menge Dateiverwaltung. Diese Funktion steht sowohl für Excel als auch für Google Sheets zur Verfügung.
Mehrere XML-Sitemaps herunterladen
Im List-Modus unterstützt der SEO Spider nun das Einlesen mehrerer XML-Sitemaps auf einmal. Bisher konnte man nur eine Sitemap-Indexdatei verwenden oder eine einzelne Sitemap manuell laden. Jetzt können Sie einfach mehrere Sitemap-URLs hintereinander einfügen, und der Spider holt alle darin aufgelisteten Links automatisiert ab. Das macht das Einlesen großer Seiten einfacher: Sie müssen nicht mehr selbst alle URLs zusammenstellen, sondern geben nur die Sitemap-Links ein, und das Tool zieht die Daten selbständig.
URLs aus Google Sheets laden
Neu ist auch der Import von URLs aus Google Sheets. Im List-Modus können Sie als Quelle eine Google-Sheet-Adresse angeben, woraufhin der Spider automatisch alle dort gelisteten URLs importiert und crawlt. Für private Tabellen lassen sich die Google-Drive-Zugangsdaten hinterlegen, sodass auch nicht öffentliche Sheets verwendet werden können. Diese Funktion eröffnet viele Automatisierungsmöglichkeiten: Sie können eine Google-Tabelle pflegen oder per Add-On befüllen und vom Spider automatisch verarbeiten lassen. Auch im Scheduler und der Kommandozeile (CLI) steht diese Option zur Verfügung.
APIs-Modus
Ein ganz neuer APIs-Modus („Mode > APIs“) erlaubt es, Daten direkt per Schnittstelle zu laden – ohne jegliches Crawling. Man lädt lediglich eine Liste von URLs hoch und lässt dann verbundene APIs (z.B. Google Analytics, Search Console etc.) die gewünschten Daten abrufen. Das ist besonders praktisch bei sehr großen Seiten, denn es erspart den kompletten Crawl. So kann man schnell nur die benötigten Metriken zu einer URL-Liste abfragen.
Zudem wurden die API-Funktionen insgesamt verbessert: Sie können eine Crawl-Pause jederzeit fortsetzen und auf „Request API Data“ klicken, um noch fehlende Daten nachzuladen. Wird die Google-Analytics-/Search-Console-Konfiguration geändert, kann man nun alte Daten löschen und neu abfragen lassen, was früher nicht möglich war. Außerdem lässt sich per Rechtsklick auf jede URL manuell eine API-Anfrage durchführen (sofern eine API verbunden ist). Diese Request-Priorität sorgt dafür, dass aktualisierte Daten sofort im Ergebnis erscheinen. All das macht die Arbeit mit externen Datenquellen flexibler und beschleunigt den Workflow erheblich.
Weitere Verbesserungen
Abschließend seien noch ein paar kleinere Updates genannt:
- AI-Prompts und eigene JavaScript-Snippets lassen sich jetzt per Klick als neues Library-Element speichern – ein kleines, aber zeitsparendes Detail.
- Alle Visualisierungen können nun in einem externen Browser geöffnet werden, was gerade bei großen Datensätzen die Performance verbessert.
- Per Tastenkombination Strg+Shift+C können Sie die aktuelle Konfiguration schnell mit den Standard-Einstellungen vergleichen, um Änderungen zu überblicken.
- Die Integration externer SEO-Metriken wurde erweitert: Die Moz-API wurde auf Version 3 aktualisiert (mit neuen Werten wie Spam Score oder Markenautorität), und bei Majestic können jetzt die „Trust Flow Topics“ abgerufen werden.
Diese Verbesserungen sowie diverse Bugfixes runden das umfangreiche Update ab. Insgesamt bietet der SEO Spider 22.0 leistungsstarke neue Tools – von der semantischen Inhaltsanalyse bis zu Effizienzfunktionen im Export -, die sowohl Einsteigern als auch Profis helfen, die eigene Website-Analyse effektiver zu gestalten.
Weitere Artikel:
