Anleitung für die Nutzung des Screaming Frog

Das SEO-Tool Screaming Frog ist unter Marketern heutzutage gar nicht mehr wegzudenken. Umso wichtiger ist zu verstehen, welche Funktionen das Tool bietet und wie es Dir als Marketer bzw. Webdeveloper & SEO weiterhelfen kann. Sämtliche Funktionen werden selbstverständlich nicht behandelt werden, da es schlicht und weg den Rahmen sprengen würde. Wir selbst erstellen unsere SEO-Audits zum Großteil mit Screaming Frog.

Der Nutzen zusammengefasst:

• Website-Scanning: Screaming Frog kann eine ganze Website scannen und Informationen über alle auf der Website vorhandenen URLs sammeln.
• SEO-Audit: Das Tool kann verwendet werden, um eine SEO-Audit durchzuführen, um Probleme wie fehlende Überschriften, fehlende Alt-Texte für Bilder und fehlerhafte Weiterleitungen zu identifizieren.
• Technische Analyse: Screaming Frog bietet eine tiefe technische Analyse, die bei der Behebung von Problemen hilft, die die Website von den Suchmaschinen beeinträchtigen können, wie z.B. langsame Ladezeiten, problematische Links und fehlende Sitemaps.
• Custom-Crawling: Screaming Frog ermöglicht es, dass Benutzer benutzerdefinierte Regeln für das Crawling definieren können, um spezifische Probleme zu identifizieren.
• Reporting: Das Tool bietet umfassende Reporting-Funktionen, die es Benutzern ermöglichen, die gesammelten Daten zu visualisieren und zu exportieren, um sie weiter zu verwenden oder zu teilen.

Was ist der Screaming Frog und wie kannst Du ihn nutzen?

Der Screaming Frog (SF) ist ein Crawler, welcher diverse Informationen über eine Webseite erfassen kann. Das Besondere am Screaming Frog ist, dass das Tool alle gefundenen Informationen sorgfältig aufbereitet, filtert und darstellt. Eine weitere Besonderheit ist, dass Screaming Frog das eigene Netzwerk nutzt anstatt Cloud-Server – das bedeutet, dass die jeweiligen Crawls der Software immer über die eigenen Computer laufen (außer man nutzt den SF-Crawler über die CLI und steuert diesen automatisiert über diverse Server – das sprengt aber den Rahmen).

Die Funktionen des Screaming Frogs

Das Tool kann alles, was das SEO-Herz begehrt. Die wichtigsten Funktionen haben wir für Dich zusammengefasst:

• Defekte Links finden: Screaming Frog crawlt Deine Webseite und findet defekte Links (404) und Serverfehler (500er).
• Audit-Umleitungen und Weiterleitungen werden geprüft und mögliche Fehler angeführt.
• Title und Metadatenanalyse: Ob zu kurz oder zu lang, Screaming Frog sagt sofort was Sache ist und gibt Dir Verbesserungsvorschläge.
• Auch Duplicate Content wird von Screaming Frog sofort identifiziert und angeführt.
• Durch diverse Robots geblockte Dateien werden ersichtlich: Ganz gleich ob durch robots.txt, Meta-Robots oder X-Robots-Tag, wie „noindex“ oder „nofollow“ blockierte Inhalte werden sofort aufgedeckt und offengelegt.
• Der Screaming Frog ist auch auf die Erstellung und laufende Aktualisierung von XML-Sitemaps spezialisiert.
• Screaming Frog lässt sich bzw. sollte mit allen Google Produkten wie Analytics, der SearchConsole und PageSpeedInsights verbunden werden. Erst die richtige Verbindung und das Zusammenspiel führt langfristig zu großen Erfolgen.
• ebenso ist eine Anbindung an AHREFS sinnvoll

Ich nutze es noch spezifischer und schaue mir an:

• Eine Auswertung der Trailing Slashes
• Wird die Domain mit http und https aufgerufen? Muss ich dies in der Datenbank umstellen?
• Wird die DSGVO eingehalten und z.B. Google Fonts extern geladen?
• Sind die Linkattribute richtig gesetzt?
• Wie ist die Seitenstruktur aufgebaut und wird das Siloing verwendet?

Wie verwendest Du den Screaming Frog?

Wie Du den Screaming Frog letztendlich verwendest, ist Dir überlassen. Wir stellen im Folgenden eine Anleitung vor, die Du befolgen kannst um Dir vor allem beim Einstieg leichter zu gestalten.

Zuerst plane, dann crawlen!

Zu Beginn eines jeden Crawls solltest Du bestimmen welche Webseite Du crawlen möchtest und vor allem auch welche Informationen Du suchst. Je präziser Deine Suche, desto klarer die Informationen und Daten. Wenn Du beispielsweise ein Verzeichnis crawlen möchtest, tippe den folgenden Befehl unter „Konfiguration“ -> „Einbeziehen“ ein und es werden nur URLs des ausgewählten Verzeichnisses gecrawlt.

Die Meta-Angaben Deiner Webseite analysieren

Unter dem „directive“-Tab Deines Screaming Frog Dashboards findest Du alle erdenklichen Meta-Angaben Deiner Unterseiten. Diese Metainformationen kannst Du dann weiter filtern, damit Deine Ergebnisse präziser dargestellt werden. So kannst Du beispielsweise Unterseiten auf „noindex“ und „nofollow“ filtern.

Defekte interne Links in Screaming Frog ausfindig machen

Das Auffinden von defekten internen Links ist ein sehr wichtiger Vorgang, denn defekte Links wirken sich nicht nur auf Dein SEO aus, sondern allgemein auf die Performance Deiner Webseite und können indirekt hohe Opportunitätskosten für Dich bedeuten. Unter dem „internal“-Tab kannst Du alle URLs, die gecrawlt wurden, aufrufen. Damit Du Deine defekten internen Links aufrufst musst Du die Liste auf „Status Code“ sortieren oder unter dem „Response Code“-Tab Deine Unterseiten mit bestimmten Statuscodes filtern. Webseiten und Unterseiten mit 4xx-Statuscode sind die kritischen Seiten – diese gehören behoben. Um zusätzlich auch deren Verlinkungen anzeigen zu lassen klicke hierfür auf „Inlinks“.

Gegen Duplicate-Content und Thin-Content vorgehen

Duplicate-Content ist äußerst nervenraubend und kann eine gute Suchmaschinenperformance kosten. Einerseits ist es wichtig, dass Dich keiner kopiert, andererseits ist es auch wichtig, dass Du nicht fälschlicherweise eine andere Webseite kopierst – letzteres kommt öfter vor als Du glaubst.

Den Title und das Snippet Deiner Webseite optimieren

Title, Metadaten und Snippet optimieren. Wer zerbricht sich nicht den Kopf darüber?

Was die perfekte Länge des Titles und die Form des Snippets ist, ist bis heute nicht genau geklärt. Google arbeitet letztendlich auch nicht mit fest definierten Zeichenzahlen, sondern je nach suchendem Endgerät mit einer jeweiligen Pixelbreite. Das perfekte Snippet gibt es also nicht wirklich, ebenso wie den perfekten Title. Dennoch kannst Du Dich herantasten, dabei hilft Dir der Screaming Frog, indem er Dir anzeigt, ob Titel und Beschreibung zu lang sind. In der Spider-Konfiguration unter Einstellungen kannst du die Breite in Min/Max und Pixel/Zeichen angeben.

Klicktiefe analysieren und schwache Unterseiten aussortieren

Bei kleinen Webseiten wahrscheinlich weniger relevant wie bei großen, dennoch ein wichtiger Bestandteil einer jeden Screaming Frog Analyse – die Klicktiefe Deiner Webseite erfassen. Je mehr Unterseiten Deine Webseite hat, desto schwieriger wird sie gecrawlt? Falsch – das kannst Du leicht beeinflussen! Unter dem Tab „Sitestrukture“ kannst Du Dir eine Tabelle Deiner Unterseiten und der jeweiligen Klicktiefe ausgeben lassen. Hier wird Dir einerseits angezeigt, wie viele Klicks benötigt werden, um zu den diversen Seiten zu kommen und wie Deine Seitenhierarchie demnach aussieht.

Das ist aber nicht alles, für eine detailliertere Analyse kannst Du Dir unter dem Tab „Internal“ angeben lassen, welches „Level“ Deine jeweiligen URLs haben. Optimiere Deine Webseite, damit die Crawler der einzelnen Suchmaschinen leichter durch Deine Webseite durchkommen können. Gleichzeitig kannst Du Dir im „Internal“ Tab unter „Word Count“ angeben lassen, wie Deine Unterseiten bezüglich der Wörteranzahl performen. Mit dieser Funktion sortierst Du schwache On-page Seiten einfach aus.

Das Trafficpotenzial Deiner Unterseiten ermitteln und nutzen

Indem Du den Screaming Frog mit Google Analytics koppelst, kannst Du den Traffic Deiner einzelnen Unterseiten und Landing-Pages ebenso wie die interne Verlinkung analysieren. Diese Analyse ist zwar nicht absolut, bietet aber einen guten ersten Überblick. Wenn Du Dir die Ergebnisse via Excel/CSV exportierst kannst Du im Anschluss eine genauere Analyse durchführen.

Ein Verzeichnisbaumgraph erstellen

Dazu im Menü auf Visualisierung den Verzeichnisbaumgraph wählen und erstellen lassen. Dieser zeigt Dir an, über welche Verzeichnisse deine Website verfügt und wie diese aufgeteilt sind. Vor allem bei größeren Websites eine Hilfe zur Visualisierung/besserem Verständnis für die Website.

Bilder auf die Suchmaschinen optimieren und ausrichten

Die Suchmaschine kann bekanntlich keine Bilder so erkennen wie wir Menschen es können. Sie arbeitet demnach mit dem „Alt-Tag“. Bei einer kleinen Webseite hast Du leicht den Überblick über Deine Bilder und deren Alt-Tags. Bei größeren Webseiten wird dies schwieriger. Unter dem Tab „Images“ kannst Du die Funktion „Missing-Alt-Text“ wählen und Dir die fehlenden Alt-Tags unter Deinen Bildern anzeigen lassen. Ändere diese und Du wirst merken, wie sich Dein SEO-Ranking ändern wird.

Google Analytics und Google Search Console Daten analysieren

Eine weitere Voraussetzung, um den Screaming Frog richtig nutzen zu können, ist die Einbindung von Google Analytics und der Google Search Console. Hierfür gehe unter „Configuration“ zu „API Access“, klicke auf „Google Analytics“ und verbinde Dein Google Analytics Konto. Analog kannst Du auch Deine Search Console mit Screaming Frog verbinden. Durch die Verbindung beider Google Tools, hast Du nun präzisere Daten und kannst einfacher schwächere URLs und Unterseiten Deiner Webseite bearbeiten und aussortieren. Zudem solltest Du auch die Daten beider Google Tools mit dem Screaming Frog koppeln, damit Du eine noch genauere Übersicht der Performance bekommst.

Backlinks analysieren

Zwar helfen Dir die Google Search Console, Ahrefs und Sistrix schon zu genüge um die Off-page Performance Deiner Webseite zu analysieren, dennoch kann das Backlink Analyse Tool von Screaming Frog äußerst nützlich sein. Screaming Frog kann beispielsweise unter „Mode“-> „List“ -> „Upload“ -> „Paste“ Deine Links dahingehend überprüfen, ob sie noch vorhanden sind und ob sie wirklich auf die jeweilige Ziel-Seite verlinken oder auf etwaige Fehlerseiten.

Neue Features / Updates / Changelog

Seit dem 05.12. ist Version 18.0 zum Download erhältlich. In dieser werden vor allem folgende Funktionen ergänzt:

• GoogleAnalytics 4 Integration
• PDFs werden korrekt geprüft
• Ein neuer Tab „Validation“
• Verbesserte Updatefunktion
• Authentisierung für Geplante Crawls / CLI
• Neue Filter
• Flesch Readability Scores
• usw..

FAQ

Warum werden teilweise existierende Seiten nicht im Screaming Frog erkannt?

Ich würde vorerst die Robots.txt prüfen: ist die Seite ausgeschlossen? Respektiert Screaming Frog die Robots.txt? Steht eine Sitemap in der Robots.txt?
Danach prüfen ob die Seite auf NoIndex steht. Werden im Screaming Frog NoIndex Seiten mit aufgenommen?
Zum Schluss prüfen ob die automatische Erkennung der Sitemap aktiv ist. Meist liegt es daran, dass diese spezielle Unterseite keine eingehenden Links hat (Orphan Page – Verwaiste Seite).

Fazit

Der Screaming Frog hat sehr viel zu bieten. Im Vergleich zu anderen Tools ist der Screaming Frog zwar um einiges günstiger, aber für Anfänger muss etwas Einführungszeit eingerechnet werden. Dennoch ein absolutes MUST-HAVE für jeden SEO.