Screaming Frog Erfahrungen

Screaming Frog (auch Screaming Frog SEO Spider) ist ein bekanntes Tool für SEO aus dem Vereinigten Königreich und beschreibt sich selbst als „Website Crawler für Windows, macOS und Linux“. Angeboten wird ein umfangreicher Webseiten Crawler.

Aber ist Screaming Frog seriös oder nicht?

Nach der von mir gemachten Erfahrung ist Screaming Frog ein seriöser und sicherer Anbieter.

Wenn du bereits selber Erfahrungen mit Screaming Frog gemacht hast, dann teile diese in den Kommentaren.

Auf einen Blick

Screaming Frog ist seit Jahren der Webseiten Crawler meiner Wahl und aus dem Alltag vieler SEO Profis kaum noch wegzudenken. Dies liegt vor allem an den folgenden Punkten:

• Bei Screaming Frog SEO Spider handelt es sich um ein seriöses Tool, das bereits seit Jahren detaillierte Einblicke in eine beliebige Webseite bietet
• Als größten Pluspunkt habe ich die vielen Einstellungen, darunter vier Crawling-Methoden und umfangreiche Konfigurationen für technisch versierte Nutzer, ausgemacht
• Im Folgenden erkläre ich dir unter anderem, welche Funktionen Screaming Frog enthält, wie viel es kostet und welche Alternativen es gibt

Über Screaming Frog

Screaming Frog Ltd ist eine SEO Agentur aus Oxfordshire in England, die bereits seit 2010 existiert. Neben dem SEO Spider bietet das Unternehmen typische SEO Dienstleistungen wie Search Engine Marketing, Content Marketing, Technische Audits, Linkaufbau und mehr an.

Da das Tool von einer Agentur betrieben wird, werden Funktionen ständig erweitert und sind stets benutzerfokussiert. Während es keine offiziellen Zahlen gibt, wird die Anzahl der aktiven Kunden auf über 2500 geschätzt. Die Firma hat zwischen 20 und 40 Mitarbeiter.

Seriosität

Screaming Frog ist ein leistungsstarkes und vielseitiges Tool, dem viele SEO-Profis vertrauen, um ihre Websites für Suchmaschinen zu optimieren. Interessant: Dieses Tool wird von der gleichnamigen SEO Agentur aus England vertrieben (der eigentliche Name des Tools ist „SEO Spider“). Die Entwickler sind also selbst in der Suchmaschinenoptimierung aktiv.

Angebot von Screaming Frog

Im Folgenden möchte ich den Crawling-Report und die Einstellungen, die Screaming Frog bietet, präsentieren.

Diese Funktionen hat Screaming Frog:

• Crawling-Reports
  • Internal
  • External
  • Sicherheit
  • Response Codes
  • URL
  • Page Titles
  • Weitere Reiter
• Einstellungen
  • Crawl-Modus
  • Konfiguration
• Exportieren von Daten
• Integrationen per API

Crawling-Reports

Nach dem Crawl stehen dir erstmal unglaublich viele Daten auf URL-Basis zur Verfügung, die du schnell und einfach über die verschiedenen Reiter, wie Internal, External und Security abrufen kannst. Hier sind die wichtigsten Reiter und ihre Inhalte:

Internal

Screaming Frog’s Internal Tab ist der perfekte Ausgangspunkt, um die Details der Seiten innerhalb der eigenen Website zu analysieren. Wähle eine der analysierten URLs aus, und dir werden im unteren Bereich des Tools alle relevanten Daten angezeigt. Zu den verfügbaren Daten gehören Seitentitel, Meta-Beschreibung, H1- und H2-Überschriften, Status Code, Anzahl der Wörter, Response Time und vieles mehr.

Hier bietet es sich ebenfalls an, Inlinks und Outlinks zu checken. Klicke auf eine der Seiten und das Tool zeigt dir an, welche URLs intern auf diese Seite verweisen. Outlinks sind die Links auf einer Seite, die von dieser Seite aus verlinkt werden.

External

Der External Reiter listet die Ressourcen und Webseiten auf, die von deiner Webseite aus verlinkt werden. Dies dient der Übersicht und Optimierung deiner Seite, indem du jene Seiten und Ressourcen (beispielsweise JavaScript) verifizieren kannst. Auch hier wird dir der Statuscode der Ressource angezeigt, sodass du Ressourcen, die offline sind, identifizieren und eliminieren kannst.

Sicherheit

Auf der Registerkarte Sicherheit werden sicherheitsrelevante Informationen angezeigt. Es werden nur Sicherheitsinformationen zu internen URLs angezeigt. Zu den angezeigten Daten gehören URL, Statuscode, Indexierbarkeit, HTML-Version und mehr.

Response Codes

Der Response Codes Tab warnt dich, wenn deine URLs Fehlercodes wie 404 (nicht gefunden), 3XX (Weiterleitung) oder 5XX (Serverfehler) zurückgeben. Zu den berichteten Daten gehören neben dem Statuscode auch die Indexierbarkeit, Antwortzeit, Redirect-URL und mehr.

URL

Auf diesem Reiter werden die wichtigsten Daten zur URL einer Seite angezeigt, darunter die URL, Statuscode, Indexierbarkeit und Länge der URL.

Page Titles

Seitentitel (auch bekannt als Titel-Tags) beschreiben das Thema einer Seite sowohl für Benutzer in den Suchergebnissen als auch für Suchmaschinen. Sie sind ein wichtiger On-Page SEO Faktoren und Screaming Frog hilft bei der Identifizierung von Inkonsistenzen und anderen Problemen im Zusammenhang mit Seitentiteln. Die berichteten Daten umfassen unter anderem den Titel selbst, sowie dessen Länge in Zeichen und Pixeln.

Weitere Reiter

Die hier beschriebenen sind nur einige der momentan insgesamt 28 verfügbaren Registerkarten. Hier sind die restlichen:

• Meta Description
• Meta Keywords
• H1
• H2
• Content
• Images
• Canonicals
• Pagination
• Directives
• Hreflang
• JavaScript
• Links
• AMP
• Sctructured Data
• Sitemaps
• PageSpeed
• Custom Search
• Custom Extraction
• Analytics
• Search Console
• Validation
• Link Metrics

Einstellungen

Dieses SEO-Tool kommt mit vielen Einstellungsmöglichkeiten umher, die du zwar nicht zwingend kennen musst, die aber für erfahrene User hilfreich werden können.

Crawl-Modus

Diese vier Modi unterstützt der Crawler:

1. Spider: Dies ist der Standard-Modus. Hier gibst du lediglich eine URL ein und das Tool folgt den ausgehenden Links dieser Seite, registriert alle Ziel-URLs und besucht diese dann im Anschluss. Somit findet das Tool schlussendlich alle URLs, die mit dem Rest der Seite ordentlich verbunden sind.
2. List: Im Listenmodus geht der Crawler lediglich eine von dir vorgegebene Liste an URLs durch. Beachte jedoch, dass, wenn du beispielsweise auf Inlink-Daten oder andere relationale Daten zurückgreifen willst, diese meist nicht komplett sind.
3. SERP: Hierbei handelt es sich nicht um einen Crawl, sondern es werden lediglich die für Meta Title und Description relevanten Längen in Pixel und Zeichen berechnet. Auf diese Weise kannst du kontrollieren, ob alle Meta Informationen Googles Richtlinien entsprechen.
4. Compare: Dieser Modus dient dem Vergleich zweier Crawls. Wähle zwei zuvor exportierte Reports aus und vergleiche sie, um die Veränderungen nachzuverfolgen.

Konfiguration

Für unterschiedliche Situationen sind unterschiedliche Einstellungen erforderlich. Zum Glück kannst du, bevor du das SEO Spider Tool auf deine Website loslässt, die Crawl-Einstellungen anpassen und personalisieren. Hier sind einige der wichtigsten:

• Maximale Crawl-Tiefe: Mit dieser Einstellung wird festgelegt, wie tief ein bestimmter Crawl gehen soll. Du kannst festlegen, wie viele „Klicks“ von der ursprünglichen URL entfernt die Ergebnisse angezeigt werden sollen (1 Klick, 2 Klicks usw.).
• Maximale Crawlingdauer: Mit dieser Einstellung kannst du ein Zeitlimit für einen Crawl festlegen. Auch wenn der SEO-Spider noch weiter hätte crawlen können, wird das Tool nach Ablauf des Zeitlimits einen Bericht erstellen.
• Maximale Anzahl von URLs: Ähnlich wie bei der maximalen Crawl-Dauer wird ein Crawl beendet, wenn die angegebene Anzahl von URLs erreicht ist.
• Muster einschließen/ausschließen: Mit dieser Einstellung hast du die vollständige Kontrolle darüber, welche URLs bei einem bestimmten Crawl berücksichtigt werden und welche nicht.
• Benutzer-Agent: Mit dieser Einstellung kannst du den Crawler so programmieren, dass er einen Crawl aus der Perspektive eines bestimmten Benutzer-Agenten (z. B. Google Bot oder Bing Bot, Desktop oder Mobile) durchführt. Dies kann helfen, einen Einblick in die typischen Probleme und Erfahrungen zu erhalten, die sich je nachdem, wie auf die Website zugegriffen wird, unterscheiden.

Exportieren von Daten

Beim Exportieren bietet Screaming Frog entweder die Möglichkeit, Daten für einzelne Registerkarten bzw. sogar URLs zu erstellen, oder aber einen Bulk Export oder Bericht als Excel-Datei, Google Sheet oder .CSV zu erstellen.

Bulk Export bedeutet, Daten, beispielsweise Interne Links, Meta-Descriptions oder andere Meta-Daten werden nicht nur für einzelne URLs exportiert, sondern für alle URLs.

Unter Reports findest du spezielle Berichte, wie beispielsweise Orphan Pages (Seiten, die nicht innerhalb deiner Domain verlinkt werden), Fehler bei Strukturierten Daten, oder eine Übersicht der Fehler und Warnungen (Meta Title Länge, Bild über 100 KB etc.).

Integrationen per API

Mit dem SEO Spider kannst du zwar eine Menge Informationen über deine Website sammeln, z.B. über defekte Links, Ladezeiten und Statuscodes, aber das Tool kann dir nicht sagen, wie beliebt deine Seiten sind. Dazu brauchst du die Google Search Console oder Google Analytics.

Wenn du die Daten von Screaming Frog mit diesen Tools kombinierst, erhältst du einen umfassenden Überblick über den Inhalt und die Popularität deiner Website. Durch die Analyse der kombinierten Datensätze kannst du Probleme, die die Performance deiner Website beeinträchtigen, schnell identifizieren und mögliche Zusammenhänge zwischen der Seitenperformance und technischen Daten besser verstehen.

Zudem bietet das Tool den Daten-Import von anderen Programmen wie Moz, Ahrefs oder Majestic an.

Preise und Kosten

Es gibt lediglich zwei Versionen, die kostenlose Version und die Bezahlversion für 239 €.

Die somit erworbene Lizenz muss jährlich erneuert werden. Die kostenlose Version ist auf 500 URLs pro Report beschränkt und umfasst folgende Features:

• Broken Links, Fehler und Weiterleitungen finden
• Analysieren von Seitentiteln und Metadaten
• Überprüfung von Meta-Robots & Direktiven
• Hreflang-Attribute prüfen
• Genaue doppelte Seiten entdecken
• XML-Sitemaps generieren
• Website-Visualisierungen

Die Premium-Version hebt die Limitierung der zu analysierenden URLs auf und umfasst zusätzlich folgende Features:

• Planung
• Crawl-Konfiguration
• Crawls speichern und erneut hochladen
• JavaScript-Rendering
• Crawl-Vergleich
• Beinahe doppelte Inhalte erkennen
• Benutzerdefinierte robots.txt
• AMP-Crawling & Validierung
• Strukturierte Daten & Validierung
• Rechtschreib- und Grammatikprüfung
• Benutzerdefinierte Quellcode-Suche
• Benutzerdefinierte Extraktion
• Google Analytics-Einbindung
• Integration der GSC
• PageSpeed Insights-Einbindung
• Link-Metriken-Integration
• Formbasierte Authentifizierung
• Speichern und Anzeigen von rohem und gerendertem HTML
• Segmente
• Looker Studio Crawl-Bericht
• Kostenloser technischer Support

Die erworbene Lizenz gilt nur für einen einzigen User. Da SEO Spider jedoch eine Desktop-App ist, kann diese auf mehreren Geräten installiert werden. Wer jedoch mehr als einen User benötigt, kann mehrere Lizenzen kaufen, wobei es einen Mengenrabatt gibt. Mehr dazu findest du unter Gutschein und Rabatt.

Registrierung

Eine Registrierung ist bei Verwendung der Gratis-Version nicht nötig. Beim Upgrade zu einem Premium-Account kannst du dann einen Account anlegen, indem du im Einkaufskorb untern auf „Proceed to checkout“ klickst und dann rechts bei „Need an Account“ auf „Register“ klickst.

Gutschein und Rabatt

Während es keinen Gutschein gibt, kommen Käufer von mehreren Lizenzen in den Genuss eines Discounts. Hier sind die Preise beim Kauf mehrerer Lizenzen:

Bei der Verlängerung einer Lizenz gibt es leider keinen weiteren Rabatt.

Kundenservice und Support

Falls du den Kundendienst kontaktieren willst, stehen dir die Möglichkeiten E-Mail, Telefon und Ticket zur Verfügung. Screaming Frog selbst empfiehlt dabei, entweder eine E-Mail an [email protected] zu schreiben oder beispielsweise ein Support Ticket zu erstellen. Beides führt nach meinen Erfahrungen dazu, dass sich der Kundenservice in der Regel innerhalb von 24 Stunden bei dir meldet. Es gibt momentan keinen Chat.

Der Kundendienst ist generell auf Englisch verfügbar. Dafür gilt er aber als äußerst kompetent und hilfsbereit. Du bekommst hier nicht nur Lösungsvorschläge, sondern auch Empfehlungen in Bezug auf die vielen Einstellungsmöglichkeiten des Tools.

Bot & Crawler

Screaming Frog verwendet seinen eigenen Crawler, den sogenannten Screaming Frog SEO Spider. Dieser kann per robots.txt geblockt werden. Beispielsweise durch diese Einträge:

User-agent: Screaming Frog SEO Spider
Disallow: /

Allerdings gibt es im Tool die Option, robots.txt Dateien zu ignorieren. Das bedeutet, eine Webseite kann vom Bot dennoch gecrawlt werden, selbst wenn die robots.txt dies verbietet.

Kündigen und Konto löschen

Da es sich nicht um ein Abonnement handelt, sondern eine Lizenz, kann das Tool nicht gekündigt werden. Aktuell sind Lizenzen genau ein Jahr lang gültig und lassen sich dann manuell um ein weiteres Jahr verlängern (keine automatische Verlängerung). Wenn du dein Konto samt den dazugehörigen Daten löschen lassen möchtest, kann der Kundendienst dies für dich übernehmen.

Alternativen zu Screaming Frog

Es gibt einige Screaming Frog Alternativen, die einen ähnlichen Funktionsumfang bieten. Hier sind drei davon:

Audisto

Mit Audisto kannst du die gesamte Seitenstruktur analysieren, einschließlich der Link-Grafik. Identifiziere technische Probleme, finde duplizierten Content und optimiere die Performance. Zudem lassen sich Crawling- und Indizierungsfehler beheben.

Was mir an Audisto persönlich gefällt, ist die verlässliche API, mit der sich die Daten einfach in BI-Tools übertragen lassen, sowie die Visualisierungen, die einen schnelleren Überblick über die detaillierten Webseite-Daten ermöglichen. Zudem steht dir als Addon ein Monitor-Tool zur Verfügung.

Audisto ist grundsätzlich eher für größere Webseiten eine Option, da der günstigste Plan für bis zu 100.000 URLs mit 99 € im Monat zu Buche schlägt.

Oncrawl

Oncrawl liefert technische SEO-Daten, um den ROI und den kommerziellen Erfolg deiner Website zu steigern. Mit Oncrawl lassen sich native Daten mit Daten von anderen Quellen kombinieren, um möglichst umfangreiche Reports zu erstellen. Das heißt, in der Tat bietet Oncrawl alles, was dir der SEO Spider bietet, und mehr.

Dieses Tool ist besonders für den Log Analyzer bekannt. Hiermit lässt sich jeder Schritt des Google-Bots (oder anderen Bots) nachverfolgen. Du kannst beispielsweise herausfinden, wann der Bot deine Seite besucht hat, welche URL er besucht hat und ob dabei Fehler aufgetreten sind.

Sitebulb

Dies ist die ähnlichste Alternative, die es momentan auf dem Markt gibt. Sitebulb analysiert für dich die Erreichbarkeit deiner Webseite, mögliche Statusfehler (beispielsweise Error 404 oder 500), duplizierte Inhalte, Rendering-Probleme und vieles mehr. Was das Tool von Screaming Frog unterscheidet, ist die Zusammenfassung dieser Daten in Schaubildern und Metriken wie dem Audit Score, SEO Score und Security Score.

Somit ist Sitebulb oftmals die bessere Wahl für Agenturen oder Freelancer, die die Resultate eines Audits mit Kunden teilen wollen. Ein weiterer Vorteil dieses Tools ist die Verfügbarkeit in der Cloud.

Fazit

Screaming Frog ist ein leistungsstarkes Tool für technisches SEO, das eine Reihe von Vorteilen bietet. Das Tool ist umfangreich und bietet zahlreiche Optionen, um deinen spezifischen Bedürfnissen gerecht zu werden.

Das Tool ist im Vergleich zu vielen anderen technischen SEO-Tools erschwinglich und bietet eine eingeschränkte, kostenlose Version. Screaming Frog ist mit einer durchschnittlichen Crawling-Geschwindigkeit von etwa 5 URLs pro Sekunde effizient und kann sogar größere Webseiten in relativ kurzer Zeit komplett durchsuchen.

Auf der anderen Seite ist die Stärke des Tools in der Datenaggregation zu sehen – die Präsentation der Daten wird großteils dem User überlassen. Auch werden Ergebnisse nicht zusammengefasst, wie man es von anderen Tools her kennt. Zudem ist bis heute lediglich eine lokale Version des Tools verfügbar.

Fragen und Antworten

Hier findest du meine Antworten auf die häufigsten Fragen:

Ist Screaming Frog seriös und vertrauenswürdig?

Bei Screaming Frog handelt es sich um eines der meistverwendeten SEO-Tools für Auditing und der technischen Analyse von Webseiten. Das Tool gilt als absolut seriös, keine Frage. Wenn du eine ausführliche Einschätzung suchst, schau dir den Abschnitt „Seriosität“ einmal genau an.

Wie funktioniert Screaming Frog?

Screaming Frog verwendet ein Programm zum Crawling deiner Seite. Im Spider-Modus folgt dieses Programm, auch Bot, Crawler genannt, den Links einer Seite und folgt diesen, um Daten über die aktuelle Seite und deren Verhältnis zu anderen Seiten zu aggregieren. Mehr darüber erfährst du im Abschnitt „Angebot von Screaming Frog“.

Was kostet Screaming Frog?

Du kannst die Software kostenlos ausprobieren, allerdings stoppt der Crawler dann nach 500 URLs. Für größere Webseiten benötigst du die Vollversion, die jährlich 239 € kostet. Diese Version enthält zudem weitere Features, wie die Planung von Crawls, Konfiguration oder die Erkennung von nahezu duplizierten Inhalten. Alle Details erfährst du in diesem Erfahrungsbericht unter „Preise und Kosten“.