Shopify-SEO-Crawling mit Web Bot Auth freigeben

Zu jeder ernst gemeinten E-Commerce-Strategie gehören SEO-Audits und Accessibility-Checks. Marken lassen Crawler wie Screaming Frog, Jet Octopus, Sitebulb oder OnCrawl über ihren Shop laufen, um kaputte Links zu finden und die Performance zu verbessern. Nur behandelt der Shop diese Bots oft wie unerwünschten Traffic. Ohne Autorisierung werden sie blockiert, liefern lückenhafte Daten oder öffnen ein Sicherheitsrisiko.

Shopify schließt diese Lücke mit SEO-Crawling über Web Bot Auth. Mit dieser neuen Funktion autorisieren Sie Crawler, Skripte und Testtools über kryptografische Signaturen. Statt den Shop für jede Anfrage zu öffnen, entscheiden Sie, welchem Agenten Sie vertrauen und wie lange. Jede Signatur bekommt einen eigenen Namen, wird im Shopify-Admin verwaltet und läuft automatisch ab. So bleibt der Zugriff nachvollziehbar.

Für Marken zahlt sich das doppelt aus: bessere SEO-Daten und ein besser geschützter Shop. Ihr Team fährt genaue Audits und Accessibility-Tests, und trotzdem kommt nur herein, wer freigegeben ist. In den nächsten Abschnitten lesen Sie, was Web Bot Auth ist, wie es mit dem SEO-Crawling in Shopify zusammenspielt und welche Schritte Sie zum Einrichten brauchen.

Was ist Web Bot Auth in Shopify?

Shopify hat dafür einen eigenen Sicherheitsmechanismus eingeführt: Web Bot Auth. Damit bekommen Marken die volle Kontrolle darüber, wie Crawler, Skripte oder automatisierte Tools auf ihren Online-Shop zugreifen. Web Bot Auth behandelt nicht alle Bots gleich, sondern prüft über kryptografisch gesicherte HTTP-Message-Signaturen, ob eine Anfrage von einer autorisierten Quelle kommt.

Besonders relevant ist das für Teams, die mit Crawlern arbeiten: SEO-Audits, Accessibility-Checks, automatisierte Tests, Datenanalysen. Ohne Autorisierung werden diese Bots blockiert oder liefern unvollständige Ergebnisse. Mit Web Bot Auth legen Sie fest, welches Tool Ihren Shop crawlen darf und wie lange.

Manche Marken sprechen dabei von Shopify SEO-Crawling, weil es direkt bestimmt, wie genau SEO-Audits und technische Optimierungen ausfallen. Offiziell heißt die Funktion bei Shopify aber Web Bot Auth. Die Signaturen aus diesem System wirken wie sichere Schlüssel: Sie authentifizieren Ihre Crawler, begrenzen den Zugriff auf bestimmte Domains und laufen nach einer festgelegten Frist automatisch ab.

Kurz gesagt hilft Web Bot Auth Ihnen dabei:

• SEO- und Accessibility-Tools sicher zu autorisieren

• verlässliche Crawl-Daten zu bekommen

• die Kontrolle darüber zu behalten, wer Ihren Shop zu sehen bekommt

Die wichtigsten Funktionen von Web Bot Auth

Web Bot Auth ist mehr als ein Türsteher für Crawler. Shopify hat das System so gebaut, dass Sie den Zugriff auf Ihren Shop genau einstellen können. Diese Funktionen sollten Sie kennen:

1. Sichere Authentifizierung
Jede Crawler-Anfrage wird über kryptografisch signierte Header geprüft. So kann sich kein fremder oder bösartiger Bot als SEO-Tool ausgeben.

2. Ablaufdatum steuern
Sie legen fest, wie lange eine Signatur gilt. Jedes Token läuft nach der eingestellten Frist automatisch ab, maximal nach drei Monaten. Alte oder ungenutzte Zugangsdaten bleiben so nicht liegen.

3. Verwaltung an einer Stelle
Signaturen legen Sie direkt im Shopify-Admin an und verwalten sie dort, unter Onlineshop > Präferenzen. Alles liegt an einer Stelle, und das Team behält den Überblick.

4. Eigene Namen
Jede Signatur bekommt einen sprechenden Namen. Bei „SEO-Audit – Screaming Frog – September“ ist sofort klar, zu welchem Tool und zu welchem Zeitraum sie gehört.

5. Bindung an eine Domain
Jede Signatur gilt für genau eine Domain, die mit Ihrem Shopify-Shop verbunden ist. Auf fremden Websites lässt sie sich nicht missbrauchen.

Zusammen ergibt das eine Mischung aus Spielraum und Sicherheit, die ein normales Crawling-Setup nicht bietet. Sie behalten den Überblick, und Ihre SEO- und Accessibility-Tools laufen ohne Unterbrechung weiter.

Signaturen in Shopify anlegen und einsetzen

Web Bot Auth richten Sie komplett im Shopify-Admin ein. Schritt für Schritt legen Sie eine Signatur an und geben sie an Ihren Crawler weiter:

Schritt 1: Zu den Präferenzen gehen

• Öffnen Sie im Shopify-Admin Onlineshop > Präferenzen.

• Scrollen Sie nach unten zum Abschnitt Signaturen.

Schritt 2: Eine neue Signatur anlegen

• Klicken Sie auf Signatur erstellen.

• Tragen Sie im Feld Name einen klaren Namen ein, zum Beispiel Screaming Frog – Audit Q3.

• Wählen Sie im Feld Domain aus, für welche Ihrer verbundenen Domains die Signatur gilt.

• Legen Sie unter Gültig für die Laufzeit fest. Länger als drei Monate geht nicht.

Schritt 3: Die Werte kopieren
Nach dem Anlegen erzeugt Shopify drei Werte, die Sie in Ihrem Crawler hinterlegen:

• Signature-Input → Ihr Signature-Input-Wert

• Signature → Ihr eigener Signaturwert

• Signature-Agent → hier steht immer „https://shopify.com“ (mit Anführungszeichen)

Klicken Sie neben jedem Wert auf Kopieren und legen Sie die Werte sicher ab.

Schritt 4: Die Werte im Crawler eintragen
Die meisten SEO-Tools lassen eigene Header zu. Tragen Sie die drei Werte in die Konfiguration ein, damit jede Anfrage an Ihren Shop die gültige Authentifizierung mitbringt.

Schritt 5: Verwalten und rechtzeitig erneuern

• Im Shopify-Admin sehen Sie zu jeder Signatur den Namen, die Domain und das Ablaufdatum.

• Eine abgelaufene Signatur lässt sich nicht verlängern. Sie legen eine neue an und aktualisieren die Einstellungen in Ihrem Tool.

Alle Details und Hinweise zur Fehlersuche stehen im Shopify Help Center.

Warum Web Bot Auth den Unterschied macht

Auf den ersten Blick wirkt Web Bot Auth wie eine zusätzliche Hürde. Viele SEO-Tools crawlen Shopify-Shops schließlich auch ohne ausdrückliche Freigabe. Trotzdem liegt zwischen einem autorisierten Crawl und einem anonymen Bot ein deutlicher Unterschied.

Nutzen Sie Web Bot Auth, zeigt Ihr Crawler kryptografische Signaturen vor, die Shopify und Cloudflare als geprüft erkennen. Beim Audit kommen Sie damit zuverlässig an alle Daten Ihrer Storefront. Ohne Signatur drosselt das System Ihren Crawler, setzt Rate Limits oder liefert nur einen Teil der Seiten, und Ihre SEO-Analyse wird ungenau.

Denken Sie an einen Reisepass. Ein autorisierter Crawler kommt mit gültigen Papieren durch die Vordertür. Ein nicht autorisierter klettert über den Zaun: Manchmal klappt das, aber blockiert oder falsch eingeordnet zu werden bleibt ein ständiges Risiko.

So stehen die beiden Wege nebeneinander:

Wer auf genaue SEO-Audits, Accessibility-Tests oder automatisierte QA angewiesen ist, entscheidet mit Web Bot Auth zwischen belastbaren Zahlen und wechselhaften Daten.

Diese SEO-Crawler arbeiten damit zusammen

Die meisten professionellen SEO- und Accessibility-Crawler lassen eigene Header pro Anfrage zu. Damit arbeiten sie mit Web Bot Auth von Shopify zusammen. Hinterlegen Sie Signature-Input, Signature und Signature-Agent im Tool, läuft Ihr Audit durch, ohne blockiert zu werden.

Diese Tools kommen dafür am häufigsten zum Einsatz:

1. Screaming Frog
Eines der verbreitetsten Tools für technisches SEO. Eigene HTTP-Header tragen Sie unter Configuration > HTTP Header ein. Anleitung: Eigene Header in Screaming Frog.

2. Jet Octopus
Ein Cloud-Crawler für große Audits. Eigene Header stellen Sie in den Crawl-Einstellungen ein. Anleitung: JetOctopus-Dokumentation.

3. Sitebulb
SEO-Audit-Tool für den Desktop, das HTTP-Header für authentifiziertes Crawling zulässt. Anleitung: Sitebulb-Dokumentation.

4. OnCrawl
SaaS-Crawler für Enterprise-Shops, der Web Bot Auth für ausführliche Audits unterstützt. Anleitung: OnCrawl-Dokumentation

Autorisieren Sie diese Crawler mit Web Bot Auth, bekommen Sie:

• vollständige Crawl-Daten, ohne fehlende Seiten durch den Bot-Schutz

• gleichbleibende Ergebnisse über mehrere Audits hinweg

• einen Überblick darüber, wer wann auf Ihren Shop zugreift

Lässt Ihr Tool keine eigenen Header zu, hilft ein Proxy weiter, etwa ein Cloudflare Worker oder eine Serverless Function bei Vercel, die die Header einsetzt. Das ist ein Umweg, bringt aber auch ältere oder eingeschränkte SEO-Plattformen zum Laufen.

Web Bot Auth richtig verwalten

Web Bot Auth greift tief ein und will wie jede Sicherheitsfunktion sorgfältig behandelt werden. Gehen Sie mit Signaturen so um wie mit API-Keys oder Passwörtern. Diese Regeln sollte jeder Shop befolgen:

1. Signaturen sicher ablegen

• Kopieren Sie Signature-Input und Signature direkt nach dem Anlegen.

• Bewahren Sie beide in einem Passwortmanager oder in verschlüsselten Umgebungsvariablen auf.

• Legen Sie sie nie in ein öffentliches Code-Repository.

2. Ablaufdaten im Blick behalten

• Jede Signatur gilt höchstens 90 Tage.

• Planen Sie vor: Legen Sie die neue Signatur an, bevor die alte abläuft, und aktualisieren Sie die Konfiguration Ihres Crawlers.

• Setzen Sie sich eine Erinnerung in den Kalender, damit kein Audit unerwartet abbricht.

3. Sprechende Namen vergeben

• Benennen Sie jede Signatur eindeutig, zum Beispiel SEO-Audit – ScreamingFrog Q4 oder Accessibility-Scan – Jet Octopus.

• So findet jedes Team seine Bots wieder, auch wenn mehrere im Einsatz sind.

4. Pro Domain trennen

• Eine Signatur gilt nur für die Domain, die Sie im Shopify-Admin ausgewählt haben.

• Betreiben Sie mehrere Storefronts, legen Sie für jede eine eigene Signatur an.

5. Ungenutzte Signaturen löschen

• Löschen Sie Signaturen, die Sie nicht mehr brauchen, statt sie liegen zu lassen.

• Haben Sie den Verdacht, dass eine Signatur nach außen gelangt oder missbraucht wurde, ziehen Sie sie sofort zurück und legen eine neue an.

Mit diesen Regeln kommen Ihre Crawler jederzeit sicher an Ihren Shop, und das Risiko eines Missbrauchs bleibt klein.

Wie Flatline Marken beim SEO auf Shopify unterstützt

Web Bot Auth einzurichten ist ein Schritt zu verlässlichen SEO-Audits, mehr aber auch nicht. Sobald Ihre Crawler sicher an die richtigen Daten kommen, stellt sich die nächste Frage: Was machen Sie mit den Erkenntnissen?

Bei Flatline machen wir aus technischen Audits messbares Wachstum für E-Commerce-Marken. Als Shopify-Plus-Partner bauen wir Shopify-Shops, die mitwachsen, und richten sie auf Performance, Sichtbarkeit und Conversion aus. Für die Storefront selbst steht unser Team der Shopify-Plus-Agentur bereit, das SEO vom ersten Tag an mitdenkt statt erst nach dem Launch. Außerdem hängen wir SEO-Audits an die Workflows Ihrer Marketing Automation, damit technische Korrekturen zur Neukundengewinnung und zur Kundenbindung passen.

Ob Sie Web Bot Auth für genaue Audits einrichten, Metadaten und interne Verlinkung überarbeiten oder Ihre SEO-Erkenntnisse mit Marketing Automation verbinden wollen: Wir begleiten das von Anfang bis Ende. Am Ende steht nicht nur eine technisch saubere Storefront, sondern eine, die in den Suchergebnissen weiter nach oben kommt und mehr Umsatz bringt.