Erstellung der robots.txt

Um Deinen Shop für Suchmaschinen zu optimieren, kannst Du innerhalb Deines Dateisystems eine Robots-Datei hinzufügen. Durch diese hast Du die Möglichkeit, Suchmaschinen-Crawlern mitzuteilen, auf welche URLs Deiner Webseite zugegriffen werden soll. Crawler sind Programme, die Websites automatisch scannen, indem sie Links von einer Webseite zur nächsten folgen und diese analysieren und indexieren.

Die Robots-Datei wird in Shopware 6 nicht automatisch erstellt, sondern muss manuell als Textdatei angelegt werden.

Die robots.txt legst Du innerhalb des Verzeichnisses public an. In diese kannst Du beispielsweise folgenden Text einfügen:


User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/


Disallow: */impressum$
Disallow: */datenschutz$
Disallow: */agb$

Sitemap: https://DEINE_DOMAIN/sitemap.xml

Durch diese Regeln wird das Crawlen der Seiten und Verzeichnisse geblockt, die durch eine disallow-Regel markiert sind. Wenn Du testen möchtest, ob durch die robots.txt bestimmte URLs Deiner Webseite blockiert werden, kannst du dies beispielsweise innerhalb der Google Search Console überprüfen. Du findest den robots.txt-Tester von Google unter folgender URL.

War dieser Artikel hilfreich?

Version

6.0.0 oder neuer