Um Deinen Shop für Suchmaschinen zu optimieren, kannst Du innerhalb Deines Dateisystems eine Robots-Datei hinzufügen. Durch diese hast Du die Möglichkeit, Suchmaschinen-Crawlern mitzuteilen, auf welche URLs Deiner Webseite zugegriffen werden soll. Crawler sind Programme, die Websites automatisch scannen, indem sie Links von einer Webseite zur nächsten folgen und diese analysieren und indexieren.
Die Robots-Datei wird in Shopware 6 nicht automatisch erstellt, sondern muss manuell als Textdatei angelegt werden.
Die robots.txt legst Du innerhalb des Verzeichnisses public an. In diese kannst Du beispielsweise folgenden Text einfügen:
User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/
Disallow: */impressum$
Disallow: */datenschutz$
Disallow: */agb$
Sitemap: https://DEINE_DOMAIN/sitemap.xmlDurch diese Regeln wird das Crawlen der Seiten und Verzeichnisse geblockt, die durch eine disallow-Regel markiert sind. Wenn Du testen möchtest, ob durch die robots.txt bestimmte URLs Deiner Webseite blockiert werden, kannst du dies beispielsweise innerhalb der Google Search Console überprüfen. Du findest den robots.txt-Tester von Google unter folgender URL.
Dies kann durch eine Erweiterung der .htaccess-Datei im öffentlichen Ordner erreicht werden: Füge am Anfang von ~/public/.htaccess ein: RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [NS] Dann kann im Ordner public/robots pro Domain eine .txt erstellt werden, die wie eine robots.txt behandelt werden kann. (Du musst den Ordner robots im Ordner public erstellen) Als Beispiel:
~/public/robots/domain.tld.txt
~/public/robots/subshop.domain.tld.txt
~/öffentlich/robots/domain2.tld.txt
...