Erstellung der robots.txt

Um Deinen Shop für Suchmaschinen zu optimieren, kannst Du innerhalb Deines Dateisystems eine Robots-Datei hinzufügen. Durch diese hast Du die Möglichkeit, Suchmaschinen-Crawlern mitzuteilen, auf welche URLs Deiner Webseite zugegriffen werden soll. Crawler sind Programme, die Websites automatisch scannen, indem sie Links von einer Webseite zur nächsten folgen und diese analysieren und indexieren.

Die Robots-Datei wird in Shopware 6 nicht automatisch erstellt, sondern muss manuell als Textdatei angelegt werden.

Die robots.txt legst Du innerhalb des Verzeichnisses public an. In diese kannst Du beispielsweise folgenden Text einfügen:

User-agent: *
Allow: /
Disallow: */?
Disallow: */account/
Disallow: */checkout/
Disallow: */widgets/
Disallow: */navigation/
Disallow: */bundles/


Disallow: */impressum$
Disallow: */datenschutz$
Disallow: */agb$

Sitemap: https://DEINE_DOMAIN/sitemap.xml

Durch diese Regeln wird das Crawlen der Seiten und Verzeichnisse geblockt, die durch eine disallow-Regel markiert sind. Wenn Du testen möchtest, ob durch die robots.txt bestimmte URLs Deiner Webseite blockiert werden, kannst du dies beispielsweise innerhalb der Google Search Console überprüfen. Du findest den robots.txt-Tester von Google unter folgender URL.

Erstellung von mehreren robots.txt-Dateien

Dies kann durch eine Erweiterung der .htaccess-Datei im öffentlichen Ordner erreicht werden: Füge am Anfang von ~/public/.htaccess ein: RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [NS]. In NGINX kann man rewrite ^/robots\.txt$ /robots/$host.txtverwenden, jedoch muss die Änderung in den entsprechenden Server Block, da NGINX keine .htaccess-Datei verwendet. Dann kann im Ordner public/robots pro Domain eine .txt erstellt werden, die wie eine robots.txt behandelt werden kann. (Du musst den Ordner robots im Ordner public erstellen) Als Beispiel:
 

~/public/robots/domain.tld.txt
~/public/robots/subshop.domain.tld.txt
~/öffentlich/robots/domain2.tld.txt
...

Die .txt-Datei muss wie der Hostname/die Domäne benannt werden. Wenn Du z.B. https://shopware.com/ verwendest, erstelle "shopware.com.txt" im robots-Ordner. Beachte, dass die robots.txt im öffentlichen Ordner dann nicht mehr verwendet wird.