# 1) Spezifische Crawler zuerst blocken User-agent: Amazonbot Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Bytespider Disallow: / User-agent: CCBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: GPTBot Disallow: / User-agent: meta-externalagent Disallow: / # 2) Generelle Regeln fuer alle anderen Crawler User-agent: * # Erlaube grundsaetzlich alles Allow: / # blockiere nur URL-Parameter "bid" (funktioniert bei Google & Bing) # und das Backend-Verzeichnis typo3 Disallow: /*?bid=* Disallow: /*&bid=* Disallow: /typo3/ # 3) Sitemap-Links (immer mit Leerzeichen nach dem Doppelpunkt) Sitemap: https://www.lengalia.com/de/spanisch-online-lernen/sitemap.xml Sitemap: https://www.lengalia.com/es/aprender-online-espanol/sitemap.xml Sitemap: https://www.lengalia.com/en/learn-online-spanish/sitemap.xml Sitemap: https://www.lengalia.com/fr/apprendre-en-ligne-espagnol/sitemap.xml Sitemap: https://www.lengalia.com/it/imparare-online-spagnolo/sitemap.xml Sitemap: https://www.lengalia.com/pt/aprender-online-espanhol/sitemap.xml Sitemap: https://www.lengalia.com/ru/izuchat-onlain-ispanskii/sitemap.xml Sitemap: https://www.vitalingua.de/spanisch-lernen-hamburg/sitemap.xml