Multidomain und robots.txt

Bei einer Multidomain Installation von Typo3 kommt man unter Umständen in die Problematik, dass man pro Domain eine eigene robots.txt zur Steuerung von Crawlern möchte. Dies funktioniert allerdings nicht, wenn man mit einer einzigen Codebasis arbeitet, da hierbei alle Domains auf das selbe Verzeichnis am Webserver zeigen.

Abhilfe schaft gegebenfalls der Einsatz einer Extension, die eine robots.txt dynamisch generieren kann. Eine solche Extension, die auch Multidomain-fähig ist findet sich ebenfalls auf dieser Website.

Wenn man mit einer statischen Datei pro Domain auskommt und Zugriff auf die .htaccess hat, geht es auch anders.

Vorbereitung

Als erstes wird pro Domain eine eigene robots.txt angelegt.

In meinem Fall habe ich zwei Dateien angelegt:

robots.default.txt

  1. User-agent: *
  2.  
  3. # Allow: /
  4.  
  5. Disallow: /fileadmin
  6. Disallow: /t3lib
  7. Disallow: /typo3
  8. Disallow: /typo3conf
  9. Disallow: /typo3temp
  10. Disallow: /uploads
  11.  
  12. Allow: /fileadmin/media

robots.denyall.txt

  1. User-agent: *
  2.  
  3. Disallow: /

Weitere Anpassung

Im Moment hat der Webserver natürlich noch keine Informationen darüber, wann er welche dieser Dateien verwenden soll.

Dies erreiche ich über URL-Rewriting in der .htaccess. Dazu sind folgende zusätzliche Einträge vor der letzten RewriteRule auf index.php erforderlich:

.htaccess

  1. <IfModule mod_rewrite.c>
  2.  
  3. # Enable URL rewriting
  4. RewriteEngine On
  5.  
  6. # .....
  7. # .....
  8.  
  9. # Rule for dedicated domain to deny robots
  10. # has to repeated for each domain
  11. RewriteCond %{HTTP_HOST} www.yourdomain.tld
  12. RewriteRule ^(robots)(\.txt)$ robots.denyall.txt [L,NC]
  13.  
  14. # Rule for all other domains to default robots.txt
  15. RewriteRule ^(robots\.txt)$ robots.default.txt [L,NC]
  16.  
  17. # Rule to handle rewritten robots.txt files
  18. # prevent execution of rewrite to index.php
  19. RewriteRule ^(robots\.)(\w*)(\.txt)$ - [L,NC]
  20.  
  21. RewriteRule .* index.php [L]
  22.  
  23. </IfModule>

Mehr ist nicht notwendig

Dies sind alle Arbeiten, die für das Umschalten von robots.txt erforderlich sind.

Kommentare

04-07-17 05:03, karl
buy cheap Filemaker 15,buy cheap QuarkXPress 2017,buy Nuance Dragon 15,buy Minitab 17,
http://www.ddgoshop.com/

buy cheap office 2016 pro
26-03-17 15:10, Kennarreddy
Cialis 5mg From India <a href=http://kamagra.ccrpdc.com/buy-kamagra-online-100mg.php>Buy Kamagra Online 100mg</a> isotretinoin claravis Carmarthenshire Buy Amoxicillin Uk No Prescription <a href=http://strattera.rxbill7.com/best-place-buy-strattera-atomoxetine.php>Best Place Buy Strattera Atomoxetine</a> Cephalexin Is Propecia Without Prescription Order <a href=http://amoxil.mdsmeds.com/amoxicillin-price.php>Amoxicillin Price</a> Generic Fluoxetine Flutine Purchase Kamagra Oral Jelly 100mg Reviews 225 <a href=http://xenical.ccrpdc.com/xenical-cost.php>Xenical Cost</a> Xenical En Vente Libre Buy Gsk Propecia <a href=http://kamagra.ccrpdc.com/price-generic-kamagra.php>Price Generic Kamagra</a> Buy Herbal Viagra
17-02-17 17:27, Kennarreddy
Cialis Dove Comprare Online <a href=http://levitra.mdsmeds.com/levitra-tab-20mg.php>Levitra Tab 20mg</a> Buy Kamagra Europe Cheap Plavix <a href=http://zgdkdz.com>Buy Viagra</a> Receta Cialis Pak For Bladder Infection <a href=http://clomid.mdsmeds.com/how-to-buy-clomid.php>How To Buy Clomid</a> Baclofene Achat En Ligne
17-01-17 21:27, Robertjeola
The best fitness tip for building up your arms is to work opposite muscles in opposite sets of each other. The best example would be to work the triceps and then the biceps. Each has the opportunity to rest while the other is being worked. This minimizes your time and maximizes your workout.

<a href=https://www.acheterviagrafr24.com/>https://www.acheterviagrafr24.com/</a>

Kommentar hinzufügen

*) - Pflichtfeld


Wenn du das Wort nicht lesen kannst, hier klicken.CAPTCHA-Bild zum Spam-Schutz