dev/null robots

Wenn man mit statischen robots.txt Dateien arbeitet, kann man ohne weiters die allgemeine Anleitung für robots.txt in Multidomain heranziehen. Wesentlich komfortabler kann man es aber auch direkt über das Typo3 Backend haben.

Voraussetzungen/Installation

Die Extensions können direkt über den Extensionmanager aus dem TER installiert werden. Cooluri oder Realurl sind nach der Installation entsprechend zu konfigurieren.

Konfiguration spezifischer Robots

Die Konfiguration spezifischer Robots is nicht zwingend erforderlich, aber möglich. Um spezifische Robots konfigurieren zu können fürgt man am besten in einem System Folder pro Robot einen Eintrag vom Typ "Crawler config" ein.

Dieser Eintrag bietet zwei Eingabefelder:

Crawler config
Titel Beschreibung
User-agent Bezeichnung des Crawlers, wie er sich gegen den Webserver meldet.
Crawler config Allow und Disallow Anweisungen für den Crawler

Konfiguration der Domain

Die Konfiguration der Domain beinhaltet die Aufnahme allfälliger spezifischer Robots, sowie eventuell eine vom Typoscript Template Basiskonfiguration.

Domain config
Titel Beschreibung
Crawler config list Verweis auf allfällige Konfigurationen einzelner Robots
Default crawler Directives

Allow und Disallow Anweisungen für
User-agent: *

Ist dieses Feld ausgefüllt, so wird die Konfiguration im Typoscript Template ignoriert.

Konfiguration URL-Rewriting

Um das generierte robots.txt auch wirklich mit www.yourdomain.tld/robots.txt aufrufbar zu machen, ist ein Umschreiben (URL-Rewriting) erforderlich.

Cooluri

Bei Cooluri ist pro Domain ein Link zu konfigurieren. Dies geschieht im Backend in den Admin Tools von Cooluri.

Die verdefinierte typenum von dev/null robots ist 1964. Diese kann über das Typoscript Template auch pro Domain geändert werden. Änderungen des Default Wertes sind entsprechend. zu berücksichtigen. Der Parameter id entspricht jeweils der Startseite der Domain.

Realurl

Keine Beispielkonfiguration verfügbar.

.htaccess

Nicht empfohlen.

Robots Meta Tag

Zusätzlich oder auch alternativ kann ein Robots Meta Tag für die Seiten definiert werden. Das Verhalten hierzu kann über den "Constants Editor" vordefiniert werden.

Innerhalb der Seite kann die Einschränkung für die Suchmaschinen Crawler festgelegt werden, welche sodann als Meta Tag ausgegeben wird.

Die Einschränkungen aus der Seite und dem Typo Script Setup werden verknüpft. Dies bedeutet, daß eine Einschränkung aus dem Setup Template für alle Seiten gilt. Eine Einschränkung, welche über eine Seite festgelegt wird, wird nicht weitervererbt.

Beispiel

<meta name="robots" content="index,follow" />

Wichtig

Derzeit erfolgt keine Abgleich bzw keine Überprüfung zwischen den einzelnen Crawler Konfigurationen und den Meta Tags.

Typoscript Template

Im Extensiontemplate der Domain kann ebenfalls eine einfache Konfiguration zur Verfügung.Im Constant Editor stehen zwei Optionen zur Verfügung.

Mit der ersten Option kann eine Default-Konfiguration ausgewählt werden. Diese Option hat keinen Effekt, wenn im Domain-Record eine Default-Konfiguration angegeben wurde.

 

Die zweite Option dient zum Ändern der TypeNum zu robots.txt. Dies ist nur erforderlich, wenn bei der vorgegebenen TypeNum ein Konflikt mit einer anderen Extension auftritt.

Kommentare

19-04-17 14:37, RonnieBagmA
costco generic drug list <a href=http://metilfenidato.logdown.com/>comprar metilfenidato</a> famous black doctors in history
10-04-17 21:51, StewartKix
wh0cd407484 <a href=http://buypropecia2017.com/>propecia online</a>
04-04-17 17:41, Elbertcit
pharmacy technician registration texas <a href=http://rivotril.page4.me/>rivotril rezeptfrei kaufen</a> kent state college of podiatric medicine
15-02-17 01:28, AugustSpott
what to expect from a pain management doctor <a href=http://rivotril.bloggo.nu/>hvor kjope rivotril</a> what constitutes quality in healthcare organizations for employees
28-09-16 04:08, Smithd928
I just couldn't go away your web site before suggesting that I really enjoyed the usual information an individual provide on your visitors? Is gonna be again continuously in order to check up on new posts dfgacdeeckfedcdc

Kommentar hinzufügen

*) - Pflichtfeld


Wenn du das Wort nicht lesen kannst, hier klicken.CAPTCHA-Bild zum Spam-Schutz