lif24.de 
Titel:
informationen über sat technik günstig kaufen bdb
Beschreibung:
informationen über sat technik bdb
Schtichwörter:
informationen über sat technik, günstig kaufen, bdb
Links:
Header:
HTTP/1.1 200 OK
Date: Fri, 09 Apr 2010 08:02:24 GMT
Server: Apache
Last-Modified: Sun, 24 May 2009 15:22:55 GMT
ETag: "d06b4a24-2abf-4a19664f"
Accept-Ranges: bytes
Content-Length: 10943
Content-Type: text/html
Link-Anker:
IP-Adresse:
82.165.90.208
robots.txt:
# Beispiel einer robots.txt
# Datei ROBOTS.TXT wird von Spidern oder Robots auf dem Account gesucht wenn Sie Ihre Webseiten bei einem MetaCrawler/Spider eingetragen haben, so wird die robots.txt automatisch von diesem Suchmaschinen-Robot beim Besuch Ihrer Webseiten durchsucht! Ist sie nicht zu finden dann werden ggf. all Ihre Verzeichnisse ausgelesen und indiziert und gelistet.
# Spider oder Robots durchsuchen das Internet bzw. angemeldete Accounts in regelmässigen Abständen, um zu prüfen ob die Accounts noch existieren oder sich etwas geändert hat bei Ihrem Webangebot, um u.a. die Aktualität der Suchmaschinen-Datenbanken aufrecht zu erhalten.
# Eine Einladung zum Besuch des Robots erfolgt meist durch Meta-Tag-Angaben im Header Ihrer Webseite, wie:
# <meta name="robots" content="index">
# <meta name="robots" content="follow">
# <meta name="robots" content="all">
# <meta name="revisit-after" CONTENT="30 days">
# Zeilen in dieser robots.txt die mit einer "#" versehen sind, werden vom Robot nicht abgearbeitet bzw. ignoriert!
# Hier können Sie mit dem "Disallow:" weitere Verzeichnisse direkt schützen
# die nicht vom Suchmaschinen-Robots gelistet werden sollen oder indiziert als Eintrag in # der Suchmaschine
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /logs/
# z.b. Disallow: /mein-nicht-angezeigtes-verzeichnis/
# Hier könnten noch folgende Einschränkungen gemacht werden!
# User-agent: Scooter
# Disallow: /
Tags:
sat technik bdb informationen www sat günstig kaufen technik heimkino günstig fta cas kaon kaufen content
Geo-Daten:
Country: GERMANY (DE)
City: Karlsruhe
49.05
8.4
IP: 82.165.90.208
Größe:
10943 Bytes
Datum:
2010-04-09 08:02:15
