Az adatbázis kapcsolódás sikertelen! robots.txt

robots.txt

www.pattantyus-gyor.sulinet.hu

User-agent: Disallow /tart/intranet/admin/
http://www.pattantyus-gyor.sulinet.hu/robots.txt

meetyourmessenger.hu

User-agent: Googlebot . Disallow
http://meetyourmessenger.hu/robots.txt

robots.txt — KeresĹ‘robotok viselkedését befolyásoló fájl

A webhely gyökérkönyvtárában elhelyezett robots.txt nevű, egyszerű szöveges f225jl seg237ts233g233vel meghatározhatjuk, hogy a különbözĹ‘ [User agent]tel bejelentkezĹ‘
http://webni.innen.hu/RobotsTxt

www.elektrorecord.hu

User-agent: * Disallow: Crawl-delay: 60. Disallow: /cgi-bin/ Disallow wap Sitemap: http://www.elektrorecord.hu/robots.txt. Allow: /temp/ Allow: /images/
http://www.elektrorecord.hu/robots.txt

Robots.txt file Generator - BĹ‘vebben

Megnevezés: Robots.txt file Generator Rövid ismertetés: robots.txt file gener225tor
http://www.megaport.hu/portal/review.php?sid=19757

Index of /acta

Parent Directory - favicon.ico: 10-Aug-2010 1306 : 894 : robots.txt: 26-Jul-2010 15:42 : 276
http://www.math.u-szeged.hu/acta/

Special Edition, Using Perl for Web Programming, Ch. 10

This policy allows for a file called ROBOTS.TXT, which is placed at the local URL /robots.txt. The file lists a user agent (which is a particular robot) and then lists the agent's ...
http://www.kac.poliod.hu/~mystro/info/perlweb/ch10.htm


Impresszum Médiaajánlat
©2010 - bookmarklet.hu