Robots.txt barədə

Salam. Webmaster tools-dan istifadə edərək serverimdəki bəzi qovluqlara/fayllara google botlarının scan etməsindən əngəllədim. İndi 2 sualım var 1.robots.txt fayllı üçün hansı chmod tənmizlənməlidir? 2.robots.txt - ya bir başa keçidi necə əngəlləyim?şifrə və ya forbidden etmək lazımdır

Verilmiş cavablar və yazılan şərhlər (4 cavab var)

Dekameron (2012-06-21 22:22:49)
brouserdən yığanda robots.txt görsənir, chmodu dəyişsəm robotlar bunu görəcəkmi?

thebayramli (2012-01-09 00:17:17)
Wordpressdə isə belədir: User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Host: sizinsayt.az Sitemap: http://sizinsayt.az/sitemap.xml.gz Sitemap: http://sizinsayt.az/sitemap.xml Əgər wordpress blog üçün sitemap(saytın xəritəsi) yaratmamısınızsa, onda son 2 sətri silin.

Tural92 (2012-01-08 22:30:11)
CHMOD 666 ver,vəssalam =\

Ferid Mövsümov (2012-01-08 21:42:51)
Disallow: /senindirectory/ Deyerek istediyin directory'e botların girmesini engelleyebilersen. Joomladaki default robots.txt beledir meselen User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /components/ Disallow: /images/ Disallow: /includes/ Disallow: /installation/ Disallow: /language/ Disallow: /libraries/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /xmlrpc/

Sual və cavabları tam formada göstər

Mövzu üzrə bənzər suallara da baxa bilərsiniz.

google-da axtarışda çıxmaq

Sayt daxilində Google axtarış