Salam. Webmaster tools-dan istifadə edərək serverimdəki bəzi qovluqlara/fayllara google botlarının scan etməsindən əngəllədim. İndi 2 sualım var
1.robots.txt fayllı üçün hansı chmod tənmizlənməlidir?
2.robots.txt – ya bir başa keçidi necə əngəlləyim?şifrə və ya forbidden etmək lazımdır
Verilmiş cavablar və yazılan şərhlər (4 cavab var)
1
Disallow: /senindirectory/
Deyerek istediyin directory’e botların girmesini engelleyebilersen.
Joomladaki default robots.txt beledir meselen
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
0
CHMOD 666 ver,vəssalam =\
0
WordPressdə isə belədir:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: sizinsayt.az
Sitemap: http://sizinsayt.az/sitemap.xml.gz
Sitemap: http://sizinsayt.az/sitemap.xml
Əgər wordpress blog üçün sitemap(saytın xəritəsi) yaratmamısınızsa, onda son 2 sətri silin.
0
brouserdən yığanda robots.txt görsənir, chmodu dəyişsəm robotlar bunu görəcəkmi?
Sual verin
Cavab verin