国语对白无码视频最新|久久久久人妻一区视色|国产精品制服丝袜美腿控|A v无码久久久久不卡|激情久久AV一区二区AV|制服丝袜亚洲欧美一区二区|99人妻碰碰碰久久久久禁片|亚洲国产成人无码av在线播放

購物車(chē)中還沒(méi)有商品,趕緊選購吧!

推薦閱讀

運營(yíng)專(zhuān)員 運營(yíng)專(zhuān)員

robots.txt寫(xiě)法大全及語(yǔ)法的靈活運用

時(shí)間:2016-04-07 | 分類(lèi):功能說(shuō)明
瀏覽:12891

robots在英語(yǔ)之中的意思是機器人,Robots協(xié)議(也稱(chēng)為爬蟲(chóng)協(xié)議、機器人協(xié)議等)全稱(chēng)是網(wǎng)絡(luò )爬蟲(chóng)排除標準Robots Exclusion Protocol),網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取。Robots協(xié)議的本質(zhì)是網(wǎng)站和搜索引擎爬蟲(chóng)的溝通方式,用來(lái)指導搜索引擎更好地抓取網(wǎng)站內容,而不是作為搜索引擎之間互相限制和不正當競爭的工具。

當搜索引擎在訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí),首先檢索的將是該站點(diǎn)根目錄下面的robots.txt文件(如果沒(méi)有我們可以建立一個(gè)空白的文本文檔,命名為robots.txt放在網(wǎng)站的根目錄下即可?。?,如果此文件存在,那么搜索引擎將率先訪(fǎng)問(wèn)并識別此文件的規則,它會(huì )按照此文件里面的規則進(jìn)行爬??!下面詳細敘述一下相關(guān)語(yǔ)法:

1、允許所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的所有部分:

User-agent*

Disallow

2、禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站的所有部分:

User-agent*

Disallow/

3、如果不需要某一個(gè)搜索引擎抓取的話(huà),比如百度,禁止百度索引我們的網(wǎng)站

User-agentBaiduspider

Disallow/

注:如果我們需要禁止Google索引我們的網(wǎng)站,就把User-agent:蜘蛛名字改成 谷歌的Googlebot即可!

4、如果我們禁止除Google外的一切搜索引擎索引我們的網(wǎng)站

User-agentGooglebot

Disallow

User-agent*

Disallow/

5、如果我們需要禁止蜘蛛訪(fǎng)問(wèn)某一個(gè)目錄,比如禁止login、newtravel等目錄被索引

User-agent*

Disallow/login/

Disallow/newtravel/

6、如果我們允許蜘蛛訪(fǎng)問(wèn)網(wǎng)站某個(gè)目錄中的某些特定網(wǎng)址

User-agent*

Allow/login/my

Allow/newtravel/html

Disallow/login/

Disallow/newtravel/

7、很多網(wǎng)站的robots.txt里的Disallow或者Allow里面會(huì )有很多的符號,比如星號、問(wèn) 號什么的,如果使用“*”號,主要是限制訪(fǎng)問(wèn)某個(gè)后綴的域名,比如禁止訪(fǎng)問(wèn)/html/ 目錄下的所有以“.htm”為后綴的URL(包含子目錄)

User-agent*

Disallow/html/*.htm

8、使用“$”符號是僅允許訪(fǎng)問(wèn)某目錄下某個(gè)后綴的文件

User-agent*

Allow.asp$

Disallow/

9、如果是禁止搜索引擎索引網(wǎng)站中所用動(dòng)態(tài)的頁(yè)面(這里演示的是以“?”號為域名, 例如:index.asp?id=1

User-agent:*

Disallow/*?*

10、為了節省服務(wù)器資源,需要禁止各類(lèi)蜘蛛來(lái)索引網(wǎng)站的圖片,除了使用常見(jiàn)的 Disallow:/images/”這樣直接屏蔽圖片文件夾的方式以外,還可以采取直接屏蔽圖片 后綴名的方式。如果我們禁止百度搜索引擎索引我們網(wǎng)站的圖片:

User-agentBaiduspider

Disallow.jpg$

Disallow.jpeg$

Disallow.gif$

Disallow.png$

11、僅允許百度抓取網(wǎng)站上的“JPG”格式的文件

User-agent:baiduspider

Allow.jpg$

Disallow:jpeg$

Disallow:gif$

Disallow:png$

12、僅僅禁止百度抓取網(wǎng)站上的“JPG”格式的文件

User-agentBaiduspider

Disallow.jpg$

更多詳細幫助,參考閱讀


robots 360百科

說(shuō)明

贊   1

有一點(diǎn)幫助   0

沒(méi)有幫助  

參與評論

他們說(shuō)...

積分獲取更多
思途CMS系統更新動(dòng)態(tài)
  • 2024-09-18
    1、【功能優(yōu)化】圖庫上傳圖片順序修改
    2、【BUG修復】PC端注冊邏輯錯誤
    3、【功能優(yōu)化】后臺首頁(yè)右上角app鏈接更新
查看更多

掃一掃官方微信號

加入微信
在線(xiàn)客服
微信咨詢(xún)
微信咨詢(xún)
現在咨詢(xún),獲取演示賬號
企業(yè)logo小米
立即掃碼加我微信
電話(huà)咨詢(xún)
咨詢(xún)電話(huà)
028-61558715
預約演示
塔城市| 安龙县| 资溪县| 古交市| 象山县| 镇远县| 阜宁县| 根河市| 射洪县| 胶南市| 平远县| 葵青区| 保康县| 晴隆县| 温州市| 龙岩市| 瓮安县| 福泉市| 盐亭县| 双牌县| 西峡县| 即墨市| 黎城县| 华坪县| 宁国市| 台北市| 嘉鱼县| 武乡县| 麻栗坡县| 颍上县| 若羌县| 和硕县| 临沭县| 曲松县| 德惠市| 神木县| 焦作市| 大英县| 吴忠市| 政和县| 安庆市|