<input id="6i00k"><u id="6i00k"></u></input>
<menu id="6i00k"></menu><input id="6i00k"></input>
<menu id="6i00k"><u id="6i00k"></u></menu><menu id="6i00k"><u id="6i00k"></u></menu>
  • <input id="6i00k"></input>
    <menu id="6i00k"><u id="6i00k"></u></menu><input id="6i00k"><u id="6i00k"></u></input>
    <menu id="6i00k"></menu>
  • <input id="6i00k"><acronym id="6i00k"></acronym></input>
  • <menu id="6i00k"><acronym id="6i00k"></acronym></menu>
    <object id="6i00k"></object>

    robots.txt協議怎么寫?User-agent、Alow、Disallow的具體用法?

    作者:武漢網絡公司 來源:全網營銷 2019-06-22 14:49

    之前我一個朋友問我robots文件怎么寫?robots文件是干嘛用的?其實robots文件是為了方便設置蜘蛛抓取或訪問的部分,可以通過User-agent、Alow、Disallow這三種方法來設置,robots文件基本上是所有文章必備的文件,比如http://www.iammax.net/robots.txt本網站也有。那么,robots文件具體是怎么用呢?


    網站優化的過程中,有時我們會有一些重要及私密的內容,并不希望這些頁面被搜索引擎蜘蛛抓取,比如后臺的數據、測試階段的網站,還有一種很常見的情況,搜索引擎抓取了大量沒有意義的頁面,如電子商務網站按照各種條件過濾、篩選的頁面等,那么要確保頁面不被抓取需要使用robots文件。
     

    robots
    robots文件怎么寫?User-agent、Alow、Disallow的具體用法?



    robots.txt是一個純文本文件,我們用來告訴各個搜索引擎網站中不想被蜘蛛抓取或訪問的部分,當蜘蛛訪問一個站點時,它會先檢查該站點是否有robots. txt文件,一般我們放在根目錄下,如果找到,蜘蛛就會根據文件中的內容來確定要抓取的范圍,如果這個文件不存在,那么蜘蛛就會繼續沿著鏈接去抓取,也就是只有要禁止抓取某些內容時,寫robots文件才有意義。

    robots.txt通常我們放在站點的根目錄,我們應該都知道根目錄是什么意思,這里不多做解釋,文件名要全部小寫,如果你想查看網站的robots協議,直接在域名后面加上robots.txt回車即可,下面介紹robots的語法。

    robots文件的常用語法有3種,分別是 User-agent、Alow、Disallow,下面是具體用法。

    (1) User-agent
    指定robots.txt中的規則針對哪個搜索引擎蜘蛛,如果針對所有搜索引擎蜘蛛的寫法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正確寫法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名稱也不相同。

    (2) Allow
    允許蜘蛛抓取某些文件,比如允許蜘蛛訪問網站中的news目錄,正確寫法是:Allow:/news/。
    $:表示匹配URL結尾的字符,比如允許蜘蛛抓取以.html為后綴的URL,寫法是:Allow:html$。

    (3) Disallow
    告訴搜索引擎蜘蛛不要抓取這些文件或目錄,比如禁止蜘蛛抓取/admin/目錄的寫法是:Disallow:/admin/。
    而禁止的目錄或文件也要分開寫,每個單獨一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目錄,正確的寫法如下:
    User-agent:*
    Disallow:/a/
    Disallow:/b/
    Disallow:/c/

    文本總結,相信大家已經知道robots文件怎么寫了吧,如果還是不太清楚可以參考本網站的robots文件。筆者在這告訴大家一個快速生成robots文件的方法,可以通過站長工具來進行生成,再傳上根目錄即可。


    本文地址:恩施seo優化頻道 http://www.iammax.net/enshi/311.html,武漢易企推網絡公司,是一家專業的武漢網絡推廣,網絡營銷,品牌營銷策劃,品牌推廣公司,提供一站式全網營銷推廣服務:小程序開發,網站建設,SEO百度排名,SEM競價托管,品牌營銷推廣、360搜狗百度競價開戶、百度地圖標注、百科詞條創建修改、新媒體引流加粉、公司負面公關處理等;另外,轉載本文請保留本文地址,謝謝!


    相關文章相關文章
    湖北網絡營銷導航
    黃石網絡推廣十堰seo優化恩施seo優化隨州網絡推廣荊州seo優化荊門網絡推廣黃岡seo優化咸寧網絡推廣襄陽seo優化孝感seo優化潛江網絡推廣鄂州網絡推廣天門網絡推廣宜昌seo優化 武漢SEO優化 武漢SEO培訓 百度推廣開戶 今日頭條開戶 危機公關處理 武漢網絡營銷 小程序開發
    本地企業
              可提供上門服務

    便捷

    本地企業可提供上門服務

    提供適合、專業可行方案

    周到

    提供適合、專業可行方案

    5-10分鐘售后響應機制<

    貼心

    5-10分鐘售后響應機制

    按效果收費,無效果不收費

    放心

    按效果收費,無效果不收費

    行業高標準,效果穩定可靠

    穩定

    行業高標準,效果穩定可靠

    1-3個月排名上百度首頁

    快速

    1-3個月排名上百度首頁

    武漢易企推網絡公司;公司地址:武漢市武昌區靜安路6號5.5創意產業園4樓;公司官網:http://www.iammax.net XML地圖

    服務熱線:18120550335 / 027-88866235 歡迎來電咨詢; 聯系QQ:1193073039

    Copyrigh?2017-2030 版權所有:武漢易企推網絡科技有限公司 備案號:鄂ICP備17012199號 網站地圖

    久久视频这里只精品_大香蕉伊人久草AV_久久播_久久热在线视频