什么是robots.txt協(xié)議文件：robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。
當(dāng)一個搜索蜘蛛訪問一個站點(diǎn)時，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來 確定訪問的范圍;如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。
必須放置在一個站點(diǎn)的根目錄下，而且文件名必須全部小寫。
robots.txt文件在SEO中作用：鑒于網(wǎng)絡(luò)安全與隱私的考慮，搜索引擎遵循robots.txt協(xié)議。通過根目錄中創(chuàng)建的純文本文件robots.txt， 網(wǎng)站可以聲明不想被robots訪問的部分。每個網(wǎng)站都可以自主控制網(wǎng)站是否愿意被搜索引擎收錄，或者指定搜索引擎只收錄指定的內(nèi)容。當(dāng)一個搜索引擎的爬蟲訪問一個站點(diǎn)時，它會首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果該文件不存在，那么爬蟲就沿著鏈接抓取，如果存在，爬蟲就會按照該文件中的內(nèi)容來確定訪問的范圍。
User-agent: 定義搜索引擎的類型。
Disallow: 定義禁止搜索引擎收錄的地址。
Allow: 定義允許搜索引擎收錄的地址。
格式如：
User-agent: * 這里的“*”代表的所有的搜索引擎種類，“*”是一個通配符。允許所有的搜索引擎來收錄，包括百度、google、yahoo等 。
Disallow: /web/ 這里定義是禁止爬尋web目錄下面的目錄。
Disallow: /dedecms/ 這里定義是禁止爬尋dedecms目錄下面的目錄 。
Disallow: /ppc/ 這里定義是禁止爬尋ppc目錄下面的目錄 。
Disallow: /SEO 是屏蔽A目錄下的所有文件，包括文件和子目錄，還屏蔽 /SEO*.*的文件。
Disallow: /seo-study/*.htm 禁止訪問/seo-study/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有帶“?”的URL。
Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片。
Disallow:/dedecms-label/arclist.html 禁止爬取dedecms-label文件夾下面的arclist.html文件。
Allow:/linxige/ 這里定義是允許爬尋linxige目錄下面的目錄。
Allow: /seo 這里定義是允許爬尋seo的整個目錄。
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片。
常用的搜索引擎類型有： (User-agent區(qū)分大小寫) 1.google蜘蛛：Googlebot，2.百度蜘蛛：Baiduspider，3.360蜘蛛：360Spider， 4.yahoo蜘蛛：Yahoo!slurp，5.alexa蜘蛛：ia_archiver，6.bing蜘蛛：MSNbot，7.altavista蜘蛛：scooter，8.lycos蜘蛛： lycos_spider_(t-rex) ，Soso蜘蛛:Sosospider， Google Adsense蜘蛛:Mediapartners-Google，有道蜘蛛:YoudaoBot等
1、當(dāng)你的網(wǎng)頁已被收錄，但想用robots.txt刪除掉，一般需要1-2個月。
2、結(jié)合Google網(wǎng)站管理員工具，你可以馬上刪除被Google收錄的網(wǎng)頁。
3、結(jié)合百度的站長平臺，通可以盡快刪除被百度收錄的頁面
1、不要屏蔽首頁的后綴，比如：index.php，index.html 等;
2、不要寫太多帶星號的，盡量簡潔一些，我們看百度和Google的robtos.txt帶星號的寫法幾乎沒有，太多帶星號的，就可能存在誤傷;
3、不用什么都屏蔽，某些頁面即使被收錄了也不影響什么的，就建議可以不用屏蔽。
注：搜索引擎遵守robots的相關(guān)協(xié)議，請注意區(qū)分您不想被抓取或收錄的目錄的大小寫，我們會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配，否則robots協(xié)議無法生效。
以上就是什么是robots.txt協(xié)議文件的內(nèi)容了，更多精彩內(nèi)容請關(guān)注海淘科技。
