您現在的位置: 网站首頁 / SEO教程 / 正文

robots.txt是什麽?

作者: admin 发布: 2013-8-31 17:23:43 分类: SEO教程 閱讀: 次 查看評論

robots.txt是什麽?
  有沒有想過,如果我們某個站點不讓百度和google收錄,那怎麽辦?
  搜索引擎已經和我們達成一個約定,如果我們按約定那樣做了,它們就不要收錄。
  這個寫約定的的文件命名爲:robots.txt。
  robots.txt是一個最簡單的.txt文件,用以告訴搜索引擎哪些網頁可以收錄,哪些不允許收錄。
  關于robots.txt一般站長需要注意以下幾點:
  如果你的站點對所有搜索引擎公開,則不用做這個文件或者robots.txt爲空就行。
  必須命名爲:robots.txt,都是小寫,robot後面加"s"。
  robots.txt必须放置在一个站点的根目录下。如:通过http://www.seowhy.com/robots.txt 可以成功访问到,则说明本站的放置正确。
  一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。
  觀察這個頁面並修改爲自己的:http://www.seowhy.com/robots.txt
  有幾個禁止,就得有幾個Disallow函數,並分行描述。
  至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: /  (注:只是差一个斜杆)。
  補充說明:
  User-agent: *  星号说明允许所有搜索引擎收录
  Disallow: /search.html   说明 http://www.seowhy.com/search.html 这个页面禁止搜索引擎抓取。
  Disallow: /index.php?   说明类似这样的页面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止搜索引擎抓取。
轉自搜外

  來源:SEO搜尋引擎優化 - SEO自學網 轉載注明出處!

? 上一篇下一篇 ?   本文關鍵詞: seo  站長工具  google  robots  百度蜘蛛  

評論列表:

站長SEO學院
第一節:百度搜索引擎工作原理
第二節:建設對搜索引擎友好的站點
第三節:如何進行網站內容建設
第四節:整體優化、結構優化、網頁優化
第五節:移動搜索-明確移動搜索優化標准
百度SEO資料文檔
百度搜索引擎優化指南2.0
百度移動搜索優化指南2.0
網站分析白皮書(站長版)
移動站點該如何優化
建設對百度友好的站點
百度搜索引擎網頁質量白皮書
石榴算法-綠蘿算法-冰桶算法
新搜索時代下的優化策略
更多百度SEO資料文檔
站長推薦
DIV+CSS布局實例教程-Web標准
网站SEO優化常见问题汇总
SEO優化推广方案该如何写
SEO優化方案步骤
影響網站關鍵詞排名因素總結
影響谷歌搜索引擎排名的因素調查
手機移動端站點適配優化
最近發表