您現在的位置: 网站首頁 / SEO教程 / 正文

robots.txt文件的重要作用意義

作者: admin 发布: 2013-8-31 17:26:22 分类: SEO教程 閱讀: 次 查看評論

什麽是robots.txt文件?
  搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,並抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。
  如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置爲空。
  從SEO的角度,robots.txt文件是一定要設置的,原因:
  網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
  網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
  一些沒有關鍵詞的頁面,比如本站的這個頁面http://www.seowhy.com/search.html,屏蔽掉更好。
  一般情況下,站內的搜索結果頁面屏蔽掉更好。
轉自搜外

  來源:SEO搜尋引擎優化 - SEO自學網 轉載注明出處!

? 上一篇下一篇 ?   本文關鍵詞: robots  

評論列表:

站長SEO學院
第一節:百度搜索引擎工作原理
第二節:建設對搜索引擎友好的站點
第三節:如何進行網站內容建設
第四節:整體優化、結構優化、網頁優化
第五節:移動搜索-明確移動搜索優化標准
百度SEO資料文檔
百度搜索引擎優化指南2.0
百度移動搜索優化指南2.0
網站分析白皮書(站長版)
移動站點該如何優化
建設對百度友好的站點
百度搜索引擎網頁質量白皮書
石榴算法-綠蘿算法-冰桶算法
新搜索時代下的優化策略
更多百度SEO資料文檔
站長推薦
DIV+CSS布局實例教程-Web標准
网站SEO優化常见问题汇总
SEO優化推广方案该如何写
SEO優化方案步骤
影響網站關鍵詞排名因素總結
影響谷歌搜索引擎排名的因素調查
手機移動端站點適配優化
最近發表