您現在的位置: 网站首頁 / seo優化 / 正文

死鏈對網站的影響、産生過程、解決辦法彙總

作者: admin 发布: 2015-6-12 21:37:58 分类: seo優化 閱讀: 次 查看評論

  大量死鏈對搜索引擎來講,有什麽影響?

  1、幾乎很多站都避免不了存在死鏈接,但死鏈率過高,會影響搜索引擎對網站的評分。

  2、搜索引擎對每個網站每天抓取的頻次是限額的,若網站存在大量死鏈,會浪費掉抓取配額並影響正常頁面的抓取。

  3、過多死鏈對網站用戶來講也是體驗不好的表現。

  百度站長工具中有一個抓取異常,那麽這個工具裏面的異常數據是如何産生的呢?

  1、網站內部添加了錯誤的內部鏈接

  編輯失誤或者程序員大意讓頁面産生了不存在頁面的URL。

  2、原來正常頁面因爲程序或頁面調整或改版無法打開

  因爲程序的一個改動,導致了某些正常頁面無法打開。

  3、網站短暫無法訪問

  因爲服務器、空間或程序問題導致網站無法訪問,抓取異常中會出現大量的500錯誤頁面。

  4、外部鏈接錯誤

  用户或者站长在站外发布了错误URL,蜘蛛爬取后产生错误页面;别的网站复制或采集了你们含有错误链接的页面;有些垃圾网站自动生成的静态搜索结果页,如 www。8875。org/desc/3715714444.html 这个页面中出现的很多链接在html前面有“...”。

  5、爬蟲提取了不完整的URL

  個別爬蟲在提取頁面URL的時候,只提取部分URL或者把正常的URL後面的文字或字符也提取進去了。

  6、網站改版或管理員刪除頁面

  網站改版過程中處理不當導致部分老頁面無法訪問,或者網站管理員刪除被黑、廣告、過時、被灌水頁面。

  出現了上述情況,我們該如何去解決

  1、修复错误页面 抓取异常中的很多错误页面是因为程序员大意或者我们程序问题导致的,本应该是正常页面,因为失误导致无法访问,对于此类页面,第一时间进行修复。

  2、提交死鏈接 但必定很多错误页面是本不应该存在的,那么我们要想办法获取此类页面URL,获取方式主要有三种:

  (1) 百度站长工具--抓取异常--找不到的页面--复制数据 [修正:此处死鏈不需我们提交了,百度站长工具自动提交死鏈];

  (2) 管理员在删除页面的时候手动或者程序自动保存被删页面URL;

  (3) 使用相关爬虫软件,爬取整站获取死鏈,如Xenu 。

  然後將上述數據合並並刪除重複項(excel表格中能實現刪重,wps表格更容易操作),然後再複制所有URL通過HTTP狀態批量查詢工具查詢下[這個不錯pl.soshoulu.com/webspeed.aspx],剔除掉非404返回碼頁面。

  然后整理上面处理好的数据粘贴到网站根目录中的一个文档中,再把文档地址提交到 百度站长工具--网页抓取--死鏈提交--添加新数据--填写死鏈文件地址。

  3、在robots中屏蔽抓取

  若大量的错误URL存在一定的规律,可以在robots文件中写一个规则禁止蜘蛛程序抓取此类链接,但前提一定要照顾好正常页面,避免屏蔽规则误伤正常页面,比如你的网站全部是静态URL,那么如果错误链接中含有?的话,规则写成Disallow:/*?*,如果错误链接中有/id...html 的话,规则写成Disallow:/*...* 。

  robots文件添加完规则后,一定要去百度站长的 robots工具 进行校验,将指定的错误页面放进去,看看是否封禁成功,再把正常的页面放进去看看是否被误封。

  相關注意事項:

  1、在百度站長工具中提交死鏈前,一定要確保提交的死鏈數據不存在活鏈接,或者存在HTTP狀態碼非404頁面。一旦存在活鏈,會顯示提交失敗導致無法刪除。

  2、由于很多網站程序問題,很多打不開的頁面返回碼並非404,這是一個大問題,比如明明是打不開的頁面返回碼是301、200、500,如果是200的話,會導致網站中出現不同URL獲取相同內容。比如我的一個站,社區的帖子刪除後,返回碼卻是500,後期發現了,立馬進行了處理。大家盡量找出所有錯誤URL格式,.並設置打開後HTTP狀態碼爲404。

  3、把所有的錯誤頁面找到後,一定要尋找此類頁面URL相同特征,並且和正常頁面的特征有區分,寫對應規則到robots文件中,禁止蜘蛛抓取,就算你已經在站長工具中提交了死鏈,也建議robots封禁抓取。

  4、robots只能解決蜘蛛不再抓取此類頁面,但解決不了已經抓取頁面的快照的刪除問題,若你的網站被黑,刪除了被黑頁面,除了robots封禁被黑頁面外,還應該將這些頁面提交死鏈。提交死鏈是刪除被黑頁面快照的最快辦法。[站長社區-版主ccutu]

  來源:SEO搜尋引擎優化 - SEO自學網 轉載注明出處!

? 上一篇下一篇 ?   本文關鍵詞: 死鏈  

評論列表:

站長SEO學院
第一節:百度搜索引擎工作原理
第二節:建設對搜索引擎友好的站點
第三節:如何進行網站內容建設
第四節:整體優化、結構優化、網頁優化
第五節:移動搜索-明確移動搜索優化標准
百度SEO資料文檔
百度搜索引擎優化指南2.0
百度移動搜索優化指南2.0
網站分析白皮書(站長版)
移動站點該如何優化
建設對百度友好的站點
百度搜索引擎網頁質量白皮書
石榴算法-綠蘿算法-冰桶算法
新搜索時代下的優化策略
更多百度SEO資料文檔
站長推薦
DIV+CSS布局實例教程-Web標准
网站SEO優化常见问题汇总
SEO優化推广方案该如何写
SEO優化方案步骤
影響網站關鍵詞排名因素總結
影響谷歌搜索引擎排名的因素調查
手機移動端站點適配優化
最近發表