您現在的位置: 网站首頁 / SEO教程 / 正文

網站頻繁出現304狀態碼及抓取蜘蛛次數較少的原因分析

作者: admin 发布: 2013-10-12 21:56:12 分类: SEO教程 閱讀: 次 查看評論

在我們的論壇上經常會碰到站長們抱怨蜘蛛抓取返回碼老是304狀態,且抓取的次數越來越少的問題。搜索引擎爲了自身的用戶體驗,會想盡辦法來提高檢索調用率、准確性、新鮮度,這將導致引擎不得不把主要的精力放在擁有優質內容源的網站上。惟其如此,搜索結果的質量才能更加符合搜索者的體驗。
  由此我們聯想到:搜索引擎爬蟲會更加青睐內容源更新頻繁的網站。通過特定時間內對網站抓取返回的狀態碼來調節對該網站的抓取頻繁。若網站在一定時間內一直處于[304:沒有變化]的狀態,那麽引擎爬蟲可能會降低對網站的抓取次數。相反,若網站變化的頻率非常之快,每次抓取都能獲取新版本,那麽日積月累,爬蟲的回訪率也會提高。
  無論是抓取少還是304,這都是一種現象,並不是問題的原因,假設網站返回的都是200,就能達到提升排名帶來流量的目的麽?相比之下更應該思考産生304的原因是什麽?改304對網站目標能夠有什麽樣的效果?不能忽視整體的目標而強調過程的細節,爲了200而去解決304。
  304狀態是如何産生?
  服務器爲了提高網站訪問速度,對之前訪問的部分頁面制定緩存機制,當客戶端在此對這些頁面進行請求,服務器會根據緩存內容判斷頁面與之前是否相同,若相同便直接返回304,此時客戶端調用緩存內容,不必進行二次下載,可以說304從某種角度起到了減少服務器帶寬並提高蜘蛛爬行效率的作用。
  304狀態産生原因?
  1、頁面更新周期長或不更新
  2、純靜態頁面或強制生成靜態html
  304狀態處理思路?
  1、先對産生304頁面進行細分,到底是哪類頁面返回了304?這些頁面是否應該返回304?
  2、這些頁面生成的方式是怎樣的?是否有更新機制?更新機制是否符合蜘蛛對網站的抓取頻率?
  3、頁面更新區域的位置是否合理?是否位于該頁面主要內容的承載區域?
  我们论坛的 @李明亮 同学也对此情况做了分析:
  304狀態碼出現過多會造成以下問題:
  1、網站快照停止
  2、收錄減少
  3、權重下降
  那麽如何減少304返回碼呢?
  据我所知,首先内容更新方面要迎合百度蜘蛛,分析日志,把蜘蛛到访的时间记录下来,可以大致得出蜘蛛到访的频率,然后以此为依据,更新文章:一定是原创+转载,不能纯采集。转载也需要最新最好的优质资源。让蜘蛛这个点过来能有吃的。从而返回更多 200 正常码。
  其次呢,最好增加個互動版塊,現在大網站基本已經都做了這方面,比如評論、留言等,大網站更新起來變化可能會很小,但是有了這些互動,用戶會在上面發些內容,網站會有很多新的東西。如seowhy,就會把最新回複以及問題放在重要位置。
  結尾
  本期我们着重讨论了关于频繁返回 304 状态以及抓取次数较少的问题,目的是为了让网站充分的被抓取。除了以上达人分析的原因外,小编觉得引擎蜘蛛同样也会参考网站综合权重,对于权重高的网站抓取频率会很频繁,比如 Google 可能会参考 PR 值来决定网站的抓取频率。

  來源:SEO搜尋引擎優化 - SEO自學網 轉載注明出處!

? 上一篇下一篇 ?   本文關鍵詞: 網站建設  

評論列表:

站長SEO學院
第一節:百度搜索引擎工作原理
第二節:建設對搜索引擎友好的站點
第三節:如何進行網站內容建設
第四節:整體優化、結構優化、網頁優化
第五節:移動搜索-明確移動搜索優化標准
百度SEO資料文檔
百度搜索引擎優化指南2.0
百度移動搜索優化指南2.0
網站分析白皮書(站長版)
移動站點該如何優化
建設對百度友好的站點
百度搜索引擎網頁質量白皮書
石榴算法-綠蘿算法-冰桶算法
新搜索時代下的優化策略
更多百度SEO資料文檔
站長推薦
DIV+CSS布局實例教程-Web標准
网站SEO優化常见问题汇总
SEO優化推广方案该如何写
SEO優化方案步骤
影響網站關鍵詞排名因素總結
影響谷歌搜索引擎排名的因素調查
手機移動端站點適配優化
最近發表