百度蜘蛛抓取頻次優化的完整指南
抓取頻次更像是一個SEO概念，在大多數情況下站長并不關心百度蜘蛛的抓取頻次，因為抓取頻次對于中小企業網站來說幾乎沒有任何影響。
雖然大多數網站管理員不用為抓取頻次而擔心，但是，如果運行的是大型網站，則抓取頻次是我們可以（而且應該）優化的SEO因素。
當然，隨著SEO的發展，抓取頻次和排名之間的關系并不簡單，爬行本身并不是排名因素，但從某種角度來說，抓取頻次對搜索引擎優化有著間接影響因素（這也是蜘蛛池流行的原因）。
在本指南中，我將講解相關的抓取概念，搜索引擎如何將抓取頻次分配給網站的機制，以及如何充分利用抓取頻次來最大限度地提高網站排名和有機流量的技巧。
內容
網絡蜘蛛的好與壞
網絡蜘蛛，爬蟲或機器人是持續“訪問”并抓取網頁以收集某些信息的計算機程序。
根據抓取的目的，可以區分以下類型的蜘蛛：
搜索引擎蜘蛛；
Web服務的蜘蛛；
黑客蜘蛛；
搜索引擎蜘蛛由百度，Google或360等搜索引擎管理，這種蜘蛛可以對互聯網上所有的頁面進行爬行（前提是可發現），并將它們提供給搜索引擎的索引庫。
諸如SEO工具，購物，旅行和優惠券網站等許多網絡服務都有自己的網絡索引和蜘蛛，例如，WebMeUp有一個名為Blexbot的蜘蛛，Blexbot每天可以抓取上百億個頁面來收集反向鏈接數據，并將該數據提供給其鏈接索引（在SEO SpyGlass中使用的鏈接索引）。
黑客也喜歡培育蜘蛛，他們使用蜘蛛來測試各種網站的漏洞，一旦發現漏洞，他們可能會嘗試訪問您的網站或服務器。
你可能會聽到人們談論好蜘蛛與壞蜘蛛，我通過這種方式來區分它們：任何旨在以非法目的收集信息的蜘蛛都是不好的，其余的都很好。
大多數蜘蛛通過用戶代理字符串的幫助來標識自己，并提供可以更多地了解蜘蛛的URL：
在本文中，我將重點討論搜索引擎蜘蛛以及他們如何抓取網站。
了解抓取頻次
抓取頻次是搜索引擎蜘蛛在特定時間段內擊中網站的次數，例如，百度通常每月會在我的網站上點擊1000次，我可以說1K就是百度的每月抓取頻次，請注意，這些爬蟲的數量和頻率沒有普遍限制;。
為什么抓取頻次很重要？
從邏輯上講，您應該關注抓取頻次，因為您希望百度盡可能多地發現網站的重要網頁，您還希望它能夠快速在您的網站上找到新內容，抓取頻次越大，這種情況會越快發生。
確定爬網頻次
您可以在百度網站管理員工具中了解您網站的抓取頻次，比方說，您需要確定您的百度抓取頻次，登錄到您的百度站長帳戶并轉到數據監控 – >抓取頻次，在這里，您會看到每天的抓取頻次。
從上面的報告中，我可以看到平均百度每天會抓取我網站30次左右，從中可以看出，我的每月爬行頻次是 30* 30 = 900。
當然，這個數字很容易發生變化和波動，但是，它會為您提供一個可靠的想法，即您可以在特定時間段內抓取您網站的多少頁面。
如果您需要更詳細地查看各個頁面的抓取統計信息，則必須分析服務器日志，日志文件的位置取決于服務器配置。
如果您不確定如何訪問服務器日志，請向系統管理員或托管服務提供商尋求幫助。
原始日志文件很難閱讀和分析，要理解這些，你需要絕對級別的正則表達式技巧或者專門的工具，我更喜歡使用光年日志分析工具來進行分析。
如何分配抓取頻次？
隨著搜索引擎優化，我們不完全知道搜索引擎如何形成網站的爬行頻次，所有博主對網絡的內容進行整理得到搜索引擎利用以下兩個因素來確定爬網頻次：
受歡迎程度 – 更受歡迎的網頁會更頻繁地抓取；
陳舊 –百度不會讓有關的網頁的信息過時，對于網站管理員，這意味著如果網頁內容經常更新，百度會嘗試更頻繁地抓取網頁。
假設一個網站的抓取頻次與反向鏈接的數量以及該網站在百度眼中的重要性成正比 – 百度希望確保最重要的網頁仍然是最新的指數。
內部鏈接呢？您是否可以通過指向更多內部鏈接來增加特定頁面的抓取速度？
為了回答這些問題，我決定檢查內部鏈接和外部鏈接之間的關聯以及抓取統計信息，我收集了11個網站的數據并進行了簡單的分析，簡而言之，這就是我所做的。
我為將要分析的11個站點創建了項目，我計算了指向這些網站每個網頁的內部鏈接的數量，接下來，我運行了SEO Spyglass并為相同的11個站點創建了項目，在每個項目中，我檢查了統計信息并復制了帶有指向每個頁面的外部鏈接數的錨URL。
然后，我分析了服務器日志中的抓取統計信息，以了解百度每次訪問每個網頁的頻率。最后，我將所有這些數據放入電子表格中，并計算內部鏈接和抓取預算以及外部鏈接和抓取預算之間的關聯。
我發現了一件非常有趣的事 以下是我分析的其中一個網站的示例電子表格：
我的數據集證明蜘蛛訪問次數和外部鏈接數量之間有很強的相關性（0,978），同時，蜘蛛命中和內部鏈接之間的相關性被證明是非常弱的（0,154），這表明反向鏈接比網站鏈接更重要。
這是否意味著提高抓取頻次的唯一方法是構建鏈接并發布新內容？如果我們正在討論整個網站的朱雀頻次，我會說是：增加鏈接并經常更新網站，并且網站的抓取頻次將按比例增長。
但是，當我們采取單獨的頁面，它將變得更有趣，正如你將會在下面的介紹中看到的那樣，你甚至可能在沒有意識到的情況下浪費大量的抓取頻次。通過巧妙地管理頻次，您通常可以將單個網頁的抓取次數加倍 – 但它仍然會與每個網頁的反向鏈接數成比例。
如何充分利用抓取頻次
現在，我們已經想通了，爬行很重要，是不是花費更多的時間來管理抓取頻次？
您應該（或不應該）做很多事情來讓搜索蜘蛛更多地消耗更多的網站頁面，以下是最大化抓取頻次功能的操作列表：
1.確保重要頁面可被抓取，并且如果在搜索中找到的內容不提供價值，則會被阻止。
.htaccess和robots.txt不應該阻止網站的重要頁面，機器人應該能夠訪問CSS和Javascript文件，同時，您應該阻止不想在搜索中顯示的內容，阻止網站的“正在建設中”的區域和動態生成的網址等。
請記住，搜索引擎蜘蛛并不總是遵守robots.txt中包含的說明，你有沒有在百度搜索結果中看過這樣的片段？
Robots.txt并不保證網頁不會顯示在搜索結果中：百度仍然可以根據外部信息（如傳入鏈接）決定它是相關的，如果您希望顯式阻止某個頁面被編入索引，則應該使用noindex漫游器元標記或X-Robots-Tag HTTP標題，在這種情況下，您不應該在robots.txt中禁止該頁面，因為必須抓取該頁面才能看到并遵守該標記。
相關閱讀：robots.txt文件協議最佳設置技巧
2.避免長時間重定向鏈
如果網站上的連續301和302重定向數量不合理，則搜索蜘蛛將在某個時刻停止跟蹤重定向，并且目標網頁可能無法抓取，更重要的是，每個重定向的URL都會浪費您的抓取頻次的“單元”，確保連續使用重定向不超過兩次，并且只有在絕對必要時才使用重定向。
3.管理網址參數
有些內容管理系統會生成大量動態網址，實際上會導致同一頁面，默認情況下，搜索引擎機器人會將這些URL視為單獨的頁面; 因此可能會浪費爬網頻次，又可能會滋生內容重復問題。
4.查找并修復HTTP錯誤
百度抓取的任何網址（包括CSS和Java腳本）都會占用一個抓取頻次單位，你不想在404或503頁上浪費它，是嗎？花一點時間來測試網站是否有任何損壞的鏈接或服務器錯誤，并盡快修復這些錯誤。
5.利用RSS
從我觀察到的情況來看，RSS feed是百度蜘蛛訪問量最高的頁面之一，如果網站上的某個部分經常更新（博客，精選產品頁面和新到達部分），請確保為其創建RSS源，請記住保持RSS源免受非規范，從索引或404頁面被阻止。
6.保持網站地圖整潔和最新
XML站點地圖有助于提升爬行頻次，他們會告訴搜索引擎關于網站內容的組織結構，并讓搜索機器人更快地發現新內容，XML站點地圖應定期更新并免于垃圾（4xx頁面，非規范頁面，重定向到其他頁面的URL以及阻止索引的頁面）。
7.管理網站結構和內部鏈接
雖然內部鏈接與抓取頻次沒有直接關系，但網站結構仍然是使搜索漫游器可發現內容的重要因素，邏輯樹狀網站的結構具有許多優點 – 例如用戶體驗以及訪問者在網站上花費的時間 – 而改進的爬行絕對是其中之一。
一般來說，保持網站的重要區域距離任何頁面不超過3次點擊是最好的，在網站菜單或頁腳中包含最重要的頁面和類別，對于更大的網站，例如博客和電子商務網站，包含相關帖子/產品以及特色帖子/產品的版塊可以將著陸頁放在那里 – 對于用戶和搜索引擎機器人都很有幫助。
正如你所看到的，搜索引擎優化并不全是關于’有價值的內容’和’高質量的鏈接’，當網站的前景看起來很精致時，可能是時候到地下室去做一些蜘蛛狩獵了 – 它肯定會在改善網站搜索性能方面創造奇跡。