如果你的網站發生一些問題，我們可以通過網站日志查看搜索引擎蜘蛛對網站訪問的具體情況來找到一些答案。今天網域動力與大家分享一下自己平時的做法，希望能對大家有幫助。

查看搜索引擎蜘蛛爬行總次數

　　一個網站的收錄首先要搜索引擎蜘蛛來到網站爬去才能夠實現。通過查看日志能夠清楚的看到每天蜘蛛訪問網站的總次數有多少，從而大致的判斷唐山網站制作的權重如何。一個高權重的網站，蜘蛛來訪的次數相對是較多的，相反，一個低權重的網站，即使有非常龐大規模的內容，蜘蛛來訪的次數依舊有限。爬行次數有限，分配的時間和深度也就有限，所以收錄也就受到了限制。所以我們的重點就是多提供百度來訪我們網站的入口，只有入口多了，訪問次數才能得到提升。

　　查看所有被爬行目錄的整體情況

　　通過日志查看所有被爬行目錄的整體情況，能讓我們知道搜索引擎爬行最多的目錄是哪些，是否是我們想要提供給用戶的目錄。一般可以非常清楚的看到排名前十位的目錄，如果這些目錄并不是我們重點提供給用戶內容的目錄，那么就需要做出調整，說明當前的一些目錄被多度爬行了，而真正有價值的目錄沒有被搜索引擎過度重視，要及時發現并找到原因。

　　查看爬行榜前十名的頁面情況

　　除了查看蜘蛛總訪問次數以及爬行目錄的整體情況，剩下一個非常重要的就是查看爬行總頁面的情況。我平時分析網站的時候，時常會看到，被蜘蛛爬行前幾名的頁面都是一些無關緊要的頁面，比如B2C購物車鏈接頁面、比如聯系我們頁面、一些主題中CSS文件，這些頁面和文件對排名和收錄本來沒有實際的幫助，但現實情況是蜘蛛爬行的最多，所以就會造成浪費，畢竟蜘蛛來訪一個網站的總時間和總爬行次數是一定的，總抓取深度也是一定的，如果時間都浪費在了這些頁面上，那么對于重點的內頁收錄就會受到影響。因此通過日志發現之后，就需要在robots.txt中屏蔽掉，或者在頁面meta中屏蔽掉。

　　查看平均爬行一次的抓取深度

　　通過日志查看平均一次的抓取深度能有效的了解到唐山網站設計內部結構的不足。比如百度蜘蛛在某天訪問網站總共688次，抓取量是789，那么平均每次抓取的頁面數就為1.2頁。其實這個數據也是普遍存在的現象，很多網站都存在這樣的現象。這充分說明了網站的內部鏈接做的不足，或者網站結構存在問題，或者是內容出現了高度重復現象，導致蜘蛛來到網站，要么沒有什么新發現，要么被結構所阻止，爬行不到新的頁面。畢竟，蜘蛛平均在我們網站存在的整體時間是有限的，在這個有限的時間內，如果我們自己設置了障礙，那么蜘蛛就會走掉，是非常可惜的事情。