全面解讀BaiduSpider與站點死鏈
2018/1/6 15:28:47
從最近幾周收到的提問看，大家對死鏈越來越關(guān)注，畢竟死鏈直接關(guān)系到網(wǎng)站的抓取收錄和流量轉(zhuǎn)化。于是我們整合了學(xué)院之前的內(nèi)容，又專門對Baiduspider工程師進行了咨詢，給大家一個完整的系列答復(fù)。
問：robots屏蔽對阻止百度抓取死鏈是否有效
答：當然有效，百度嚴格遵守robots協(xié)議，若發(fā)現(xiàn)百度依然抓取，先確認是否為Baiduspider，若確認，可以通過反饋中心進行投訴。
參考鏈接：《如何識別為百度spider》
問：已被百度抓取的死鏈，可以通過robots屏蔽的方式讓百度刪除嗎？
答：不建議你這樣做，最快最有效的方法是通過百度站長平臺死鏈提交工具進行處理
問：我已經(jīng)通過死鏈工具進行提交了，可是通過日志發(fā)現(xiàn)百度還是在抓我們的死鏈
答：您提交規(guī)則后，spider為了驗證鏈接是否真的死掉，需要抓一部分回來驗證。
問：百度對死鏈的抓取，對正常文章抓取的影響會有多大。
答：這個沒有統(tǒng)一的標準，如果你沒有設(shè)置robots也沒有向百度提交，死鏈量還特別巨大的時候，有可能會占用你網(wǎng)站大量抓取配額，導(dǎo)致正常內(nèi)容無法抓取。如果僅僅是spider為了驗證死鏈規(guī)則抓一部分，那么對正常內(nèi)容不會造成影響。
問：百度對死鏈的要求是什么？怎么設(shè)置死鏈效果最好？
答：目前百度支持協(xié)議死鏈、內(nèi)容死鏈和跳轉(zhuǎn)死鏈，其中最效果最好的是協(xié)議死鏈。
參考鏈接：《百度標準死鏈官方文檔》
問：百度站長平臺是否有工具幫助我們發(fā)現(xiàn)網(wǎng)站內(nèi)的未知死鏈？
答：可以通過鏈接分析工具中的死鏈分析功能，還有抓取異常工具進行發(fā)現(xiàn)分析
此內(nèi)容來源于網(wǎng)絡(luò)，如涉及版權(quán)問題請與我們聯(lián)系。
手機商城建設(shè)，廣西微信端口開發(fā)，廣西網(wǎng)站建設(shè),廣西網(wǎng)站設(shè)計
