什么導(dǎo)致引擎蜘蛛抓取異常?網(wǎng)站發(fā)布高質(zhì)量?jī)?nèi)容讓搜索引擎蜘蛛抓取就會(huì)讓網(wǎng)站有一個(gè)好的排名,導(dǎo)致搜索引擎蜘蛛抓取異常的原因有什么,接下來為大家具體分析一下。
什么導(dǎo)致引擎蜘蛛抓取異常?網(wǎng)站發(fā)布高質(zhì)量?jī)?nèi)容讓搜索引擎蜘蛛抓取就會(huì)讓網(wǎng)站有一個(gè)好的排名,導(dǎo)致搜索引擎蜘蛛抓取異常的原因有什么,接下來為大家具體分析一下。
異常跳轉(zhuǎn)
將網(wǎng)絡(luò)請(qǐng)求重新指向其他位置即為跳轉(zhuǎn)。異常跳轉(zhuǎn)指的是以下幾種情況:
1)當(dāng)前該頁面為無效頁面(內(nèi)容已刪除、死鏈等),直接跳轉(zhuǎn)到前一目錄或者首頁,百度建議站長(zhǎng)將該無效頁面的入口超鏈接刪除掉
2)跳轉(zhuǎn)到出錯(cuò)或者無效頁面
注意:對(duì)于長(zhǎng)時(shí)間跳轉(zhuǎn)到其他域名的情況,如網(wǎng)站更換域名,百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。
其他異常:
1)針對(duì)百度refer的異常:網(wǎng)頁針對(duì)來自百度的refer返回不同于正常內(nèi)容的行為。
2)針對(duì)百度ua的異常:網(wǎng)頁對(duì)百度UA返回不同于頁面原內(nèi)容的行為。
3)JS跳轉(zhuǎn)異常:網(wǎng)頁加載了百度無法識(shí)別的JS跳轉(zhuǎn)代碼,使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情況。
4)壓力過大引起的偶然封禁:百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪問量等信息,自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下,如壓力控制失常時(shí),服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請(qǐng)?jiān)诜祷卮a中返回503(其含義是“Service Unavailable”),這樣搜索引擎蜘蛛會(huì)過段時(shí)間再來嘗試抓取這個(gè)鏈接,如果網(wǎng)站已空閑,則會(huì)被成功抓取。
什么導(dǎo)致引擎蜘蛛抓取異常?在以前的文章中小編就為大家介紹過很多的導(dǎo)致引擎蜘蛛抓取異常的原因和解決辦法,看過了以上的文章你都學(xué)會(huì)了嗎?其實(shí)這些原因解決起來也是挺簡(jiǎn)單的,只要我們找對(duì)了方法就能很快的解決了,希望以上文章對(duì)你有所幫助。
免責(zé)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請(qǐng)發(fā)送郵件至:operations@xinnet.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。