如何確保讓搜索引擎輕松抓取您的網(wǎng)站？
如果您的網(wǎng)站無法被搜索引擎抓取，那么可能是以下原因造成的：
1、HTTPS安全實(shí)施
如果你最近跳轉(zhuǎn)到HTTPS時(shí)，可能沒有機(jī)會審核或以其他方式出現(xiàn)了識別安全證書的安裝問題，進(jìn)行表面審核時(shí)可以幫助你確定是什么在影響HTTPS的轉(zhuǎn)換。
如果你最初購買SSL證書的時(shí)候沒有考慮到網(wǎng)站稍后用于什么，那么可能會出現(xiàn)分歧。需要記住的一件事是，你在購買證書時(shí)必須非常謹(jǐn)慎，確保它涵蓋了你想要的所有子域。
如果不這樣做，可能會導(dǎo)致一些問題，比如無法重定向URL。
如果你沒有獲得完整的通配符證書，并且在子域上有URL參數(shù)（使用絕對URL），你的證書也沒有覆蓋這些URL，那么你無法將這些URL重定向到https://。
這就是為什么在購買SSL證書時(shí)要注意你的選項(xiàng)的原因，因?yàn)樗赡軙δ愕恼军c(diǎn)產(chǎn)生負(fù)面影響。
2、錯(cuò)誤的重定向或過多的重定向會導(dǎo)致網(wǎng)站性能下降
如果不密切關(guān)注正在創(chuàng)建的重定向，也很容易創(chuàng)建沖突的重定向。
此外，還很容易讓重定向失去控制，導(dǎo)致每個(gè)網(wǎng)站URL有數(shù)十個(gè)或更多重定向，進(jìn)而導(dǎo)致網(wǎng)站性能下降。
解決此問題的簡單方法是：確保你的重定向都是以1:1的比例創(chuàng)建的。
3、HTTPS和 HTTP URLs上的內(nèi)容不應(yīng)該同時(shí)加載
正確的做法是：其中一個(gè)重定向到另一個(gè)，而不是兩者都重定向。如果同時(shí)加載兩個(gè)，那么站點(diǎn)的版本安全就會出現(xiàn)問題。如果你在瀏覽器中輸入網(wǎng)站的URL，請分別測試https://和https://。
如果兩個(gè)URL都加載，則會顯示兩個(gè)版本的內(nèi)容，重復(fù)的URL可能導(dǎo)致重復(fù)的內(nèi)容。
為了確保不會再次遇到此問題，你需要執(zhí)行以下操作之一，具體取決于站點(diǎn)的平臺：
在HTACCESS中創(chuàng)建完整的重定向模式（在Apache/CPanel服務(wù)器上）；
使用WordPress中的重定向插件強(qiáng)制從 https://重定向。
4、如何在Apache/Cpanel服務(wù)器的htaccess中創(chuàng)建重定向
你可以在Apache/CPanel服務(wù)器的.htaccess中執(zhí)行服務(wù)器級別的全局重定向。Inmotionhosting有一個(gè)很好的教程，教你如何在自己的web主機(jī)上強(qiáng)制重定向。
如果強(qiáng)制所有web流量使用HTTPS，你需要用到以下代碼。
確保將此代碼添加到具有類似前綴的代碼之上（RewriteEngine On、RewriteCond等）。
RewriteEngine On
RewriteCond %{HTTPS} !on
RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\ Comodo\\ DCV)?$
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
如果你只想重定向一個(gè)指定的域，你需要在你的htaccess文件中使用以下代碼行：
RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\ Comodo\\ DCV)?$
RewriteEngine On
RewriteCond %{HTTP_HOST} ^example\\.com [NC]
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://www.example.com/$1 [R=301,L]
注意事項(xiàng)：如果你對自己在服務(wù)器進(jìn)行正確更改沒有信心，請確保你的服務(wù)器公司或IT人員來執(zhí)行這些修復(fù)。
5、如果你正在運(yùn)行WordPress網(wǎng)站，請使用插件
修復(fù)這些重定向問題簡單的方法就是使用插件，尤其是在運(yùn)行WordPress網(wǎng)站時(shí)。
許多插件可以強(qiáng)制 https://到 https://重定向，但這里有一些插件可以使這個(gè)過程盡可能輕松：CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。
關(guān)于插件的注意事項(xiàng)：如果你已經(jīng)使用了太多的插件，請不要再添加。
你可能需要調(diào)查你的服務(wù)器是否可以使用上述類似的重定向規(guī)則（例如，如果你使用的是基于NGINX的服務(wù)器）。
這里需要聲明：插件的權(quán)重會對網(wǎng)站速度產(chǎn)生負(fù)面影響，所以不要總是認(rèn)為新的插件會對你有所幫助。
6、所有的網(wǎng)站鏈接都應(yīng)該從https://改為HTTPS://
即使執(zhí)行上述重定向，也應(yīng)該執(zhí)行此步驟。
如果你使用絕對URL而不是相對URL，更應(yīng)該這么做。因?yàn)榍罢呤冀K顯示你正在使用的超文本傳輸協(xié)議，如果你使用的是后者，那你就不需要多加注意這一點(diǎn)了。
當(dāng)你使用絕對URL時(shí)，為什么需要更改現(xiàn)場鏈接？因?yàn)楣雀鑼⒆ト∷羞@些鏈接，這可能會導(dǎo)致出現(xiàn)重復(fù)的內(nèi)容。
這似乎是在浪費(fèi)時(shí)間，但事實(shí)并非如此。你要確保最終谷歌能夠準(zhǔn)確地抓取到你的網(wǎng)站。
7、確保從https://到HTTPS://的轉(zhuǎn)換，不會出現(xiàn)404頁面
404頁面的突然增加可能使你的網(wǎng)站不能運(yùn)行，尤其是在https://和https://頁面之間存在鏈接時(shí)。
此外，由于顯示的404頁面太多，谷歌沒有找到應(yīng)該抓取的頁面會導(dǎo)致抓取預(yù)算的浪費(fèi)。
谷歌的相關(guān)負(fù)責(zé)人John Mueller指出，抓取預(yù)算并不重要，除非是針對大型網(wǎng)站而言。
John Mueller在推特上表示，他認(rèn)為抓取預(yù)算優(yōu)化被高估了。對大多數(shù)網(wǎng)站來說，沒有什么作用，它只能幫助大規(guī)模的網(wǎng)站。
“IMO抓取預(yù)算被高估了。其實(shí)大多數(shù)網(wǎng)站都不需要為此擔(dān)心。如果你正在抓取網(wǎng)頁或運(yùn)行一個(gè)數(shù)十億URL 的網(wǎng)站，這是很重要的，但對于普通的網(wǎng)站來說這不是很重要。”
SEO PowerSuite 相關(guān)負(fù)責(zé)人Yauhen Khutarniuk的一篇文章也闡述了這一點(diǎn)：
“從邏輯上講，你應(yīng)該關(guān)注抓取預(yù)算，因?yàn)槟阆胱尮雀璞M可能多地發(fā)現(xiàn)你網(wǎng)站的重要網(wǎng)頁。你還希望它能快速地在你的網(wǎng)站上找到新內(nèi)容，你的抓取預(yù)算越大（管理越智能），這種情況就會發(fā)生得越快。”
優(yōu)化抓取預(yù)算非常重要，因?yàn)榭焖俨檎揖W(wǎng)站上的新內(nèi)容是重要的任務(wù)，同時(shí)需要盡可能多地發(fā)現(xiàn)網(wǎng)站的優(yōu)先網(wǎng)頁。
8、如何修復(fù)可能有的404頁面
首先，將404從舊URL重定向到新的現(xiàn)有URL。
有一個(gè)比較簡單的方法是，如果你有一個(gè)WordPress網(wǎng)站，用Screaming Frog抓取網(wǎng)站，并使用重定向WordPress插件執(zhí)行301重定向規(guī)則批量上傳。
9、URL結(jié)構(gòu)不應(yīng)該過于復(fù)雜
在為技術(shù)SEO做準(zhǔn)備時(shí)，URL的結(jié)構(gòu)是一個(gè)重要的考慮因素。
你同時(shí)須注意這些事情，比如隨機(jī)生成被索引的動態(tài)參數(shù)、不容易理解的URL，以及其他可能導(dǎo)致技術(shù)SEO實(shí)現(xiàn)出現(xiàn)問題的因素。
這些都是重要的因素，因?yàn)樗鼈兛赡軙?dǎo)致索引問題，從而損害網(wǎng)站的性能。
10、更人性化的URL
創(chuàng)建URL時(shí)，你可能會考慮相關(guān)內(nèi)容，然后自動創(chuàng)建URL。但是，這可能并不合理。
原因是因?yàn)樽詣由傻腢RL可以遵循幾種不同的格式，這些格式都不是非常人性化。
“
例如：
（1）/內(nèi)容/日期/時(shí)間/關(guān)鍵字
（2）/內(nèi)容/日期/時(shí)間/數(shù)字字符串
（3）/內(nèi)容/分類/日期/時(shí)間/
（4）/內(nèi)容/分類/日期/時(shí)間/參數(shù)/
正確地傳達(dá)URL背后的內(nèi)容才是重點(diǎn)。由于可訪問性的原因，它在今天變得更加重要。
URL可讀性越強(qiáng)，效果就越好：如果有人在搜索結(jié)果中看到你的URL，他們可能更愿意點(diǎn)擊它，因?yàn)樗麄儠_切地看到該URL與他們搜索的內(nèi)容的相關(guān)性。簡而言之，URL需匹配用戶的搜索意圖。
許多現(xiàn)有網(wǎng)站使用過時(shí)或混亂的URL結(jié)構(gòu)，導(dǎo)致用戶參與度低。如果有更人性化的URL，你的網(wǎng)站可能會有更高的用戶參與度。
11、重復(fù)的URL
在構(gòu)建任何鏈接之前需要考慮的一個(gè)SEO技術(shù)問題是：內(nèi)容重復(fù)。
在涉及內(nèi)容重復(fù)時(shí)，以下是主要原因：
（1）在網(wǎng)站的各個(gè)部分顯著重復(fù)的內(nèi)容。
（2）從其他網(wǎng)站抓取內(nèi)容。
（3）重復(fù)的URL，其中只存在一個(gè)內(nèi)容。
因?yàn)楫?dāng)多個(gè)URL代表一個(gè)內(nèi)容時(shí)，它確實(shí)會混淆搜索引擎。搜索引擎很少會同時(shí)顯示相同的內(nèi)容，并且重復(fù)的URL會削弱他們搜索的能力。
12、避免使用動態(tài)參數(shù)
雖然動態(tài)參數(shù)本身并不是SEO方面的問題，但如果你無法管理其創(chuàng)建，并且在使用中保持一致，那么以后可能會成為一個(gè)潛在威脅。
Jes Scholz在搜索引擎雜志上發(fā)表了一篇文章，內(nèi)容涉及動態(tài)參數(shù)和URL處理的基礎(chǔ)知識以及它如何影響SEO。
Scholz解釋說，參數(shù)用于以下目的：跟蹤、重新排序、過濾、識別、分頁、搜索、翻譯。
當(dāng)你發(fā)現(xiàn)是URL的動態(tài)參數(shù)導(dǎo)致的問題時(shí)，通常將其歸結(jié)為URL的基本管理不善。
在跟蹤的情況下，在創(chuàng)建搜索引擎抓取的鏈接時(shí)可以使用不同的動態(tài)參數(shù)。在重新排序的情況下，使用這些不同的動態(tài)參數(shù)對列表和項(xiàng)組進(jìn)行重新排序，然后創(chuàng)建可索引的重復(fù)頁面，搜索引擎再對其進(jìn)行抓取。
如果不將動態(tài)參數(shù)保持在可管理的水平，可能會無意中引發(fā)過多的重復(fù)內(nèi)容。
如果不仔細(xì)管理一部分內(nèi)容的創(chuàng)建，這些動態(tài)URL的創(chuàng)建實(shí)際上會隨著時(shí)間的推移而累積，然后會稀釋內(nèi)容的質(zhì)量，進(jìn)而削弱搜索引擎的執(zhí)行能力。
它還會導(dǎo)致關(guān)鍵詞“自相殘殺”、互為影響，并且在足夠大的范圍內(nèi)會嚴(yán)重影響你的競爭能力。
13、較短的 URL 優(yōu)于較長的 URL
長期以來的SEO實(shí)踐結(jié)果是：較短的URL優(yōu)于較長的URL。
谷歌的 John Mueller對此表示：“當(dāng)我們有兩個(gè)相同內(nèi)容的URL時(shí)，我們需要選擇其中一個(gè)在搜索結(jié)果中顯示時(shí)，我們會選擇短的，這就是規(guī)范化。當(dāng)然長短并不是主要影響因素，但如果我們有兩個(gè)URL，一個(gè)非常簡潔明了，另一個(gè)有很長的附加參數(shù)，而且他們顯示相同的內(nèi)容時(shí)，我們更傾向于選擇短的。還有很多例子，比如不同的因素發(fā)揮作用，但在其他條件相同的情況下——你有一個(gè)較短的和較長的，我們也會選擇較短的。”
另有證據(jù)表明，谷歌對短的URL進(jìn)行了具體的排序，而不是更長的URL。
如果你的網(wǎng)站包含超長URL，你可以將它們優(yōu)化為更短、更簡潔的URL，以更好地反映文章的主題和用戶意圖。
商品已成功加入購物車