建站指南:为什么网站内容无法被搜索引擎抓取?

如果您的网站无法被搜索引擎抓取,那么可能是以下原因造成的:

1、HTTPS安全实施

如果你最近跳转到HTTPS时,可能没有机会审核或以其他方式出现了识别安全证书的安装问题,进行表面审核时可以帮助你确定是什么在影响HTTPS的转换。

如果你最初购买SSL证书的时候没有考虑到网站稍后用于什么,那么可能会出现分歧。需要记住的一件事是,你在购买证书时必须非常谨慎,确保它涵盖了你想要的所有子域。

如果不这样做,可能会导致一些问题,比如无法重定向URL。

如果你没有获得完整的通配符证书,并且在子域上有URL参数(使用绝对URL),你的证书也没有覆盖这些URL,那么你无法将这些URL重定向到https://。

这就是为什么在购买SSL证书时要注意你的选项的原因,因为它可能会对你的站点产生负面影响。

2、错误的重定向或过多的重定向会导致网站性能下降

如果不密切关注正在创建的重定向,也很容易创建冲突的重定向。

此外,还很容易让重定向失去控制,导致每个网站URL有数十个或更多重定向,进而导致网站性能下降。

解决此问题的简单方法是:确保你的重定向都是以1:1的比例创建的。

3、HTTPS和HTTPURLs上的内容不应该同时加载

正确的做法是:其中一个重定向到另一个,而不是两者都重定向。如果同时加载两个,那么站点的版本安全就会出现问题。如果你在浏览器中输入网站的URL,请分别测试https://和http://。

如果两个URL都加载,则会显示两个版本的内容,重复的URL可能导致重复的内容。

为了确保不会再次遇到此问题,你需要执行以下操作之一,具体取决于站点的平台:

在HTACCESS中创建完整的重定向模式(在Apache/CPanel服务器上);

使用WordPress中的重定向插件强制从http://重定向。

4、如何在Apache/Cpanel服务器的htaccess中创建重定向

你可以在Apache/CPanel服务器的.htaccess中执行服务器级别的全局重定向。Inmotionhosting有一个很好的教程,教你如何在自己的web主机上强制重定向。

如果强制所有web流量使用HTTPS,你需要用到以下代码。

确保将此代码添加到具有类似前缀的代码之上(RewriteEngineOn、RewriteCond等)。

RewriteEngineOn

RewriteCond%{HTTPS}!on

RewriteCond%{REQUEST_URI}!^/[0-9]+\..+\.cpaneldcv$

RewriteCond%{REQUEST_URI}!^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\Comodo\DCV)?$

RewriteRule(.*)https://%{HTTP_HOST}%{REQUEST_URI}[L,R=301]

如果你只想重定向一个指定的域,你需要在你的htaccess文件中使用以下代码行:

RewriteCond%{REQUEST_URI}!^/[0-9]+\..+\.cpaneldcv$

RewriteCond%{REQUEST_URI}!^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\Comodo\DCV)?$

RewriteEngineOn

RewriteCond%{HTTP_HOST}^example\.com[NC]

RewriteCond%{SERVER_PORT}80

RewriteRule^(.*)$https://www.example.com/$1[R=301,L]

注意事项:如果你对自己在服务器进行正确更改没有信心,请确保你的服务器公司或IT人员来执行这些修复。

5、如果你正在运行WordPress网站,请使用插件

修复这些重定向问题简单的方法就是使用插件,尤其是在运行WordPress网站时。

许多插件可以强制http://到https://重定向,但这里有一些插件可以使这个过程尽可能轻松:CMHTTPSPro、WPForceSSL、EasyHTTPSRedirection。

关于插件的注意事项:如果你已经使用了太多的插件,请不要再添加。

你可能需要调查你的服务器是否可以使用上述类似的重定向规则(例如,如果你使用的是基于NGINX的服务器)。

这里需要声明:插件的权重会对网站速度产生负面影响,所以不要总是认为新的插件会对你有所帮助。

6、所有的网站链接都应该从HTTP://改为HTTPS://

即使执行上述重定向,也应该执行此步骤。

如果你使用绝对URL而不是相对URL,更应该这么做。因为前者始终显示你正在使用的超文本传输协议,如果你使用的是后者,那你就不需要多加注意这一点了。

当你使用绝对URL时,为什么需要更改现场链接?因为谷歌将抓取所有这些链接,这可能会导致出现重复的内容。

这似乎是在浪费时间,但事实并非如此。你要确保最终谷歌能够准确地抓取到你的网站。

7、确保从HTTP://到HTTPS://的转换,不会出现404页面

404页面的突然增加可能使你的网站不能运行,尤其是在http://和https://页面之间存在链接时。

此外,由于显示的404页面太多,谷歌没有找到应该抓取的页面会导致抓取预算的浪费。

谷歌的相关负责人JohnMueller指出,抓取预算并不重要,除非是针对大型网站而言。

JohnMueller在推特上表示,他认为抓取预算优化被高估了。对大多数网站来说,没有什么作用,它只能帮助大规模的网站。

“IMO抓取预算被高估了。其实大多数网站都不需要为此担心。如果你正在抓取网页或运行一个数十亿URL的网站,这是很重要的,但对于普通的网站来说这不是很重要。”

SEOPowerSuite相关负责人YauhenKhutarniuk的一篇文章也阐述了这一点:

“从逻辑上讲,你应该关注抓取预算,因为你想让谷歌尽可能多地发现你网站的重要网页。你还希望它能快速地在你的网站上找到新内容,你的抓取预算越大(管理越智能),这种情况就会发生得越快。”

优化抓取预算非常重要,因为快速查找网站上的新内容是重要的任务,同时需要尽可能多地发现网站的优先网页。

8、如何修复可能有的404页面

首先,将404从旧URL重定向到新的现有URL。

有一个比较简单的方法是,如果你有一个WordPress网站,用ScreamingFrog抓取网站,并使用重定向WordPress插件执行301重定向规则批量上传。

9、URL结构不应该过于复杂

在为技术SEO做准备时,URL的结构是一个重要的考虑因素。

你同时须注意这些事情,比如随机生成被索引的动态参数、不容易理解的URL,以及其他可能导致技术SEO实现出现问题的因素。

这些都是重要的因素,因为它们可能会导致索引问题,从而损害网站的性能。

本站部分素材资源及板块内容来自网络,如有侵犯您的权益,请联系我们,站长会立即处理,转载请注明来源网址!
云部落资源网 » 建站指南:为什么网站内容无法被搜索引擎抓取?