马超超网

    网站又遇到了新的问题了，而且这次是比较严重的。虽然问题出现的原因和SEO没有什么太大的关系，但从结果来看影响很大。经常用搜索引擎来进入马超网站的人会发现，不少收录的页面没了。经过了两天的分析和检查，终于找到了问题的所在。虽然造成了不少的损失，不过正好通过这次损失给大家一个警醒，网站表面看起来正常的时候，不要忽视了搜索引擎蜘蛛。

    在三天前，网站打开的时候发现有些奇怪，就是网站打开的时候并不是直接打开页面，而像是打开了两次。一开始并没有在意这个类似跳转的行为，但是在后来用站长工具检查网站的SEO信息的时候，却发现了一个怪现象，就是查询的页面无法显示标题关键词和描述。在使用模拟蜘蛛爬行工具之后，发现网特没有任何内容。这让我很吃惊，就用了百度自带的抓取诊断工具，发现所有的页面抓取之后都变成了如下的显示：

返回HTTP头：

HTTP/1.1 200 OK

Server: safeshield/v2

Content-Length: 71

Content-Type: text/html; charset=gb2312

Pragma: no-cache

Cache-control: no-store

Connection: Close

Expires: Thu, 01 Dec 1994 16:00:00 GMT

抓取网页内容（只展现前200K）：

<script>document.cookie='XXXXXX';window.location=document.URL;</script>

    显然上面的内容只有一个JS，而且JS的效果还是一个跳转，也就是说所有的页面在百度蜘蛛看来都是空内容。这在搜索引擎看来是完全没意义的，一般情况下蜘蛛不会去抓取跳转内容。查询了网站的源代码之后发现并没有任何相关的语句，基本可以确定问题不是出在了网站代码。接下来看这句代码包含的意义是设置cookies以及页面跳转，JS就像是刻意为了避免类似蜘蛛的程序来访问而不影响人的正常使用，那么初步猜测是为了防止网站遭受攻击瞬间CPU占用过大而设置的，那么基本上可以判断这是服务器的问题，DNS的问题或者是防火墙出了差错。之后联系了服务商，经过了一天的排查解决了这个问题。现在看到不少页面的收录出现问题，因为每个页面几乎都是完全相同的内容空白，导致快照被清理也是理所当然了。

    想提醒大家的是，不要平常页面打开的时候看起来没有什么问题就放松了警惕，每天用百度自己的诊断工具抓取一次还是很有用的。如果这次不是我无意间返现了跳转现象，估计收录的内容基本就会完全消失了。这里也有一个因祸得福的方面，就是我的外链数不多，所以蜘蛛来访也不频繁，因此才没有导致更多的页面遭受到问题。这里有一个经验点，用手机浏览器打开自己的网站，等完全打开了之后按一次后退键，如果返回的不是之前的那个页面而是空白页的话，网站可能就有问题了。推荐大家最好都去检查一下以防万一。