最近发现了一个比较典型的不抓取优化的例子，特意整理出来分享给大家，大家记住不要出现与例子相同的情况：

站点反馈：

用JS生成网站的主题内容，针对用户访而且没有做优化，但网站针对爬虫做出了具体的优化并将图片做了base64转化，然而结果却是优化后内容也不被搜索引擎所收录。

这时候很多站长就比较纳闷，页面质量优化够好，还特意对爬虫做了优化，但为什么内容没有被收录呢?

分析：

1、虽然网站针对怕西红做了优化，但是图片的二进制内容放在了html中导致页面长度过长，网站的页面长度164k;

2、站点优化内容主题还在图片的后面;

3、爬虫抓取内容后，由于内容过长而导致被截断，这样就会导致页面认定为空短而不收录。

建议：

1、建议不要使用JS生产主体内容，因为当主体渲染出错时，只有可能导致页面内容读取错误的，页面无法抓取。

2、在给爬虫做优化时，长度也可以在128k之内，切勿过长

3、做优化时，要把主体内容放在最前面，避免抓取阶段而导致内容抓取不全。