1、robotx.txt文件
2、nofollow标签
3、flash
4、图片
5、JavaScript
6、网站游览权限
7、强制使用cookies
8、HTTP返回码
9、服务器
10、域名解析
11、网站程序完善
12、动态URL
13、框架结构
14、session id
1、网站和页面的权重大小依然被作为衡量网站价值的重要标准,高质量老资格的网站被百度评为高权重,这种网站的页面被蜘蛛抓取的机率比较高,所以会有很多内页被收录。
2、页面更新频率会直接影响蜘蛛的光临频率,蜘蛛把每次光临获得的页面数据保存到服务器上,如果下次光临页面发现内容跟储存数据相同,那么会被蜘蛛认为页 面不会经常更新,然后会给网站一个优先级,来决定以后光临的时间和频率。如果网站内容经常更新,每次蜘蛛抓取的内容都不一样,那么蜘蛛会更加频繁的访问这 类页面,页面出现的新连接也自然会被爬取收录。
3、引导链接的建立,无论网站的外部链接或内部链接,想要被蜘蛛抓取,必须有引导链接进入页面,所以内部链接的合理性搭建非常重要,否则蜘蛛无法发现页面的存在。高质量的外部链接导入也是非常重要的,会增加蜘蛛跟踪爬行深度的增加。
4、建立首页的引导链接,蜘蛛访问最频繁的是首页,有内容更新时,一定要在首页体现出来并建立链接,便于蜘蛛最快抓取到,增加抓取机会。
5、原创内容,蜘蛛最厉害的是会对网站新发布内容同服务器收录数据做比对,如果是抄袭或部分修改的非原创伪原创内容,百度是不会收录的,如果经常发布的是非原创内容,那么也会降低蜘蛛的光临频率,严重的直接不收录,甚至0收录。
算法优秀,反应速度迅速,对内容质量把握优秀,中等强度爬虫程序,对服务器负担不大,推广效果好。
对应user-agent:爬虫名称
Googlebot:google网页爬虫
Googlebot-news:google新闻爬虫
Googlebot-image:google图片爬虫
Googlebot-video:google视频爬虫
Googlebot-mobile:google移动爬虫
Mediapartners-google或Mediapartners(googlebot):google广告爬虫
Adsbot-google:google着陆页质量检测爬虫
算法良好,反应速度迟钝,对内容质量把握一般,高强度爬虫程序,由于算法优化不良问题,对服务器负担较大,本身小问题也挺多,隐私保护恶劣,在百度面前无隐私可言,推广效果好。
对应user-agent:爬虫名称
Baiduspider:百度网页爬虫兼移动爬虫
Baiduspider-image:百度图片爬虫
Baiduspider-video:百度视频爬虫
Baiduspider-news:百度新闻爬虫
Baiduspider-favo:百度搜藏爬虫
Baiduspider-cpro:百度联盟爬虫
Baiduspider-ads:百度商务爬虫
对应user-agent:爬虫名称
360spider或haosouspider:好搜网页爬虫兼移动爬虫
360spider-image:好搜图片爬虫
360spider-video:好搜视频爬虫
算法恶劣,反应速度极其迟钝,不能良好的把握内容质量,高强度爬虫程序,由于算法奇差,会对页面进行大量反复而又无实际意义的扫描,对服务器负担很大,抓取压力大,综合性价比非常低。
对应user-agent:爬虫名称
Sogou spider:搜狗综合爬虫
对应user-agent:爬虫名称
Iaskspider:新浪爱问爬虫
对应user-agent:爬虫名称
YodaoBot:网易有道爬虫
对应user-agent:爬虫名称
ia_archiver:Alexa爬虫
对应user-agent:爬虫名称
Yahoo! Slurp:雅虎爬虫
对应user-agent:爬虫名称
Bingbot:必应爬虫
秀友百科词条内容均由网友提供,仅供参考。如发现词条内容有问题,请联系管理员。