搜索引擎蜘蛛的解析大全

adminhyxujiamei

看网站日志(log)经常涉及到搜索引擎蜘蛛或者机器人的代号，那么常见搜索引擎蜘蛛代号有哪些呢?
　　Google的蜘蛛： Googlebot
　　百度的蜘蛛：baiduspider
　　Yahoo的蜘蛛：Yahoo Slurp
　　MSN的蜘蛛：Msnbot
　　Altavista的蜘蛛：Scooter
　　Lycos的蜘蛛： Lycos_Spider_(T-Rex)
　　Alltheweb的蜘蛛： FAST-WebCrawler/
　　INKTOMI的蜘蛛： Slurp　
网站对搜索引擎蜘蛛不友好的14大因素：
　　1、robotx.txt文件
　　2、nofollow标签
　　3、flash
　　4、图片
　　5、JavaScript
　　6、网站游览权限
　　7、强制使用cookies
　　8、HTTP返回码
　　9、服务器
　　10、域名解析
　　11、网站程序完善
　　13、动态URL
　　13、框架结构
　　14、session id

　　网站影响搜索引擎蜘蛛爬行的三大因素：
　　1.网站结构。包括导航以及网站编程语言等。
　　2.网站内容。站内内容是否原创，是否具备传播价值，是否为用户提供有用的信息都直接影响搜索引擎蜘蛛的爬行频率。
　　3.外链建设。三种URL形式给予搜索引擎蜘蛛不同的评价。