这里介绍了10种提升网站蜘蛛爬行的方法:
1、经常规律性的更新文章
2、确保服务器工作正常
3、使页面尽量简洁,确保打开速度快
4、检查内部链接结构,去除死链接和重复链接
5、尽量多从正规和相关站点获得反向链接
6、用Google站长工具检查爬行速度
7、为站点制作网站地图,包括htm格式和xml格式
8、确保服务器返回正确的数据包响应
9、为每个页面制作独立的标题和meta标签(关键字、描述)
10、监测Google的爬行记录
以上内容比较常见,只是做了一个相对较全的归类。有蜘蛛爬行方面的问题可以在这里交流