seo请问robots.txt 文件
搜索引擎优化,搜索引擎优化指南,搜索引擎优化方法,搜索引擎优化教程,什么是搜索引擎优化,搜索引擎优化软件,搜索引擎优化 seo,搜索引擎优化策略,搜索引擎优化招聘,百度搜索引擎优化
Disallow: /*.asp$
Disallow: /*?
User-agent: *
Allow: /
robots.txt 内里内容如上， 这个文件应该对所有的搜索引擎都有用吧？我想要爬虫不要抓取我的asp文件
seo公司，搜索引擎优化排名，网站优化招聘，网站推广专员，seo招聘，百度网络推广
页:
[1]