syp 发表于 2010 年 10 月 17 日 11:15:00

请问robots.txt 文件


搜索引擎优化，网站优化，网站推广，网站排名优化，网络推广
robots.txt 内里内容如上， 这个文件应该对所有的搜索引擎都有用吧？我想要爬虫不要抓取我的asp文件
Allow: /
User-agent: *
Disallow: /*?
Disallow: /*.asp$
seo，网络营销，网络销售
页: [1]
查看完整版本: 请问robots.txt 文件