网站首页

robots.txt的10种写法

robots.txt的10种写法

robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限

Top