最詳細(xì)的robots文件的寫(xiě)法解析（符合搜索需求）

在寫(xiě)robots.txt文件時(shí)語(yǔ)法一定要用對(duì)，User-agent、Disallow、Allow、Sitemap這些詞都必須是 個(gè)字母大寫(xiě)，后面的字母小寫(xiě)，而且在:后面必須帶一個(gè)英文字符下的空格。