robots.txt与sitemap.xml
robots.txt与sitemap.xml 这两个是文件放在网站的根目录，是给搜索引擎看的。适当优化这两文件，可以增强对搜索引擎的友好性。 robots.txt 划定了哪些爬虫可以收录网站，哪些目录可以收录，哪些不要收录。还有网站舆图sitemap.xml的链接。 例： # Robots.txt file from http://lanwairen.rupai.net User-agent: * Sitemap: http://lanwairen.rupai.net/sitemap.xml 更多内容可参考：……