爬虫是实现数据采集的技术，能够从各类程序中获取到数据。
A. 对
B. 错
原则上，只要web浏览器能完成的工作，爬虫都可以实现。
A. 对
B. 错
小明马上要毕业了，他想获取关于“大数据开发工程师”工作岗位所要求的技能要求数据。他可以采取的获取途径有（ ）
A. 开发爬虫程序从相应的人才招聘网站上爬取
B. 从第三方提供岗位分析的企业购买
C. 通过问卷调查、电话咨询企业
D. 从免费网站查询
现有robots.txt文件如下所示，请分析其含义。User-agent: *Disallow: /Allow: /public/
微信支付 
支付宝支付