题目内容

任何网站都会定义robots.txt文件，能够让爬虫了解爬取网站存在着哪些限制。

A. 对
B. 错

查看答案

搜索结果不匹配？点我反馈

更多问题

搜素引擎爬取到的网页数据与浏览器得到的HTML数据一定是不同的。

A. 对
B. 错

如果在HTTP请求消息中没有设置可接受的字符编码，则客户端无法显示任何字符。

A. 对
B. 错

GET请求的参数不在URL中，而在请求体中。

A. 对
B. 错

通常页面会根据不同的User-Agent自动做出适配，甚至返回不同的响应内容。

A. 对
B. 错