![]()
A) 分析与调查 B) 高级界面 C) 自动集成 D) 人工智能
A) LG B) 丰田 C) 索尼 D) 本田
A) 伊娃 B) R2-D2 C) C-3PO D) BOLT
A) 瓦力 B) C-3PO C) 机器人 B-9 D) 擎天柱
A) 反思机器人技术 B) 波士顿动力公司 C) iRobot D) 蓝色起源
A) 德国 B) 中国 C) 韩国 D) 日本
A) 虚拟现实 B) 无线连接 C) 机器学习 D) 社交网络
A) 遗传算法 B) 深度强化学习 C) 示范编程 D) 人工神经网络
A) 神经漫游者 B) 我,机器人 C) 机器人会梦到电动羊吗? D) 雪崩
A) 奥创 B) 母亲 C) HAL 9000 D) 天网
A) 自动化 B) 拟人化 C) 衔接 D) 算法
A) 达莱克 B) R2-D2 C) 班德 D) 约翰尼 5
A) sitemap.xml B) meta标签文件(例如:MetaTags.html) C) 爬虫规则文件(例如:CrawlerRules.json) D) robots.txt
A) Charles Stross B) Martijn Koster C) Vint Cerf D) Tim Berners-Lee
A) WebBotRules.txt B) CrawlerExclusion.txt C) PageAccessControl.txt D) RobotsNotWanted.txt
A) 1998 B) 2005 C) 2022 D) 2019
A) 用于展示广告。 B) 通过加密来增强网站的安全性。 C) 用于存储用户的登录凭据。 D) 用于指示网络爬虫允许访问网站的哪些部分。
A) 每个需要应用该规则的目录内部 B) 服务器的配置文件中 C) 用户的浏览器缓存中 D) 网站根目录
A) 网络爬虫会认为对整个网站没有任何爬取限制。 B) 所有网页都会被自动收录。 C) 服务器会返回 404 错误。 D) 该网站将被搜索引擎屏蔽。
A) 为所有子域名使用同一个 robots.txt 文件。 B) 忽略子域名的 robots.txt 文件。 C) 每个子域名必须拥有自己的 robots.txt 文件。 D) 将一个 robots.txt 文件放在根目录下。
A) 是的,如果它们是从其他被抓取的页面链接过来的。 B) 只有在robots.txt文件缺失的情况下,它们才可能出现。 C) 只有当网站所有者手动批准时才可能出现。 D) 不,它们永远不会出现在搜索结果中。
A) 互联网规模足够小,可以维护一个包含所有爬虫的完整列表。 B) 用户上传的大文件。 C) 视频流媒体导致的高带宽占用。 D) 复杂的数据库查询。
A) 二进制代码 B) JSON 对象 C) HTML 标签 D) 一种特定的基于文本的格式
A) 万维网联盟 (W3C) B) 互联网工程任务组 (IETF) C) 国际标准化组织 (ISO) D) 电气和电子工程师协会 (IEEE)
A) 部署防火墙 B) 实施验证码系统 C) 使用加密技术 D) 通过“安全隐蔽”来对抗
A) 用于加密数据传输。 B) 用于提高页面加载速度。 C) 用于控制网站的哪些部分会被抓取和索引。 D) 用于增强视觉设计。
A) RFC 2616 B) RFC 9309 C) RFC 7230 D) RFC 3986
A) 为了提升服务器硬件性能。 B) 为了增强多媒体播放效果。 C) 为了防止某些内容在搜索结果中出现误导性或不相关的信息。 D) 为了增加访问者数量。
A) 法律案例表明,robots.txt 文件与机器人的运作无关。 B) 它已被用作针对违反规定的机器人操作者的法律诉讼的依据。 C) 法院要求所有网站都创建 robots.txt 文件。 D) 在这些案件中,法院总是会忽略 robots.txt 文件。
A) Ask, AOL, 百度, Bing, DuckDuckGo, Kagi, Google, Yahoo!, Yandex B) LinkedIn, WhatsApp, Telegram C) Facebook, Twitter, Instagram D) Amazon, eBay, 阿里巴巴
A) 50 B) 500 C) 306 D) 100
A) Medium、Reddit、Yahoo B) Amazon、eBay、阿里巴巴 C) LinkedIn、WhatsApp、Telegram D) Google、Facebook、Twitter
A) Yandex B) 所有爬虫程序 C) BingBot D) Googlebot
A) 256 KiB B) 无限制 C) 500 KiB(512000 字节) D) 1 MB
A) Crawl-delay B) Content-Signal C) Sitemap D) Disallow
A) Crawl-delay B) Disallow C) Sitemap D) Allow |