A) 自动集成 B) 人工智能 C) 高级界面 D) 分析与调查
A) 丰田 B) 本田 C) 索尼 D) LG
A) C-3PO B) 伊娃 C) BOLT D) R2-D2
A) 瓦力 B) C-3PO C) 机器人 B-9 D) 擎天柱
A) 波士顿动力公司 B) iRobot C) 反思机器人技术 D) 蓝色起源
A) 日本 B) 德国 C) 韩国 D) 中国
A) 机器学习 B) 虚拟现实 C) 社交网络 D) 无线连接
A) 遗传算法 B) 深度强化学习 C) 人工神经网络 D) 示范编程
A) 雪崩 B) 我,机器人 C) 神经漫游者 D) 机器人会梦到电动羊吗?
A) 天网 B) HAL 9000 C) 奥创 D) 母亲
A) 自动化 B) 衔接 C) 拟人化 D) 算法
A) 达莱克 B) 约翰尼 5 C) R2-D2 D) 班德
A) 爬虫规则文件(例如:CrawlerRules.json) B) sitemap.xml C) meta标签文件(例如:MetaTags.html) D) robots.txt
A) Vint Cerf B) Tim Berners-Lee C) Martijn Koster D) Charles Stross
A) 网站根目录 B) 每个需要应用该规则的目录内部 C) 服务器的配置文件中 D) 用户的浏览器缓存中
A) 用于指示网络爬虫允许访问网站的哪些部分。 B) 用于存储用户的登录凭据。 C) 用于展示广告。 D) 通过加密来增强网站的安全性。
A) 2005 B) 1998 C) 2022 D) 2019
A) 电气和电子工程师协会 (IEEE) B) 互联网工程任务组 (IETF) C) 万维网联盟 (W3C) D) 国际标准化组织 (ISO)
A) 一种特定的基于文本的格式 B) JSON 对象 C) HTML 标签 D) 二进制代码
A) 每个子域名必须拥有自己的 robots.txt 文件。 B) 将一个 robots.txt 文件放在根目录下。 C) 为所有子域名使用同一个 robots.txt 文件。 D) 忽略子域名的 robots.txt 文件。
A) 法律案例表明,robots.txt 文件与机器人的运作无关。 B) 在这些案件中,法院总是会忽略 robots.txt 文件。 C) 它已被用作针对违反规定的机器人操作者的法律诉讼的依据。 D) 法院要求所有网站都创建 robots.txt 文件。
A) 1 MB B) 500 KiB(512000 字节) C) 无限制 D) 256 KiB
A) Allow B) Sitemap C) Disallow D) Crawl-delay
A) Ask, AOL, 百度, Bing, DuckDuckGo, Kagi, Google, Yahoo!, Yandex B) LinkedIn, WhatsApp, Telegram C) Facebook, Twitter, Instagram D) Amazon, eBay, 阿里巴巴
A) 100 B) 306 C) 50 D) 500
A) 用于增强视觉设计。 B) 用于加密数据传输。 C) 用于提高页面加载速度。 D) 用于控制网站的哪些部分会被抓取和索引。
A) 为了增强多媒体播放效果。 B) 为了提升服务器硬件性能。 C) 为了防止某些内容在搜索结果中出现误导性或不相关的信息。 D) 为了增加访问者数量。
A) Amazon、eBay、阿里巴巴 B) Google、Facebook、Twitter C) LinkedIn、WhatsApp、Telegram D) Medium、Reddit、Yahoo
A) BingBot B) Googlebot C) Yandex D) 所有爬虫程序
A) 实施验证码系统 B) 使用加密技术 C) 部署防火墙 D) 通过“安全隐蔽”来对抗
A) 所有网页都会被自动收录。 B) 该网站将被搜索引擎屏蔽。 C) 网络爬虫会认为对整个网站没有任何爬取限制。 D) 服务器会返回 404 错误。
A) Content-Signal B) Disallow C) Crawl-delay D) Sitemap
A) RFC 7230 B) RFC 3986 C) RFC 2616 D) RFC 9309
A) 只有当网站所有者手动批准时才可能出现。 B) 不,它们永远不会出现在搜索结果中。 C) 是的,如果它们是从其他被抓取的页面链接过来的。 D) 只有在robots.txt文件缺失的情况下,它们才可能出现。
A) 互联网规模足够小,可以维护一个包含所有爬虫的完整列表。 B) 用户上传的大文件。 C) 复杂的数据库查询。 D) 视频流媒体导致的高带宽占用。
A) CrawlerExclusion.txt B) RobotsNotWanted.txt C) WebBotRules.txt D) PageAccessControl.txt |