App Intents 将允许开发者将屏幕数据传递给 Apple Intelligence
Apple 最新的 iOS 18.2 测试版和其他版本支持开发人员测试新的应用程序意图系统,该系统最终将使在以后的版本中更加具有上下文意识。
根据开发者文档由 Apple 发布,开发人员可以测试应用程序意图系统,以使 Siri 和 Apple Intelligence 可以使用屏幕内容。简而言之,这意味着用户将能够将屏幕上活动的任何内容发送给人工智能进行解析。
即使这个 Beta 测试实施也是一个有限版本对于 Siri。所以不,您不会使用以下数据来询问有关您母亲到达机场的信息和邮件,但这是朝这个方向迈出的一步。
以下是 Apple 提供的示例的简短列表。
- 浏览器:人们可能会向 Siri 询问有关网页的问题。
- 文档阅读器:人们可能会要求 Siri 给出文档的结论。
- 文件管理:人们可能会要求 Siri 总结文件内容。
- 邮件:人们可能会要求 Siri 提供摘要。
- 照片:人们可能会向 Siri 询问与照片中的物体有关的事情。
- 演示文稿:人们可能会要求 Siri 为演示文稿建议一个创意标题。
- 电子表格:人们可能会要求 Siri 提供电子表格数据的概述。
- 文字处理器:人们可能会要求 Siri 为文本文档建议附加内容。
用户已经可以通过 Siri 向 ChatGPT 发送内容,并要求对该内容采取操作。例如,上面的无序列表是由 ChatGPT 通过对 Apple 文档的屏幕截图发出的 Siri 请求生成的。
然而,新的应用程序意图系统将让用户采取更直接的方法。例如,在 iOS 18.2 beta 2 中,已经可以将整个网页的内容共享给 Apple Intelligence。
用户可能很快就会开始在第三方应用程序中看到这些操作,但完整的应用程序意图系统至少要到 iOS 18.4 才会启动。该版本预计将于春季发布,通过将苹果的设备上信息与生成技术相结合,将为 Siri 注入新的活力。