透過即將推出的 API，可以透過 Apple Intelligence 共享應用程式畫面上找到的內容
由於基於 AppleInsider 在 WWDC 之前洩露的技術的新開發者 API，Apple 很快就能查看和處理螢幕內容。
週一，蘋果發布了新文件幫助開發人員為即將推出的 Siri 和特徵。公司的透露 Siri 將獲得顯著的上下文感知，並且虛擬助理在某些時候將能夠使用當前螢幕上內容中的資訊。
由於蘋果的改變，Siri 無疑會變得更加有用。該公司提供了一系列範例，這些範例提供了一些有關新功能和改進內容的見解，將來能夠做到。
使用者可以選擇向 Siri 詢問有關他們目前正在查看的網頁或照片中特定物件的問題。虛擬助理還可以根據要求總結文件和電子郵件，或透過添加更多內容來完成文字。
請注意，其中一些功能已經在第一個版本中實現了開發者測試版，引入了 ChatGPT 整合。 Siri 可以將 PDF、文字文件或圖像轉發到 ChatGPT 來執行某些操作，但前提是需要使用者的許可。
新的開發者 API 顯示蘋果希望進一步簡化這項流程。使用者無需要求 Siri 向 ChatGPT 發送文檔，而是可以直接詢問有關螢幕上頁面的問題或以某種方式使用其中的資訊。這裡還有很大的改進空間，因為 ChatGPT 目前只能存取用戶手動提供的螢幕截圖或文件。
蘋果讓人工智慧使用螢幕資訊的想法在 Apple Intelligence 宣布之前就已經很明顯了。。該公司發表的研究，特別是關於模型，作為蘋果在人工智慧領域計劃的指標。
文件分析、文件理解和人工智慧驅動的文本生成非常重要。在我們最近的一份報告中，蘋果內幕 Apple Intelligence 仍在開發期間使用的各種內部測試應用程式。
測試應用程式和環境，特別是 1UP 應用程序，反映了目前透過 iOS 18.2 Beta 上的 ChatGPT 整合實現的許多功能。蘋果還有專門的應用程式來測試在郵件和訊息中。
Siri 的新功能可以完成和總結文本，或回答有關圖像、文件和網頁的問題，這一點在官方宣布之前也已公佈。在我們的報告中法學碩士，以及和在專案中，我們公佈了其中許多功能，解釋了它們的工作原理，甚至解釋了蘋果的。
顯然，鑑於其在生成式人工智慧專案上投入了大量的時間、研究和精力，maker 非常重視人工智慧。週一發布的開發者 API 只是為了幫助開發者為新的 Siri 功能做好準備，這些功能包括將於 2025 年透過 iOS 18.4 更新首次亮相。
