我使用 Copilot Vision 的體驗：感覺有點奇怪，但多少有點用——以下是我的看法

美國用戶現在可以在 Windows 11（以及 Windows 10）上使用 Copilot Vision，這是一款人工智慧助手，幾乎可以幫你完成電腦上的所有操作。想知道它是否真的有效嗎？我親自體驗過，在本指南中，我將詳細介紹這項功能的功能、獲取方式，並分享我的個人使用體驗。

在 Copilot 應用程式中，此功能 “想像” 此功能可讓您與聊天機器人分享螢幕，使其能夠查看並解讀螢幕上的內容。它就像您的第二雙眼睛，根據您應用程式或瀏覽器中顯示的內容，提供即時幫助、答案和見解。

這也是一項可選功能，因此您必須在 Copilot 版本 1.25061.104.0 及更高版本中手動啟用它。如果您使用的是瀏覽器 微軟邊緣您也可以透過 Copilot 整合來存取該功能。

值得注意的是，人工智慧幾乎可以顯示任何內容，只要它不是受數位版權管理 (DRM) 或其他類型限制內容保護的材料。

無需訂閱即可使用此功能。 副駕駛專業版 在 Windows 10 和 11 系統上，您也可以在 iOS 和 Android 作業系統上存取 Copilot Vision，但您需要訂閱才能在這些行動裝置上使用它。

在本指南中，我將概述開始使用此功能所需的步驟，並分享我的經驗。

如何在 Windows 11 上取得並啟動 Copilot Vision 功能

Copilot Vision 目前已在美國推出，適用於 Copilot 版本 1.25061.104.0 及更高版本。因此，第一步是開啟 Microsoft Store 應用，前往「下載和更新」部分，然後點擊「取得更新」按鈕，確保您的電腦上已安裝最新版本。此步驟至關重要，可確保您的裝置與新功能相容，並提升 Copilot 的整體效能。

如果您之前卸載了該應用程式，可以從 Microsoft Store 重新取得。在應用程式商店中搜尋「Copilot」並安裝，即可享受其所有功能。

微軟解釋說，Vision 是一項可選功能，從技術上講確實如此，因為你需要授予它共享螢幕的權限。然而，它預設是啟用的，因為設定中沒有完全停用該功能的選項。這意味著，一旦你更新了應用程式，Vision 即可使用，但它需要你明確同意才能存取你的螢幕內容。

在副駕駛設定頁面，您只能找到「高亮顯示」的開關選項，但此功能僅控制人工智慧在螢幕上以視覺方式指示操作的能力，並未控制該功能在應用程式內的可用性。換句話說，即使您停用“高亮顯示”，視覺功能仍然可用，但不會高亮顯示螢幕上的可見元素。

如果您不希望使用 Copilot，最好將其從「設定」>「套用」>「已安裝的應用程式」中移除，然後點擊「Copilot」旁的「解除安裝」選項。這將從您的裝置中徹底刪除該應用，確保它無法存取您的資料或系統資源。

我在 Windows 11 上使用 Copilot Vision 的體驗：初步印象

當我第一次在 Windows 11 上使用 Copilot Vision 時，我感覺有點出乎意料；它與我之前的體驗截然不同。以前我需要輸入詳細的文字或語音指令來建立上下文，而 Copilot 的智慧助理似乎能夠自動理解上下文，從而提供即時有效的幫助。這種無需特定指令即可理解上下文的能力，標誌著我們與電腦互動方式的重大變革。

儘管 Copilot Vision 的精確度仍在提升中，但它讓我們得以一窺未來運算的發展方向。它代表著朝著更無縫、一體化的運算體驗邁出的重要一步，在這種體驗中，電腦不再只是執行特定指令的工具，而是能夠理解並預測我們需求的智慧夥伴。這項技術有望從根本上改變我們的工作、創造和學習方式。

Copilot Vision 入門指南

確認 Copilot Vision 已安裝在我的電腦上後，我立即開始測試。我打開了一些應用程序，然後啟動了 Copilot Vision。 副駕駛 從“開始”選單，我點擊了該按鈕。 “想像” 然後我選擇了想要與 Copilot 共享的應用程式（眼鏡），並啟動了該選項。 “分享”.

關於應用程式的測驗題

在使用記事本應用程式時，我讓 Copilot 向我展示如何更改應用程式的預設字體，但他給出了錯誤的答案。

副駕駛建議搜尋列表 “視圖” （顯示），但這裡沒有這個選項。根據目前記事本的設計，這是因為字體變更設定位於設定頁面，需要透過選單存取。 “編輯” （編輯）或點擊按鈕 “齒輪” 應用程式右上角的齒輪圖示。

最終，Copilot 透過逐步刪除的方式找到了正確答案。有趣的是，聊天機器人表示它犯了一個錯誤，因為它混淆了不同版本的記事本。然而，我並不記得任何版本的記事本選單中有字體設定。 “視圖” （顯示）完全沒有。這表明Copilot可能依賴過時或不準確的資訊。

設定問題測試

作為測試過程的一部分，我在 Windows 11 中運行了「設定」應用，然後讓 Copilot 將我的電腦更新到最新的系統版本。

在這種情況下，這是有可能的。 微軟副駕駛 使用 Vision 功能，它能正確識別我目前位於設定應用中，並準確地引導我找到對應的選項。 “Windows更新” 他標記了按鈕 檢查更新.

接下來，我提出了一個不太常見（但仍然相關）的請求。我詢問如何在更新過程中阻止我的電腦將更新下載到其他裝置。雖然這個請求並不複雜，但它測試了助手解讀使用者更微妙意圖的能力。

第一次嘗試時，Vision 誤解了我的查詢，預設顯示了通用的裝置更新說明。第二次嘗試時，在我改進了措詞後，它正確地識別了我的問題。

然而，它的指導與我在螢幕上看到的內容並不一致。例如，它顯示我已經成功禁用了更新共享功能，儘管我並沒有進行任何操作。這表明該助手是基於預期行為進行假設，而不是實際分析即時系統狀態。這凸顯了微軟 Copilot 需要改善其理解使用者情境的能力，並提供更精確可靠的回應，尤其是在 Windows 11 設定和更新選項方面。

元素識別測試：第三階段

在接下來的測試中，我想驗證 Copilot 識別螢幕上視覺元素的能力。為此，我打開了一張特定的圖片，並讓 Copilot 準確地識別其中的元素。

在這個例子中，我向Copilot展示了一張紅色夾克的圖片。聊天機器人成功識別並準確描述了該產品，甚至在用戶提出要求後還提供了更多相關資訊。這充分展現了Copilot Vision分析影像並提供詳細資訊的能力。

然而，儘管聊天機器人識別出這件夾克在亞馬遜上出售（即使圖片在單獨的標籤頁中打開），它仍然無法判斷我瀏覽的並非實際的產品頁面。因此，它無法向我提供亞馬遜產品頁面的即時資訊。這表明 Copilot 在將視覺訊息與用戶當前的瀏覽環境關聯起來方面存在局限性。

文字擷取測試

Copilot Vision 的另一個功能是從圖像中提取文字。此前，作業系統無法檢測和提取圖像中的文本，但現在，有多種方法可以有效地完成這項任務。

例如，現在除了 PowerToys 提供的「文字擷取器」功能和截圖工具之外，您還擁有一些專門用於擷取文字的工具。 點選執行現在，您也可以在過程中依靠 Copilot Vision。

為了測試這項功能，我打開了「設定」應用，進入「遊戲模式」頁面，並詢問 Copilot 是否可以提取頁面上的文字。這款智慧機器人成功地朗讀了頁面上顯示的所有文字。

我遇到的唯一缺點是無法像 Click to Do 那樣將提取的文字複製到剪貼簿或直接選擇文字。不過，機器人會將 Copilot 應用程式中的所有內容都複製到對話日誌中。

文字寫作測驗：人工智慧在內容分析和改進方面的能力

理論上，你可以就螢幕上顯示的任何內容提出任何問題。例如，如果你正在處理某個特定文件，你可以指示人工智慧分析圖表或任何其他類型的顯示資料。

這項技術還允許您要求對特定場景或圖像進行描述，識別地標或地理位置，或任何您能想到的東西。可能性無窮無盡。

如果您正在撰寫文章，可以請人工智慧朗讀並提出改進建議。這項功能對希望提升寫作水平的作家、部落客和學生尤其有用。

在我最近的測試中，我將一段簡單的文字匯入記事本，並讓聊天機器人將其加長。程序成功地建議了一個改進後的替代版本。

雖然智慧助理能夠理解螢幕上顯示的文字並提出替代版本，這令人印象深刻，但它在理解後續所需操作方面卻不太準確。

雖然我知道無法直接複製文本並將其替換為建議的內容，但我還是問是否可以複製貼上備選文本，但他指出了文件中的某個部分，讓我進行插入。

解決方法是先開啟並關閉 Copilot Vision，然後從 Copilot 介面中選擇並複製聊天記錄中的文字。這種方法可以讓你輕鬆有效地利用 AI 建議。

底線

作為一個多年從事說明書編寫工作的人，我認為這項技術在理解螢幕內容和提供必要幫助方面確實令人印象深刻。

然而，必須承認，它存在許多錯誤，如果您對要執行的操作沒有基本的了解，它可能幫不上什麼忙。換句話說，事先掌握相關知識對於充分利用它至關重要。

此外，它表面上看起來擁有完全的知識，但實際上只是人工智慧在複製網路上已有的內容。這降低了它作為創新工具的價值。

有時，使用 Copilot Vision 的感覺就像在和技術支援人員打電話。雖然聊天機器人可以看到你的螢幕，但它的指導方式更像是人工客服，往往無法理解你是否已經完成了任務。這種缺乏上下文感知能力帶來了極大的挑戰。

此外，在大多數情況下，您必須非常具體地發出指令，甚至需要明確指定要執行的特定操作。這與人工智慧的初衷背道而馳，人工智慧的本質在於自然地理解用戶意圖。需要注意的是，此功能主要面向非技術用戶，因為技術嫻熟的用戶不太可能依賴它。

整體而言，雖然 Vision 作為潛在的個人助理展現出一定的潛力，但其更深層的上下文感知能力和準確性仍需提升。它似乎更傾向於“猜測”，而不是主動監控並響應螢幕內容的當前狀態。這使得它在複雜場景下可靠性較低。

最後要說明的是，我沒有列出本指南中使用的具體問題，因為它們無關緊要。聊天機器人的核心概念是像與真人對話一樣進行正常的交流。重點應該放在互動的流暢度。

此外，此功能無法代表您執行操作，它只能分析螢幕上的內容。要執行操作，人工智慧必須作為代理，但目前只有配備 Copilot+ 的電腦才具備此功能，而且即使是 Copilot+ 電腦，其應用設定的能力也十分有限。

最後，雖然這項功能是免費的，但它也有一些限制。例如，即使我訂閱了 Microsoft 365，幾次使用後，應用程式也會提示我升級到 Copilot Pro。

因此，如果您正在排查問題，並且在排查過程中，您可能需要付費，直到人工智慧助理完成問題修復。這種做法可能會讓依賴免費幫助的使用者感到沮喪。