我的個人經驗：在 iPhone 上本地運行真實的 AI 聊天機器人

像ChatGPT和Gemini這樣的 AI 聊天機器人通常依賴雲端運算才能運作。但如果可以直接在 iPhone 上運行大型語言模型 (LLM)，無需訂閱、無需網絡連接，甚至無需離開設備，豈不妙哉？如今，由於一系列輕量級、小巧的應用程式和模型，這一切已成為可能。

我已經親自嘗試過了，以下是您需要知道的內容。

在 iPhone 上本地運行 AI

現在可以直接在 iOS 上運行Llama和Qwen等開源模型。這些模型使用一種稱為量化的過程進行小型化處理，該過程可以壓縮模型以適應手機內存，而不會顯著影響性能。

但有一點很重要：性能在很大程度上取決於你的設備。例如，搭載蘋果最新晶片的 iPhone 15 Pro 或 15 Pro Max 可以運行高達 7 億或 8 億個參數的模型（例如 Llama 3.1 8B），而老款手機更適合運行參數在 1 億到 3 億之間的較小模型。

讓這一切成為可能的應用程式

• LLM 農場（免費）： 最簡單的入門方式。您可以下載一個小型模型（例如 Phi-3.5 Instruct），只需單擊即可離線運行。快速查詢速度驚人地流暢。
• MLC 聊天（免費）：
  這是我使用的應用程式。我想試試LLM Farm，但不知何故，它在蘋果應用商店裡無法下載。因為它是免費的，所以我試用了一下，效果非常好。
• 私人法學碩士（社區計畫）： 這個選項更適合 DIY 項目，而不是一般使用者。這款應用程式包含詳細的指南，教你如何將 Llama 3.1 和 Qwen 等模型下載到你的 iPhone。如果你喜歡動手和實驗，絕對值得一試。
• 阿波羅（付費）： 我聽說過它不錯，但我還沒親自嘗試過。請在留言區告訴我你對這款注重隱私的應用程式的看法。

如何在本地運行模型

下載你選擇的應用程式後，打開它。從那裡，瀏覽內建模型清單並選擇一個（例如，Phi-3.5 Instruct Q4 quantized）。我選擇 Qwen 2.5 的原因很簡單，因為我已經有一段時間沒用它了。

下載完成後，您將在裝置上看到該表單（大小從幾百兆到數千兆不等，取決於其大小）。然後，您就可以開始聊天了。

你需要實事求是；現在不是要求深入分析或製定冗長詳細計劃的時候。請考慮以下幾點：

• 速度： 小型模型（1 至 3 億個參數）響應速度更快，而大型模型每個符號可能需要幾秒鐘的時間。
• 情境: 不要貼上整篇文章；保持提示簡短。
• 輸出： 本地大型語言模型可能不如 ChatGPT 準確，但它們對於筆記記錄、摘要、問答和輕量級起草很有用。

我嘗試了一些提示，感覺很有趣。沒什麼複雜的；我的目標只是看看本地請求會得到什麼樣的回應。你會立即註意到的一點是速度。大型語言模型的反應速度之快令人驚嘆。

我嘗試了以下說法，總的來說，我喜歡結果。

• 用三點概括《獨立宣言》。
• “寫一個關於機器人和貓的睡前故事。”
• “給我三個用雞肉、米飯和西蘭花做的晚餐創意。”

運行本地大型語言模型與使用ChatGPT-5聊天截然不同。它確實感覺比較簡單粗糙。如果您嘗試使用，請記住保持提示語簡短，因為與使用常規聊天機器人相比，上下文視窗非常有限。您會發現，如果本地大型語言模型負載過重，響應速度會變慢。

為什麼要這麼做？

• 無需訂閱費用。 您無需為了嘗試而耗盡您的信用。
• 內建隱私。 所有內容都保留在您自己的裝置上。
• 令人驚訝的多才多藝。 我對這款微型機器人能夠處理的任務數量感到非常驚訝。每次我測試它的極限時，它都能輕鬆應對。

底線

如果您擁有 iPhone 15 或更新機型，並想「從內部」探索人工智慧，這裡是一個絕佳的起點。 LLM Farm或MLCChat都是快速且免費的入門方式。如果您注重隱私，不妨試試Apollo 。如果您熱衷於實驗和個人化設置， Private LLM可以讓您深入探索更豐富的個人化設定。

請記住，這些並非你熟悉的全功能聊天機器人，所以不要期待類似 ChatGPT 的輸出。不過，在 iPhone 上運行自己的 AI 還是挺酷的，也很有未來感。