我的個人經驗：在 iPhone 上本地運行真實的 AI 聊天機器人

人工智慧聊天機器人，例如： ChatGPT 和 雙子座……依靠雲端運算來運作。但是，如果你可以直接在 iPhone 上運行大型語言模型 (LLM)，無需訂閱、無需網絡連接，甚至無需將數據從設備中移除，那會怎麼樣？得益於一系列輕量級、緊湊的應用程式和模型，這已經成為可能。

我已經親自嘗試過了，以下是您需要知道的內容。

在 iPhone 上本地運行 AI

現在您可以執行開源模型，例如 駱駝 和 奎文 直接在 iOS 上。這些模型使用稱為量化的過程進行縮減，該過程會將其壓縮以適應移動內存，而不會顯著影響性能。

但有一點很重要：性能在很大程度上取決於你的設備。例如，搭載蘋果最新晶片的 iPhone 15 Pro 或 15 Pro Max 可以運行高達 7 億或 8 億個參數的模型（例如 Llama 3.1 8B），而老款手機更適合運行參數在 1 億到 3 億之間的較小模型。

讓這一切成為可能的應用程式

• LLM 農場（免費）： 最簡單的入門方式。您可以下載一個小型模型（例如 Phi-3.5 Instruct），只需單擊即可離線運行。快速查詢速度驚人地流暢。
• MLC 聊天（免費）：
  這是我使用的應用程式。我想試試LLM Farm，但不知何故，它在蘋果應用商店裡無法下載。因為它是免費的，所以我試用了一下，效果非常好。
• 私人法學碩士（社區計畫）： 這個選項更適合 DIY 項目，而不是一般使用者。這款應用程式包含詳細的指南，教你如何將 Llama 3.1 和 Qwen 等模型下載到你的 iPhone。如果你喜歡動手和實驗，絕對值得一試。
• 阿波羅（付費）： 我聽說過它不錯，但我還沒親自嘗試過。請在留言區告訴我你對這款注重隱私的應用程式的看法。

如何在本地運行模型

下載你選擇的應用程式後，打開它。從那裡，瀏覽內建模型清單並選擇一個（例如，Phi-3.5 Instruct Q4 quantized）。我選擇 Qwen 2.5 的原因很簡單，因為我已經有一段時間沒用它了。

下載完成後，您將在裝置上看到該表單（大小從幾百兆到數千兆不等，取決於其大小）。然後，您就可以開始聊天了。

你需要實事求是；現在不是要求深入分析或製定冗長詳細計劃的時候。請考慮以下幾點：

• 速度： 小型模型（1 至 3 億個參數）響應速度更快，而大型模型每個符號可能需要幾秒鐘的時間。
• 情境: 不要貼上整篇文章；保持提示簡短。
• 輸出： 本地大型語言模型可能不如 ChatGPT 準確，但它們對於筆記記錄、摘要、問答和輕量級起草很有用。

我嘗試了一些提示，感覺很有趣。沒什麼複雜的；我的目標只是看看本地請求會得到什麼樣的回應。你會立即註意到的一點是速度。大型語言模型的反應速度之快令人驚嘆。

我嘗試了以下說法，總的來說，我喜歡結果。

• 用三點概括《獨立宣言》。
• “寫一個關於機器人和貓的睡前故事。”
• “給我三個用雞肉、米飯和西蘭花做的晚餐創意。”

運行大型本地語言模型與聊天不同 聊天GPT-5它確實感覺過於簡單和粗糙。如果你嘗試這樣做，請記住保持提示簡短，因為上下文視窗比使用常規聊天機器人版本要有限得多。如果你讓本地大型語言模型過載，你會感覺到反應速度變慢。

為什麼要這麼做？

• 無需訂閱費用。 您無需為了嘗試而耗盡您的信用。
• 內建隱私。 所有內容都保留在您自己的裝置上。
• 令人驚訝的多才多藝。 我對這款微型機器人能夠處理的任務數量感到非常驚訝。每次我測試它的極限時，它都能輕鬆應對。

底線

如果你有 iPhone 15 或更新機型，並且想從「內部」探索 AI 是什麼樣子，那就從這裡開始。它可以 LLM農場 أ或者 MLC聊天 快速且免費的入門方式。如果您關心隱私，該應用程式 阿波羅 值得一試。如果你喜歡嘗試和定制， 私人法學碩士 允許您深入了解自訂設定。

請記住，這些並非你熟悉的全功能聊天機器人，所以不要期待類似 ChatGPT 的輸出。不過，在 iPhone 上運行自己的 AI 還是挺酷的，也很有未來感。