如何在手機上運行大型本地語言模型：以及你可能想要這樣做的原因

其優勢與桌上型電腦類似：您可以擁有一個龐大、始終可用且私有的語言模型 (LLM)，而無需將任何資料發送給 Google、OpenAI、Anthropic 或任何其他第三方。缺點是，由於您使用的是規模較小、功能較弱的模型，因此 AI 的性能會更慢、更有限，而且您可能會注意到電池續航時間會受到影響（這些 AI 對話可能會非常消耗資源）。

即使做出這些妥協，你手機上運行的原生 AI 仍然能夠有效地執行日常任務和對話，這意味著你可以讓Gemini或 Siri（以及可能你的其他 AI 訂閱）休息一下。

運行本地大型語言模型（LLM）所需的手機

過去兩年內發布的任何 iPhone 或 Android 手機都應該能夠流暢運行本地大型語言模型 (LLM)；人工智慧的興起促使製造商在設計設備時考慮到了此類用途。較老的手機也可以運行，但可能需要更小的型號，並且性能會稍遜一籌。

在運行人工智慧模型時，隨機存取記憶體 (RAM) 的效能實際上比處理器（晶片組）的效能更為重要。要獲得令人滿意的效能，您需要至少 6GB 的 RAM，而對於更大的模型，8GB 或更大的 RAM 則更為理想。如果您的 RAM 小於 8GB，建議選擇參數量在 1 億到 2 億 (B) 之間的模型，其中 B 代表“十億”，表示模型中的參數數量（這主要反映了模型的智能程度和通用性）。

至於儲存空間，無需過於擔心。即使是使用 7-8 億個參數的最大模型，也不會佔用手機超過 5GB 的空間，因此您可以在設備上保存多個 AI 模型，並根據需要進行切換。

如果你今天購買一部新的旗艦 iPhone 或安卓手機，它會預先安裝原生 AI 模型，用於執行一些可以離線（無需網路連線）的快速任務。然而，這些由蘋果和谷歌開發的模型並不能直接供用戶使用；它們僅在 Siri AI 和 Gemini 認為它們是最佳選擇時才會啟用。

運行本地大型語言模型 (LLM) 所需的應用程式和模型

目前有不少應用程式可以將人工智慧模型移植到手機上運作。其中最受歡迎的包括 Atomic Chat（支援 Android和iOS 系統）和 PocketPal AI（支援 Android和iOS 系統）。它們之間也存在一些差異；例如，Atomic Chat 更容易擴展到桌上型電腦，支援 LLM 模型，而 PocketPal AI 則更加輕量級，但兩者都是手機原生人工智慧入門的理想選擇。

至於模型本身——有時被稱為 SLM 或小型語言模型，因為它們的設計初衷是在資源有限的環境中運行——您也有很多選擇。例如，Gemma 是 Google 提供的免費開源模型的統稱，其中一些模型專門設計用於資源有限且空間狹小的環境（例如您的手機）。

Meta擁有名為Llama的開源AI模型，而微軟的Phi-4模型也因其高效性而備受好評。只需尋找名稱中「B」字母前參數最少的版本（或名稱中帶有「mini」字樣的版本），即可找到最適合您手機的軟體包。

目前，這些小型語言模型（SLM）主要基於文本，儘管一些更新、更大、更先進的模型可以分析圖像和文件。如果您想創建圖像和視頻，至少在下一次技術突破出現之前，您仍需使用傳統的基於雲端的AI模型。

在手機上體驗本地大型語言模型 (LLM)

為了測試這些原生AI模型在手機上的實用性，我在我的Pixel 9 Pro上安裝了PocketPal AI和Google的一款小型Gemma模型——Pixel 9 Pro雖然不再是旗艦機，但也不算太老。 PocketPal AI簡潔的選擇嚮導給我留下了深刻的印象，它可以直接引導你找到適合你手機的AI模型。

下載並安裝幾個模板後，載入和使用起來就非常方便了。 PocketPal AI 還提供可選的「助手」（這也是應用程式名稱的由來），這些助理可以根據您的需求自訂 AI 模板——預設的 Pip 選項似乎是對 Gemini 或Siri等標準 AI 應用的一種不錯的替代品。指導和後續功能運作流暢，聊天記錄預設儲存。

在手機上運行LLM模型時，響應速度明顯較慢（這也在預料之中），而且AI模型的大小也會造成明顯的差異——選擇較小的模型可以獲得更快的響應速度，即使它們的智能程度或完整性可能略遜一籌。建議您嘗試幾種不同的模型，找到最適合您的性能和速度之間的最佳平衡點。

鑑於網路搜尋能力有限或資訊更新不及時，此選項非常適合用於集思廣益、分析和完善現有文本、撰寫新文本、快速收集事實或進行比較（例如，「推薦一部與…類似的電影」）。但一如既往，我們必須警惕這些模型可能產生的“幻覺”，任何由人工智慧提供的資訊都不能保證其準確性。