在組織中採用人工智慧：使用情況揭示了什麼。

深入分析揭示了人工智慧的實際應用情況，以及它在企業中的應用及其真正的影響。

許多關於人工智慧的公開討論仍然圍繞著排行榜：哪個模型排名最高，哪個供應商是“贏家”，以及哪個基準分數最重要。但對於實際建構和部署人工智慧解決方案的組織而言，這些問題的重要性正在降低，而理解人工智慧在實際場景中的應用則顯得更為重要。

其中一個原因是圍繞著「tokenmaxxing」概念日益增長的爭議——這種做法旨在最大限度地利用人工智慧，通常是由內部採用目標、激勵措施或基於排行榜的競爭所驅動的。

但是，如果只專注於代幣消費，可能會鼓勵人們為了活動而活動，而不是衡量人工智慧提供的真正商業價值。

最近的例子，包括亞馬遜關閉內部人工智慧排行榜以及優步在迅速耗盡年度預算後限制員工人工智慧支出等，都凸顯了將使用量作為衡量成功的主要標準所帶來的風險。

然而，最新數據顯示情況更為複雜。根據Vercel AI Gateway 7月的數據，代幣交易量在6月份成長了29%，支出成長了27%，而代幣平均價格保持穩定。企業不再只是單純地使用人工智慧，而是更謹慎地決定在哪些方面部署不同的模型，以及如何在成本和效能之間取得平衡。

建構真正人工智慧系統的團隊正越來越多地採用動態路由方式，根據成本、可靠性和推理能力，將任務分配到多個模型上。例如，低成本模型可能適用於任務摘要，而高效能推理模型則用於處理高風險決策。

實際上，人工智慧更多的是協調多個模型之間的各個層，而不是圍繞單一提供者建立系統。

最新的AI Gateway資料顯示，企業正在將工作負載分散到不同的模式類別中，而不是依賴單一供應商。開放權重模型目前處理了29%的網關代幣，但其支出佔比不到4%，而前沿模型則繼續主導高價值的推理工作負載。

組織不會採用一刀切的方法，而是根據手邊的任務選擇不同的模型。

超越排行榜榜首

在企業早期採用人工智慧的階段，團隊被鼓勵積極進行實驗、開發原型並探索新的應用場景。這有助於加速人工智慧的普及應用，使其從實驗階段走向實際應用，但也造成了一種過於簡單的假設：更多的人工智慧應用意味著更大的價值。

6月份代幣交易量和支出增加了約30%；然而，代幣平均價格保持穩定。各組織機構繼續大力投資人工智慧，但在低成本和高端模型之間分配工作負載方面，他們正變得更加重視策略。

這種模式與早期的技術變革如出一轍，例如雲端運算早期時代，企業在提高效率之前都採取了激進的擴張策略。人工智慧的普及應用也遵循著類似的軌跡，但速度快得多。

對人工智慧團隊而言，衡量人工智慧最有用的指標並非成本，而是結果，這才是人工智慧成功的基石。一個能夠自動化數週工程工作的流程，其效率可能遠高於一個成本較低但輸出結果不可靠，且後續營運成本最終會超過其初始節省的流程。

問題不在於團隊可以使用多少人工智慧，而是如何有效地運用人工智慧來解決有意義的問題。

傳統聊天機器人的工作流程相對簡單：輸入指令，然後接收回應。而代表更智慧的人工智慧代理的代理系統，其行為則截然不同。

人工智慧代理會思考、呼叫工具、執行程式碼、檢索資訊、查詢資料庫，並在完成任務前透過多個步驟重複執行這些操作。這些操作都會消耗令牌。

因此，人工智慧工作負載正變得越來越依賴代理。如今，單一請求可能涉及一系列工具呼叫、驗證循環和提供者切換，這些操作都在後台進行，從而徹底改變了經濟模式。

後台代理商是每個入口網站中最昂貴的代幣，雖然只佔總代幣的 5%，但卻佔總支出的 14%。更複雜、對業務更敏感的工作負載需要比簡單的 AI 任務更高的推理能力。

這意味著使用量的增加並不總是效率低下的標誌。在許多情況下，它反映了人工智慧系統本身日益增長的複雜性和能力。

隨著組織越來越依賴多種人工智慧模型和服務供應商，保持可靠性成為一項更複雜的任務。

推理任務、多智能體工作流程和複雜的協調鏈會給模型提供者帶來巨大的壓力。如果單一模型在執行過程中發生故障，整個工作流程都可能崩潰。

因此，回退路由已成為生產環境中人工智慧的核心基礎設施。 Vercel 五月發布的 AI 閘道報告顯示，約有 3.5% 的請求因故障、逾時或速率確定問題而需要重新路由。

如果沒有服務提供者之間的動態路由，這些請求就會失敗。而對於最終用戶來說，服務提供者的不穩定性是看不見的；他們並不關心問題的根源，只關心應用程式是否還能繼續運作。

因此，隨著人工智慧系統越來越能夠作為獨立代理運行，靈活性和協調性變得與模型本身的能力同樣重要，這凸顯了人工智慧向更智慧的代理轉變的重要性。

依賴單一服務提供者的策略已難以維持。新模式層出不窮，價格波動迅速，不同模式的表現也因任務類型而異。

今天最好的程式設計模型，明天可能就不是資訊檢索任務、客戶支援或推理工作流程的最佳選擇。

關鍵不在於選出一個唯一的贏家模型，而在於建立能夠適應並吸收每週最佳模型的AI系統，因為這種偏好變化迅速，而且還會持續變化。

將多模型格式視為基礎設施的團隊，在推出新模型時無需重建系統。