使用 Nutanix 代理型 AI 建立企業級 AI 堆疊

在部署生成式 AI 的競賽中，最後一哩路往往最為艱難。資料科學家和開發人員不僅需要原始的運算能力；他們還需要一個整合模型、安全護欄和資料連接器的生態系統，才能建立企業級代理程式。

如今，我們正在彌合此一差距。透過在 Nutanix Enterprise AI（NAI）導入 AI Gateway、擴展模型及服務（MaaS）和 MCP 伺服器存取管理功能，我們正在提供一個完整的 Kubernetes 原生 AI 服務層。結合 Nutanix Kubernetes 平台（NKP）上精心策劃的 AI Catalog（即將推出），Nutanix 正在提供專為現代企業設計，用於生產就緒的 AI PaaS。

單一介面、完全不會被廠商綁定：AI Gateway（TechPreview）

隨著組織規模不斷擴大，其往往會發現自己深陷於 SDK 蔓延的困境，需要同時應付託管供應商、本地端模型和微調變體等不同的 API。Nutanix AI Gateway 透過提供跨模型廠商的統一標準化 API 來解決此問題。

這個抽象層不僅能簡化程式碼；它還提供關鍵的企業級功能：

• 高可用性：AI Gateway 可設定為連接至多個上游供應商。如果主要供應商發生故障或超出預算，流量將自動路由至健康的備援供應商，有助於確保您的 AI 代理程式持續上線。Gateway 提供涵蓋所有模型（包括託管和自行託管）的 Unified Observability，消除可能造成分析誤導和決策品質下降的碎片化檢視方式。
• 分散式可擴展性：遠端 NAI 叢集可註冊為提供者，讓您利用分布於整個基礎架構的 GPU，消除輸送量瓶頸。
• 治理與成本控制：Gateway 透過全域和精細的權杖式使用者速率限制，扮演財務護欄的角色。它可防止失控的代理程式耗盡預算，讓建構者能專注於邏輯，而非關注帳單金額。

擴展模型即服務

我們正在擴充模型即服務（MaaS）功能，讓團隊在部署人工智慧方面擁有更高的彈性。

驗證目錄中的新模型包括 Olmo 和 Ministral 系列，並配備自動化的資源計算功能。對於建立多模態應用程式的使用者，我們則整合 NVIDIA Whisper NIM，以提供高效能的語音轉文字功能。

透過 KV-Cache Aware 路由（技術預覽）和 Speculative Decoding 進一步最佳化效能，以減少「首字回應時間」(TTFT）和權杖間延遲。對於需要專門邏輯的團隊，我們則推出 LoRa-based Supervised Fine-Tuning（技術預覽）。這讓私有資料可進行高效能的調校，並直接於 NAI 工作流程中管理模型，實現無縫部署和可觀測性。

保護代理程式的操作之手：MCP 伺服器存取管理（技術預覽）

模型情境協定（MCP）旨在允許代理程式能安全地與外部工具和內部資料庫互動，無需自訂程式碼整合。

NAI 為 MCP 伺服器存取管理提供下列功能：

• Unified Security 與 RBAC for MCP Servers：在閘道介面套用 API 金鑰注入，而非在每個 MCP 伺服器上設定。
• 工具層級過濾：控制代理程式可存取的特定工具功能（例如「唯讀」與「寫入」）。
• 企業可觀測性：所有 MCP 請求，包括延遲時間和呼叫的特定工具，都會被記錄，進而為 AI 治理提供完整的稽核軌跡。

NKP AI Catalog:：精心策劃的生產環境快速通道

代理程式建構者面臨的最大障礙通常為「系統上線後第 2 天」作業：管理 CVE、驗證版本相容性，以及將不同的工具拼湊在一起。

即將推出的 NKP AI Catalog 將提供一套精心策劃和驗證的工具，涵蓋整個 AI 生命週期：

• 開發者工具：即用型 Jupyter Notebook，可供實驗使用。
• 向量資料庫：支援在私有資料中語義搜尋接地代理程式。
• MLOps 和框架：用於建立複雜代理程式工作流程的已驗證技術堆疊。
• NVIDIA NeMo 服務：用於評估和微調 NIM 的專業工具。

從簡單的提示到在生產環境中部署受管控且安全的 AI 代理程式，整個過程不應是支離破碎的掙扎。透過 NAI 和 NKP 的更新，Nutanix 提供統一的平台，可隨您的遠大目標而擴展規模。無論您正在嘗試開放原始碼模型，或部署全域規模的代理程式，Nutanix AI PaaS 都能協助確保您的基礎架構成為加速器，而非瓶頸。

©2026 Nutanix, Inc. 保留所有權利。Nutanix、Nutanix 標誌和本文所提及的所有產品和服務名稱，均屬於 Nutanix 公司在美國和其他國家的註冊商標或商標。Kubernetes® 為 Linux 基金會的註冊商標。NVIDIA®、Whisper™ 與 NIM™ 均為 NVIDIA 公司的商標和／或註冊商標。此處提及的所有其他品牌名稱均僅供識別參考，且可能為其各自擁有者的商標。本內容可能包含明示和暗示的前瞻性陳述，這些陳述並非歷史事實，而是基於我們目前的預期、估計和信念。這些陳述的準確性涉及風險和不確定性，並取決於未來的事件，包括我們可能無法控制的事件，而實際結果可能與此類陳述所預期或暗示的內容有重大或相反的差異。任何前瞻性陳述僅代表截至本陳述發布之日的資訊，除法律規定外，我們概不承擔更新或以其他方式修改此類前瞻性陳述，以反映後續事件或情況的義務。