為何平台式方法對代理型人工智慧至關重要
嶄新的「代理型」AI 現實
主動式人工智慧正迅速重塑企業生態，帶領組織超越簡單的聊天機器人時代，邁向自主行動的領域。如今，員工使用內建於生產力應用程式中的生成式人工智慧，開發人員則在生成式模型上進行實驗，許多組織更在公有雲中部署大型語言模型（LLMs）。但這種模式正在轉變：企業現在正部署能夠獨立進行推理、使用工具，並執行複雜、多步驟工作流程的人工智慧代理。雖然這項演進擴大了人工智慧的存取，但未必已實現生成式人工智慧（GenAI）的核心目標：即具備可量化的投資報酬率，並能帶來高生產力。
Boston Consulting Group 的一份報告指出，儘管人工智慧已被廣泛採用，但主管們所設想的業務轉型仍遙不可及，且四分之三的企業尚未從人工智慧中發揮出任何實質價值。如今，隨著企業從被動式助理轉型為自主式工作流程，其利害關係更為重大。與此同時，基礎架構成本正以難以預測的方式攀升，治理與主權方面的挑戰日益加劇，而董事會則向資訊長（CIO）和 IT 主管提出了一個尖銳的問題：這項投資能帶來什麼具體的回報？
投資報酬率（ROI）仍難以捉摸。
對 IT 部門而言，這場賭注極高。人工智慧有望實現核心任務的自動化、開創嶄新的商業模式，並徹底改變客戶互動模式。然而，隨著技術從被動的「使用者觸發式查詢」轉向自主的「代理型工作流程」，這將帶來成本螺旋式上升、治理與安全風險暴露，以及營運複雜性等極為真實的風險，進而侵蝕信任與可預測性。
問題不在於採用率，而在於價值。
SaaS 人工智慧應用程式雖能帶來局部效益，但未必能徹底改變企業的工作流程；它們往往難以支援多步驟的自主執行，且會引發隱私疑慮。
以雲端為優先的大規模語言模型（LLM）部署雖能擴展功能，卻也伴隨著成本難以預測、主權疑慮及管理複雜度等嚴峻的取捨。
IT 主管們正在詢問：
我們該如何從實驗階段邁向全企業層面的轉型？
隨著使用規模擴大，我們能否控制成本？
我們該如何在保障敏感資料主權的同時，確保其合規性？
隨著人工智慧從智慧助理演變為完全自主的代理，我們該如何管理、保障其安全並進行協調？
當人工智慧從智慧助理演進為自主代理時，將會發生什麼事？
我們能否在不僱用新員工（這會造成高額開支）的情況下，善用現有人才與員工？
現實情況是：單單採用是不夠的。
為了創造永續的商業價值，企業需要企業級人工智慧，這意味著這種人工智慧必須像其他任何關鍵任務工作負載一樣，具備可觀測性、可治理性、高效率與韌性。值得信賴的人工智慧，能無縫融入複雜的企業工作流程，並帶來實際成果。
這本電子書探討了當今 IT 主管所面臨的挑戰，以及「平台優先」策略如何使他們不僅能獲得局部效益，更能以安全、永續且大規模的方式，在企業層級發揮人工智慧的轉型力量。
挑戰 1：企業人工智慧完備度
缺乏企業紀律的大型語言模型
大型語言模型（LLM）通常部署在原本並非為支援其規模或複雜度而建置的基礎架構上。若缺乏內建的自動化、可觀察性與韌性，隨著模型從試驗階段轉入實際執行環境，IT 團隊將面臨日益嚴峻的挑戰。
基於治理政策或相關國家的主權政治環境，可能不允許從不同的地緣政治來源獲取大型語言模型（LLM）。其結果可能導致性能不穩定、治理能力有限，以及難以將人工智慧整合至能創造實際商業價值的系統中。
下一波浪潮：代理型人工智慧
人工智慧正從協助執行任務的基礎生成式人工智慧（GenAI）互動，迅速演進為能夠自主與企業資料、工作流程，甚至彼此之間進行互動的代理系統。試想，數十個專門的人工智慧代理，負責處理 IT 服務工單、管理物流、為客戶提供個人化互動，正並行且即時地運作。由於這些代理程式會獨立進行推理並執行工作流程，若缺乏企業級的協調與治理機制，這些系統可能會使 IT 營運不堪重負，並加劇風險。
基礎架構的不確定性
即使企業自行訓練或微調模型，基礎架構規劃仍充滿風險：
推斷應在雲端執行以確保彈性、在地端執行以維護主權、在邊緣執行以因應對延遲敏感的使用案例，還是應橫跨上述任何環境？
在這個瞬息萬變的世界中，面對模型激增、自主代理所需的持續運算迴圈、不斷演變的監管環境，以及基礎架構領域中高速的創新步伐，企業應如何進行設計以確保敏捷性？
在功耗、散熱及供應鏈的限制下，企業正努力在 GPU、CPU 及新型加速器之間取得平衡。
挑戰 1 的解決方案：平台式方法
將 AI 作為一級工作負載來執行。為了實現真正的投資報酬率（ROI），人工智慧必須超越 SaaS 應用程式和純雲端模式，成為一級企業工作負載在資料中心、邊緣和雲端之間執行，並在性能、成本與合規性之間取得適當的平衡。舉例來說，一家全球性銀行可以透過統一的可觀察性，跨洲管理詐欺偵測模型，藉此將停機時間降至最低，並向監管機構證明其符合合規要求。
建立具備代理能力的 AI 準備就緒狀態。企業必須透過部署專為自主系統打造的平台，為具備代理能力的 AI 做好準備。這些工作負載需要安全、模組化的協調，並能在資料中心、雲端及邊緣之間實現無縫擴展，以確保反應速度、效率與控制力。物流公司可透過協調機制，即時整合倉庫機器人、配送車輛及需求預測模型，藉此將延遲降至最低並提升效率。
提供基礎架構的靈活性與硬體的就緒性。可擴展的人工智慧需要一套具適應性的基礎架構策略，該策略須能提供模型與硬體的靈活性，並在妥善配置 GPU、CPU 及新興加速器的同時，有效管理電力、散熱及供應鏈風險，以因應技術演進而保持靈活性。醫療保健網路可將 GPU 使用情況與 AI 影像工作負載相配合，既能避免昂貴的過度佈建，又能確保診斷模型始終能穩定運作。
挑戰 2：治理、安全與信任
主權與合規壓力
AI 工作負載往往會接觸到企業中最敏感的資料，客戶紀錄、財務交易、病歷等。SaaS 以及「公有雲優先」的策略，使得企業對資料的存放位置或存取方式的控制權相當有限。其結果是主權面臨挑戰、合規風險日益增加，以及資訊安全長（CISO）夜不能寐。
對模型本身的信任
精準度僅僅是個起點。與靜態聊天機器人不同，自主代理會做出即時運作決策，這意味著若未持續進行驗證，大型語言模型可能會產生偏差、產生幻覺或加劇偏見。若缺乏具備代理程式感知能力的治理流程，企業便無法確保產出結果具備可解釋性、可靠性，或符合監管框架。
治理碎片化
大多數人工智慧的生命週期涵蓋了用於資料擷取、模型訓練、部署及推斷等各階段的獨立工具。這種分散化使得資訊科技部門難以強制執行一致的政策，或建立足以符合監管要求的稽核軌跡。
挑戰 2 解決方案：透過「Day 2」營運實現「主權與安全由設計而來」
透過設計來維護主權。人工智慧的成功取決於嚴格的資料主權，在監管與地緣政治要求日益嚴苛的背景下，必須強制執行資料的存放位置、存取方式，並在混合環境中管理合規性。統一平台讓 IT 部門能夠對資料存放位置、資料血統及存取權限進行端對端的管控。舉例來說，一家歐洲能源供應商可以設計其系統，讓用電數據僅限於該地區範圍內，以符合《一般資料保護規範》（GDPR）的要求，同時仍能進行先進的人工智慧分析。
將風險管理納入其中。人工智慧基礎架構必須在每個層級都嵌入風險管理機制，以提供安全的存取權限、即時監控及生命週期管控，藉此降低風險並建立利害關係人的信心。金融服務公司可強制執行基於角色的存取控制（RBAC）政策，並監控即時使用狀況，以防止未經授權的演算法部署或惡意代理程式行為，進而降低風險並增強監管機構的信心。
持續驗證與監控模型。企業必須透過監控、稽核追蹤以及檢索增強生成（RAG）等技術，持續驗證大型語言模型（LLM）是否存在漂移、偏見和幻覺，以確保準確性、合規性及可信度。
這些平台有助於將產出建立在值得信賴的企業資料之上，監控偏差，並偵測偏見。製藥公司可執行持續驗證流程，以確保由人工智慧驅動的臨床試驗分析始終保持準確、可解釋，並符合安全法規。
挑戰 3：性能與成本的可預測性
人工智慧的資料落差
人工智慧專案經常面臨資料落差，此時傳統儲存方案無法跟上對 GPU 需求極高的工作負載。當 GPU 閒置等待資料管線跟上進度時，訓練會停滯，推斷速度也會變慢。除了原始輸送量之外，當推斷在企業內被分割成彼此隔離的孤島時，系統利用率也會受到影響。若缺乏共用推斷服務及支援人工智慧的儲存方案，GPU 資源便可能未能充分利用，進而延遲成果並限制擴展規模。
可見性有限
人工智慧的性能取決於運算、儲存與網路能否無縫協作。然而，在環境分散的情況下，IT 團隊往往缺乏端對端的可見性，這意味著瓶頸隱而不顯、效率低下問題層出不窮，且成本會以難以預料的方式攀升。若無法對基礎架構、資料管道及代理程式行為有清晰的掌握，IT 主管將難以有效調校性能、控制成本、降低風險，或充滿信心地擴展工作負載。
運作複雜性
人工智慧將 Kubernetes® 推向極限。在地端的情況下，設定過程需要具備深厚的專業知識與精通命令列操作的能力，而託管服務則僅能掩蓋部分挑戰。一旦部署完成，GPU 排程、升級及政策強制執行便可能迅速成為「Day 2」的負擔，無論是在資料中心、邊緣還是雲端環境中，這些作業往往需手動執行、缺乏一致性，且容易出錯。其結果是首次推斷所需時間延遲、GPU 資源浪費，以及營運負債不斷累積。
挑戰 3 解決方案：最佳化與調整 AI 生命週期
最佳化 AI 儲存空間。人工智慧的成功取決於快速且可擴展的儲存解決方案，該方案須在性能與成本之間取得平衡，同時能高效地傳送資料給 GPU，並支援橫跨資料中心、邊緣及雲端的 RAG 工作負載。
支援 AI 的儲存解決方案不僅能讓 GPU 保持滿載運作，還能透過分層策略來平衡成本。零售商可以在高性能儲存設備上執行即時個人化模型，同時將歷史訓練資料封存至優先順序較低的儲存層級，如此一來，既能提升成本效益，又不致延緩創新步伐。
對系統性能進行端對端的調校。企業需要橫跨模型、基礎架構及資料管線的端對端可觀測性，以最佳化資源、控制成本，並提供可預測的 AI 性能。
統一可觀測性將基礎架構遙測資料與模型行為相互連結，協助 IT 部門合理配置資源。電信服務供應商能夠偵測網路流量模型中的瓶頸，並將工作負載轉移至邊緣節點，在最佳化 GPU 使用率的同時，為客戶提供快速的回應。
簡化 Kubernetes 的生命週期管理。企業需要簡化的 Kubernetes 生命週期管理，以簡化營運、降低供應商鎖定風險，並在混合雲與多雲環境中一致地擴展 AI 應用。
標準化作業與「Day-2」自動化可減少系統擴張與風險。政府機關能夠在資料中心與雲端之間一致地管理叢集，藉此加速面向民眾的人工智慧服務，同時避免累積營運負債。
通往企業級人工智慧的平台之路
人工智慧的採用已不再是障礙。挑戰在於如何將技術採用轉化為可持續的商業價值，同時避免成本失控、合規風險或營運孤島的狀況。一個成功的企業級人工智慧平台，必須具備主權、安全性與可觀察性，並能穩定運作且靈活適應。
對 IT 主管而言，任務很明確：將人工智慧視為關鍵任務工作負載。像所有其他關鍵任務應用程式一樣，對其進行管理、監控、保障安全，並增強其韌性。
透過平台化方法，可在資料中心、雲端及邊緣環境中整合運算、儲存、協調與治理，進而實現此目標。只要奠定正確的基礎，企業便能：
• 透過高效且可觀察的部署，證明投資報酬率。
• 透過整合式治理與主權建立信任。
• 在資料中心、雲端及邊緣環境中實現永續擴展。
• 憑藉模組化靈活性，因應快速變革，確保未來適用性。
