不是每個人都需要一艘航空母艦:AI 時代,我們真正需要多大的 AIDC?

不是每個人都需要一艘航空母艦:AI 時代,我們真正需要多大的 AIDC?

上一篇文章,我談了 Own your AI stack

我的核心觀點是:模型可以租,但資料、Context、Workflow 與 Orchestration 應該盡可能掌握在自己手上。真正會隨時間累積、甚至產生複利的,不是你今天訂閱了哪一個最強模型,而是你自己的資料與工作流程,最後能不能逐漸形成屬於自己的智能(Intelligence)。

最近看了 Y Combinator 一些關於 Personal AGI 與 AI stack 的討論之後,我一直在想另外一個問題:

如果我們真的希望擁有自己的 Intelligence,那是不是就代表每個國家、每家公司,都需要自己蓋一座超大型 AI Data Center?

我的答案反而是:不一定。

甚至對絕大多數國家、企業、中小企業,乃至個人來說,我認為都不需要。

不是所有國家都需要自己造航空母艦

我自己也參與 AIDC+ 與 AI Infrastructure 相關的顧問工作,所以我並不是反對建 AI Data Center。

相反地,我認為 AI Infrastructure 會變得愈來愈重要。

但我覺得現在市場上有一種很有趣的現象:

大家一談到 AI Infrastructure,好像就很自然地開始談幾十 MW、幾百 MW,甚至 GW 等級的資料中心,談幾萬、幾十萬顆 GPU。

彷彿進入 AI 時代,每個人都需要蓋自己的 mega-scale AIDC。

這讓我想到一個比喻:

不是所有國家都需要自己造航空母艦,更不是每個國家都需要擁有一整個航空母艦戰鬥群。

航空母艦當然非常強大。

但你真正要先問的問題是:

你的任務到底是什麼?

如果你的目標是訓練下一代 Frontier Model,跟全球最頂尖的模型公司競爭,那你確實需要極大規模的 Compute、電力、網路、Cooling 與 Capital。

這是一場航空母艦等級的競賽。

但如果你的目標不是訓練下一個 GPT,而是希望:

把自己的資料留在自己手上;

讓 Agent 可以安全地使用企業內部資料;

在本地執行推論;

建立自己的 Knowledge Base、RAG、Memory 與 Workflow;

甚至逐漸建立自己的企業 Intelligence;

那你真正需要的,可能完全是另一種 Infrastructure。

大部分人需要的,也許不是 Mega AIDC

對大部分企業而言,我認為更實際的方向可能是:

Enterprise-scale AIDC、Edge AIDC,甚至只是 In-Rack 或 In-Row 的 AI Infrastructure。

它不一定是一棟新的大型資料中心。

它可能只是企業既有機房裡的一個 Rack,或者幾個 Rack。

裡面有適合 AI inference 的 GPU Server、Storage、Network,加上企業自己的 Data、Agent Runtime、API、MCP 與 Orchestration。

上面可以跑量化後的開放權重模型(open-weight models),也可以在需要更強能力的時候,呼叫外部 Frontier Model API。

也就是說,它不是一個封閉系統。

而是一個 Hybrid AI Infrastructure

敏感資料、本地資料、企業知識,可以留在地端。

需要大量運算或 Frontier Intelligence 的工作,再送到 Cloud API。

模型可以換。

Compute 可以擴充。

但最重要的資料、Context 與 Workflow,仍然掌握在自己手裡。

這其實就是上一篇文章所談的 Own your AI stack,再往 Infrastructure 往下延伸一層。

真正要擁有的,不一定是最大的 Compute

我覺得這裡有一個很重要的觀念需要分開。

Own your AI stack,不等於 Own every GPU。

你不需要擁有世界上最大的模型,也不需要擁有最大的 GPU Cluster。

真正需要擁有的,是那些會形成長期競爭力的部分:

Data、Context、Identity、Knowledge、Workflow、Agent Runtime 與 Orchestration。

Compute 本身可以是一個混合的資源。

有些在地端。

有些在 Edge。

有些在 Private Cloud。

有些甚至可以直接租用 Public Cloud 或 Frontier Model API。

這就像一家公司不需要自己蓋一座發電廠,才能說自己擁有資訊系統。

真正的問題從來不是「所有東西是不是都自己蓋」。

而是:

最重要的資產與控制權,到底掌握在誰手上?

Edge AIDC 的價值,是把 Data 與 Intelligence 放在一起

為什麼我反而愈來愈看好 Enterprise 與 Edge 等級的 AIDC?

因為很多企業真正有價值的東西,從來不是模型。

而是資料。

ERP 裡面的交易紀錄、CRM 裡面的客戶資訊、工廠裡面的生產資料、企業累積十年的文件、Email、Knowledge Base、SOP,以及每天持續產生的營運資訊。

這些資料很多不適合全部送到外部 Cloud。

有的是因為隱私。

有的是因為 Compliance。

有的是因為 Latency。

也有很多情況只是因為:

資料本來就在這裡。

既然 Data 已經在地端,那麼把一部分 Intelligence 移到 Data 附近,其實是一個非常自然的方向。

這也是我理解的 Edge AI。

不是因為 Cloud 不重要,而是因為不是所有資料,都應該為了 AI 而搬到 Cloud。

有時候更合理的方法,是:

把 AI 帶到 Data 旁邊。

從 Cloud AI,走向 Hybrid Intelligence

所以我認為未來很多企業的 AI 架構,不會是純 Cloud,也不會是完全 Self-hosted。

而是 Hybrid。

可能會變成:

Local / Edge Compute → Private Data → Knowledge → Tools / API → Agent → Frontier Model API

簡單的工作、本地知識查詢、RAG、Embedding、部分 Agent 任務,可以直接在地端完成。

需要更強 Reasoning 或特定 Multimodal 能力時,再呼叫外部模型。

今天是 OpenAI,明天可能是 Anthropic、Google、DeepSeek、Qwen,或者下一個還沒有出現的模型。

模型是可以替換的。

但你的 Data 與 Intelligence Architecture 不需要跟著一起重做。

這就是我一直強調的:

Own the Data and Orchestration. Rent the Model.

現在我會再補上一句:

Own enough Compute to keep your Intelligence under control.

不是擁有最多的 Compute。

而是擁有「足夠」的 Compute。

這反而可能是台灣真正的機會

從這個角度來看,我反而覺得這件事情很適合台灣。

台灣真正長期累積的優勢,本來就不只是 Cloud Service。

而是整個資通訊(ICT)產業鏈。

Server、Storage、Network、Edge Computing、Embedded System、ODM/OEM、System Integration,加上半導體與硬體供應鏈。

如果未來 AI Infrastructure 的市場只有一種答案:

誰能蓋最大的 Mega AIDC。

那它本質上會是一場極度 Capital Intensive 的遊戲。

最後能參與的玩家其實非常有限。

但如果下一個市場同時包含:

Enterprise AI Infrastructure、Private AI、Edge AIDC、In-Rack AI、In-Row AI、AI Appliance,以及不同產業需要的 Hybrid AI Infrastructure,

那遊戲就完全不一樣了。

這個市場需要的不只是 GPU。

它需要 Server、Storage、Networking、Cooling、Power Management、Security、Software Stack、Model Runtime、Agent、MCP、Data Governance 與 System Integration。

這些東西組合在一起,我反而認為更接近台灣真正擅長的事情。

從「蓋 AI Data Center」重新回到「我要解決什麼問題」

所以我覺得,在所有人都開始談 AIDC 的時候,也許我們應該先回到一個更基本的問題:

我們到底為什麼需要這座 AIDC?

是為了訓練 Frontier Model?

是提供 GPU Cloud?

是做 Sovereign AI?

還是其實只是希望一家企業可以把自己的 Data、Workflow 與 Agent 留在自己掌控的 Infrastructure 裡?

如果任務不同,Infrastructure 的答案本來就應該不同。

航空母艦有航空母艦的任務。

但不是所有任務,都需要派一艘航空母艦出去。

有時候,一個 Rack、一套 Edge AI Infrastructure,再加上 Cloud Frontier Models,可能就已經足以完成你真正需要做的事情。

結語:不是最大的 AI,而是自己的 Intelligence

我愈來愈覺得,AI 時代真正重要的問題,不是:

「我有多少 GPU?」

而是:

「我能不能把自己的 Data,轉化成自己的 Intelligence?」

Mega-scale AIDC 當然會存在,而且對 Frontier Model Training、Hyperscaler 與大型 AI Service Provider 來說不可或缺。

但對絕大部分企業、SME,甚至未來的個人 AI Infrastructure 而言,我認為更重要的可能是另一條路:

Smaller. Local. Hybrid. Ownable.

在自己可以控制的 Infrastructure 上,保存自己的 Data、Context 與 Workflow;

用適合自己的 Open-weight Model 做 Local Inference;

需要的時候再租用世界上最好的 Frontier Intelligence;

然後透過 Agent 與 Orchestration,把這些能力組合成真正屬於自己的 Intelligence。

不是每個人都需要一艘航空母艦。

但每個人、每家公司,甚至每個國家,都應該思考自己需要擁有多少 AI Infrastructure,才能把最重要的 Intelligence 留在自己手上。

這可能才是 Own your AI stack 再往下一層,真正值得討論的問題。