台灣打造的 AI・什麼都可以問──免費試試 TheAI 對話,最懂台灣

RunPod 完整教學:租一張 H100 跑模型,時薪比你想的便宜(附各卡實際價格)

RunPod 完整教學:租一張 H100 跑模型,時薪比你想的便宜(附各卡實際價格)

想跑開源模型但買不起顯卡?RunPod 讓你按分鐘租 GPU。這篇拆解 Pod 與 Serverless 的差別、各張卡的實際價格,以及最容易多花錢的三個地方。

RunPod 完整教學:租一張 H100 跑模型,時薪比你想的便宜(附各卡實際價格)

一位在台北做獨立開發的朋友想微調一個開源模型。他先去查了顯卡價格,看到 H100 的報價之後默默關掉分頁。然後他問我:「有沒有辦法只用兩天?」

有。而且兩天的成本,大概是一頓好一點的晚餐。

RunPod 是這幾年最常被推薦的平價雲端 GPU 平台之一。這篇會把它講清楚:怎麼開、選哪種、各張卡實際多少錢,以及最容易莫名多花錢的三個地方。

這是什麼

RunPod 提供隨開隨用的 GPU 與 CPU 運算資源,用於 AI 訓練、微調、算圖與其他吃運算的工作。官方的定位是讓你對運算環境有完整的自訂控制權——你拿到的不是一個受限的 API,是一台可以 SSH 進去的機器。

它有兩種主要模式,選錯的話成本會差很多:

Pods — 直接取得專屬的 GPU/CPU 資源,你對環境有完整控制權。官方說明是按分鐘計費,且不收流量進出(ingress/egress)費用。適合互動式開發、訓練與微調。

Serverless — 部署 AI/ML 應用而不需要自行配置或管理伺服器,依實際運作的 worker 用量計費而非按小時預留。適合流量不穩定的推論服務。

另外還有一個重要區分:Secure Cloud 使用 T3/T4 等級資料中心、適合企業用途;Community Cloud 是點對點系統、價格更有競爭力。差別在穩定性與合規性,不在效能。

能做什麼

  • 微調開源模型:租一張 A100 或 H100 跑幾小時到幾天的 LoRA 或全參數微調。
  • 本地模型推論測試:想試 70B 參數的模型但本機跑不動時。
  • 批次算圖:Stable Diffusion 或影片生成的大量產出。
  • 推論服務部署:用 Serverless 架一個按需擴縮的 API 端點。
  • 實驗與學習:想摸 GPU 但不想先花幾十萬買硬體。

怎麼用(步驟)

步驟一:註冊並儲值

RunPod 採預付制,先儲值再使用。第一次建議儲最小額度試水溫,別一次充太多。

步驟二:選擇 Pod 還是 Serverless

判斷原則很簡單:

  • 需要互動、需要 SSH 進去改東西、工作會持續跑幾小時以上 → Pods
  • 是個會被呼叫的 API、流量時有時無、閒置時不想付錢 → Serverless

初學者九成的情況應該選 Pods。

步驟三:選 GPU 與雲端類型

這是價格差異最大的一步。以下是官方公布的每小時費率(Community Cloud/Secure Cloud):

GPU VRAM Community Secure
RTX 4090 24GB $0.34 $0.74
A40 48GB $0.35 $0.44
A100 PCIe 80GB $1.19 $1.39
A100 SXM 80GB $1.39 $1.59
H100 PCIe 80GB $1.99 $2.89
H100 SXM 80GB $2.69 $3.29

換算一下:用 Community Cloud 租一張 H100 PCIe 跑滿 24 小時,大約是 47.76 美元,台幣約一千五百元出頭。跑兩天不到三千五。這就是為什麼我朋友的問題有解。

選卡的實務建議:跑 7B 到 13B 的模型推論或 LoRA 微調,RTX 4090 的 24GB 通常就夠,而且它是性價比最高的一張。要跑 70B 等級或全參數微調,才需要 A100 或 H100 的 80GB。別一開始就衝 H100,很多人租了之後發現 VRAM 根本用不滿。

步驟四:選模板或自訂容器

RunPod 提供預建的模板(PyTorch、TensorFlow、各種 WebUI),也能指定自己的容器映像檔。新手直接用官方 PyTorch 模板最省事。

步驟五:設定儲存

這一步最多人忽略,也最容易多花錢。儲存收費如下:

  • Container Disk:每 GB 每月 0.10 美元
  • Volume Disk(運作中):每 GB 每月 0.10 美元
  • Network Storage 標準版:1TB 以下每 GB 每月 0.07 美元,1TB 以上 0.05 美元
  • Network Storage 高效能版:每 GB 每月 0.14 美元

Network Volume 是持久性儲存,獨立於運算資源存在,可以掛載到多個 Pod 或 Serverless 端點來共享資料。這個功能很關鍵——把模型權重與資料集放在 Network Volume 上,你就能關掉 Pod(停止計費 GPU)而不用每次重下載幾十 GB 的模型。

步驟六:連線開工

Pod 起來後可以用 SSH、JupyterLab、VS Code 或網頁代理連進去,看你的工作型態選。

進階技巧

善用 Network Volume 分離運算與資料。 這是最重要的省錢技巧。GPU 是按分鐘計費的貴東西,儲存是每月幾美元的便宜東西。把資料放在 Volume 上、需要時才開 Pod,中間的空檔完全不付 GPU 錢。

Community Cloud 先試,Secure Cloud 後上。 開發與實驗階段用 Community Cloud,RTX 4090 差價超過一倍。等到要跑正式或有合規要求的工作再切 Secure Cloud。

長期使用看 Savings Plan。 官方提供長期使用的節省方案,如果你確定會連續跑數週,值得算一下。

Serverless 的計費邏輯要弄懂。 Serverless 費率比 Pod 高(例如 A100 80GB 是每小時 2.72 美元、H100 80GB 是 4.79 美元、RTX 4090 是 1.10 美元),但它只在 worker 實際運作時計費。流量稀疏時總成本更低,流量密集時反而比 Pod 貴。算一下你的實際使用率再決定。

注意事項

忘記關 Pod 是最貴的錯誤。 按分鐘計費的意思是,你睡覺的八小時它也在計費。一張 H100 忘關一個週末,帳單大概是六十幾美元。養成用完就停的習慣,或設好預算警示。

Community Cloud 的機器可能被回收。 這是點對點系統的本質,穩定性不如 Secure Cloud。長時間的訓練工作務必做好 checkpoint,別跑到第十小時才發現機器沒了。

VRAM 不是唯一的瓶頸。 系統記憶體、磁碟 I/O 與網路頻寬都可能成為限制。下載一個 140GB 的模型權重也是要時間的,而那段時間 GPU 在空轉計費。

價格會變動。 上面的數字是本文撰寫時官方公布的費率,GPU 雲的價格波動不小,實際下單前務必到官網確認。

TheAI學院 評語

我覺得 RunPod 真正的價值不在便宜,在於它把「試試看」的成本降到幾乎為零。

過去想驗證一個想法要不要用大模型,你得先說服老闆買卡,或是排隊等公司的 GPU 資源。現在你花三美元跑三小時就知道答案。這個改變對台灣的獨立開發者與小團隊特別重要——我們沒有動輒幾千萬的算力預算,靠的就是把每一塊錢花在刀口上。

但也要誠實講缺點。Community Cloud 的穩定性確實不如大廠雲,機器被回收、節點品質不一的狀況是存在的。它的定位是「開發與實驗的高性價比選擇」,不是「跑生產環境關鍵服務的地方」。分清楚這件事,就不會有錯誤期待。

評語:RunPod 是台灣獨立開發者與小團隊最務實的 GPU 入口。記住兩件事就能省下大半冤枉錢——用 Network Volume 分離資料與運算,還有,用完記得關。

給台灣讀者的具體建議:第一次用的話,先儲最小額度、開一張 RTX 4090 的 Community Cloud Pod,跑一個你熟悉的小任務把流程走通。確認你會關 Pod、會用 Volume 之後,再考慮開更貴的卡。另外提醒,跨國連線的延遲對互動式開發有感,長時間工作建議用 tmux 或 screen 避免斷線中斷。想搭配向量資料庫做 RAG,可以看我們的 Qdrant 教學;更多雲端與基建工具在 AI 開發框架與基建 分類。

資料來源

(本文依官方公開資訊整理,價格與規格以官網最新公告為準。)

常見問題

Pods 和 Serverless 該選哪個?

需要互動、要 SSH 進去操作、工作會持續跑數小時以上,選 Pods;如果是會被呼叫的 API、流量時有時無、閒置時不想付費,選 Serverless。初學者九成情況應該用 Pods。Serverless 的單位費率較高,但只在 worker 實際運作時計費。

Community Cloud 和 Secure Cloud 差在哪?

Secure Cloud 使用 T3/T4 等級資料中心,穩定性與合規性較佳;Community Cloud 是點對點系統,價格更低但機器可能被回收。以 RTX 4090 為例,Community 每小時 0.34 美元、Secure 0.74 美元。開發實驗用 Community,正式或有合規要求用 Secure。

怎麼避免帳單暴走?

最重要的是用完就停 Pod——按分鐘計費代表你睡覺時它也在計費,一張 H100 忘關一個週末約六十幾美元。另外把模型與資料集放在 Network Volume 上,就能關掉 Pod 而不用每次重新下載,儲存費用每 GB 每月只要 0.05 到 0.10 美元。

跑 7B 模型需要租 H100 嗎?

不需要。7B 到 13B 的推論或 LoRA 微調,RTX 4090 的 24GB VRAM 通常就夠用,而且它是性價比最高的一張(Community 每小時 0.34 美元)。要跑 70B 等級或全參數微調才需要 A100/H100 的 80GB。很多人租了 H100 卻發現 VRAM 根本用不滿。