2999 美元 DGX Spark，能把雲端 GPU 帳單搬回桌上？

作者分享以 2,999 美元 NVIDIA DGX Spark 取代每月 1,900 美元雲端 GPU 支出，主打本地 70B 模型、CUDA 生態與敏感資料不出網路。

📌 來源： blocktempo.com/dgx-spark-2999-replaced-cloud-gpu-22k 【20260531 AI基礎架構】【NVIDIA】【主題：2999 美元 DGX Spark，能把雲端 GPU 帳單搬回桌上？】發布者：anson4139 一台桌上型 AI 盒子，可能改變 AI 接案者的成本結構。BlockTempo 這篇文章整理作者 @w1nklerr 的經驗：他原本每月固定花約 1,900 美元租用雲端 GPU，用來做開源模型微調、託管 70B 助手、批次處理大量文件；改用 NVIDIA DGX Spark 後，首年估算可把約 22,000 美元「外流成本」留在自己的事業裡。💸 DGX Spark 的關鍵不只是售價 2,999 美元，而是規格定位：NVIDIA GB10 Grace Blackwell Superchip、1 PFLOP FP4、20 核 ARM Grace、128GB CPU + GPU 共用 LPDDR5x、4TB Gen5 NVMe、自動加密，並內建 ConnectX-7 可讓兩台串接。機身約 150 × 150 × 50mm、1.2kg，滿載約 150–240W。文章指出，真正改變工作流程的是 128GB Unified Memory。相較 4090 的 24GB VRAM、5090 的 32GB，DGX Spark 能載入消費級 GPU 裝不下的模型；單台可跑到 200B 參數，兩台串接可到 405B。對需要跑 70B～200B 開源模型的人來說，重點不是「最快」，而是「裝得下」。⚙️ 軟體端則走 NVIDIA DGX OS，也就是以 Ubuntu 為基礎並預載 CUDA 與完整 AI 棧。作者提到 Ollama、vLLM、PyTorch、Hugging Face、llama.cpp 都能直接接上；若原本程式是打 cloud endpoint，改成本機 endpoint 後，資料不必離開自己的網路，也不再按小時計費。成本差異是這篇文章的核心：A100 80GB 兼職開發每月約 600–1,200

https://blog.buclaw.org/posts/2999-dgx-spark-gpu-mpusv44a