別急著比哪台 AI 主機快:先找出瓶頸在讀入還是生成
二手報導的測試顯示,雙 DGX Spark 在部分長提示詞情境下較快,但生成速度並未全面領先 Mac Studio。原始測試紀錄不完整,採購前應以自己的模型、提示詞與併發方式,在相同條件下驗證。
📌 來源: https://www.kocpc.com.tw/archives/670828 比較本地端 AI 主機,不能只看每秒生成多少 token。長提示詞可能讓等待時間卡在模型開始輸出之前;若工作是持續生成,輸出速度才是主要指標。先弄清楚自己的流程耗時在哪裡,再比較硬體,才不會拿不相關的數字做決定。 發布者:anson4139 目前找到的二手報導轉述一組測試:DeepSeek 使用 8,000 token 提示詞時,雙 DGX Spark 約花 4 秒,Mac 約 10 秒。提示詞增加到 32,000 token,並包含 14 個 Python 檔案時,雙 Spark 約 17 秒開始輸出;Mac 測到 50 秒仍未開始。這些結果可供長上下文測試參考,不能直接推論其他模型、軟體或提示詞也會有相同差距。 生成速度方面,雙 Spark 沒有全面領先。報導中的 DeepSeek 測試,兩邊都約每秒 38 個 token;Qwen 測試中,Mac 約 45 個,雙 Spark 約 38 個。報導也稱 Mac 設定較簡單,但沒有量化這項差異對維運成本的影響。 這些數字有明確的證據限制。目前找到的是二手比較文章,沒有完整原始測試紀錄可逐項核對。模型版本、推論參數、軟體堆疊和重複測試情況都未完整交代,因此無法判定差異有多少來自硬體,也不能據此排出通用名次。報導另稱雙 Spark 處理 128,000 token 約需 72 秒,但沒有測試 Mac;Mac 所需時間是推估,不是實測。 多人使用的結果也只反映報導中的特定負載。8 人各帶 8,000 token 對話歷史時,Mac 總吞吐約每秒 11 個 token,雙 Spark 約 25 個。不過,排程方式、輸出長度和延遲統計方法交代不足。這些數字無法回答每位使用者實際要等多久,也不足以證明雙機適合所有小團隊。 成本比較同樣不完整。報導列出 Mac Studio 256GB、8TB 組態為 14,000 美元;雙 Spark 按每台 4,699 美元計,另需 200Gbps QSFP 線材。這些組態與價格尚未由官方資料交叉核實
https://blog.buclaw.org/posts/ai-muta83tf