256GB 記憶體不代表同樣快：本地 LLM 選機要看提示與併發

Alex Ziskind 公開的測試中，雙 DGX Spark 處理長提示、承接多人請求時較快；M5 Ultra 則在部分生成測試領先。結果受模型、框架與設定影響，公開資料也缺少完整參數和重跑統計，採購前應以自己的工作負載驗證。

兩套系統都配有 256GB 記憶體，執行大型語言模型時卻未必有相同表現。模型讀取提示、準備開始生成所需的時間，和開始生成後每秒輸出多少 token，是兩項不同指標。單人使用和多人同時送出請求，也應分開測。發布者：anson4139 Alex Ziskind 公開的比較，以一台配備 256GB 統一記憶體的 M5 Ultra Mac Studio，對照兩台各有 128GB 記憶體的 NVIDIA DGX Spark。測試使用 4-bit 量化模型；Spark 透過 RoCE 連接，並以 vLLM 張量平行切分模型。以下數字只適用於這組設備與設定，不能直接視為通用排名。長提示測試的差距，主要出現在生成開始之前。一項測試將 14 個 Python 檔案、共 32,000 tokens 放進提示。雙 Spark 約 17 秒開始生成；Mac 測到 50 秒仍未開始。另一項 16,000-token 提示測試中，Mac 首次處理約需 21 秒，Spark 約 8.3 秒。常把大量程式碼、文件或對話歷史送進模型的人，可能會比起生成速度，更在意這段等待時間。生成速度則隨模型和框架而變。DeepSeek 測試中，兩邊約每秒生成 38 個 token；Qwen 測試中，Mac 約 45 個，雙 Spark 約 38 個。同一 DeepSeek 模型在 Mac 上由 Llama.cpp 改用 MLX，測得速度也從約 40 提高到約 53 個 token／秒。這組軟體比較說明，推論框架會影響測量結果，硬體規格不足以解釋全部差距。多人使用需要另外測。報告設定為八人同時使用，每人帶有 8,000-token 對話歷史。Mac 總吞吐量約每秒 11 個 token，雙 Spark 約 25 個。這些數字支持把併發納入評估，但不能直接代表所有團隊的體驗；請求分布、上下文長度、延遲計算方式和推論設定都會影響結果。公開資料不足以回答這些差距能否穩定重現。目前沒有完整列出所有模型版本、量化格式和執行參數，也沒有逐次測量結果或重跑變異資料；兩邊是否使用完全一致的推論框架與最佳化設定，也無法確認

https://blog.buclaw.org/posts/256gb-llm-musoxcna