香港手機遊戲網 GameApps.hk
PS5

玩家將 PS5 改造成本地 AI 伺服器 解放 11.4GB 記憶體流暢跑 27B 大模型

1小時 374
玩家將 PS5 改造成本地 AI 伺服器 解放 11.4GB 記憶體流暢跑 27B 大模型
一部經過破解的 Sony PlayStation 5,近日成功變身為本地 AI 伺服器,更能運行擁有 270 億參數的大型語言模型 Qwen3.8-27B。開發者透過修改 llama.cpp 並利用 PS5 的 GPU 進行 AI 運算,成功突破原有記憶體限制,令這部遊戲主機達到每秒約 20.9 Token 的文字生成速度,較小型 AI 模型更錄得每秒 124 Token 的表現。

玩家將 PS5 改造成本地 AI 伺服器 解放 11.4GB 記憶體流暢跑 27B 大模型

PS5 透過 GPU 運算突破記憶體限制

PS5 配備 16GB GDDR6 記憶體,頻寬達 448GB/s,具備運行本地 AI 模型的硬件條件。不過,要真正發揮這些硬件資源,開發者仍需要克服系統限制。

最初,Reddit 用戶 u/metover 推出名為 PS5LM 的非官方 llama.cpp 移植版本,讓破解後的 PS5 能夠透過 CPU 執行 AI 模型。然而,這種運行方式只能使用約 6GB 記憶體,難以支援較大型的 AI 模型。

其後,另一位 Reddit 用戶 u/AdIllustrious7246 改良相關方案,利用 Mesa 開源 AMD 驅動程式 RADV 的移植版本,透過 Vulkan 讓 llama.cpp 以 PS5 原生應用程式形式運行,將主要運算工作交由 GPU 處理。

經過修改後,可用記憶體由原本約 6GB 增加至 11.4GB,終於具備運行 27B AI 模型的條件。

Qwen3.8-27B 成功運行 每秒生成 20.9 Token

測試採用了高度量化的 Qwen3.8-27B-UD-IQ2_XXS 模型。一般情況下,27B 模型若以 16-bit 精度儲存權重,單是模型權重便需要約 54GB 記憶體,遠超 PS5 的硬件容量。

開發者因此採用約 2-bit 量化方式,將模型大小壓縮至 6.8GB,成功載入 PS5 運行。

在 64K Context 設定下,整體記憶體使用率達到 91%。測試期間,Qwen3.8-27B 的文字生成速度達每秒 20.9 Token,GPU 使用率達 100%,CPU 使用率則只有 2%。

至於較小型的 AI 模型,表現更加突出。

AI 模型

文字生成速度

Qwen3.8-27B

20.9 Token/s

Gemma 4 E4B

61 Token/s

Llama 3.2 3B

124 Token/s

測試亦顯示,PS5 運行期間整體功耗為 86W,溫度維持在約 54°C,反映這部遊戲主機在本地 AI 運算方面具備一定潛力。

成功運行不代表沒有代價 模型品質仍受限制

雖然 PS5 成功運行 270 億參數模型,但仍有明顯限制。

由於記憶體容量只有 16GB,要運行 27B 模型就必須採用高度量化技術。這種方式雖然能大幅降低記憶體需求,但同時會犧牲模型品質,令 AI 更容易出錯,推理能力亦可能下降。

換言之,即使同樣是 Qwen3.8-27B,PS5 使用的 2-bit 量化版本,其實際輸出品質未必能與較高精度版本相比。

此外,整個方案必須使用經過破解的 PS5 才能運行,而破解主機可能令保養失效,亦存在遭到限制使用網上遊戲服務的風險。

這次實驗證明,PS5 除了執行遊戲,在經過適當修改及運算優化後,亦能成為運行大型語言模型的本地 AI 平台。不過,記憶體容量、量化造成的品質損失,以及破解帶來的風險,仍然是實際使用時需要面對的問題。


來源:wccftech

在 Google 上關注我們

最新人氣下載

Loading...

遊戲APK下載搜尋

聯絡我們 | Legal | Privacy Policy | Terms of Use | Sitemap
© 香港手機遊戲網 GameApps.hk 2013-2026