獨立開發者曝光 GreenBoost RTX 5070 12GB 也可載入 31.8GB AI 模型
1小時 484
獨立開發者 Ferran Duarri 公開一款名為 GreenBoost 的 Linux 核心模組，目標是為 NVIDIA 顯示卡擴充可用顯示記憶體。這項方案會利用系統記憶體與 NVMe SSD，作為 CUDA 的快取層，讓原本無法放進顯示卡基礎記憶體的大型語言模型，也有機會在 NVIDIA 顯示卡上執行。
根據公開消息，GreenBoost 是由開發者為執行一個大小達 31.8GB 的神經網絡模型 glm-4.7-flash:q8_0 而開發，測試平台為配備 12GB 記憶體的 GeForce RTX 5070。
GreenBoost 的架構把記憶體分成 3 個層級。第一層是顯示卡本身的顯示記憶體，頻寬約為 336GB/s，主要存放活躍層。第二層則使用 51GB DDR4 系統記憶體，速度約為 32GB/s，並透過 PCIe 4.0 介面運作。第三層則是 64GB NVMe SSD 空間，速度約為 1.8GB/s，作為備援用途。
這款驅動以 GPLv2 授權形式公開原始碼，並可與 NVIDIA 官方軟件配合使用。模組會以 2MB 記憶體頁面進行配置，同時透過專用函式庫攔截請求。當工作負載小於 256MB 時，會直接交由 CUDA 執行環境處理；如果屬於較大型資料陣列，則會重新導向至系統記憶體。
Advertisement
消息指出，這種設計可讓應用程式在毋須修改原始碼的情況下，透明地使用更大的記憶體空間。為了安全性，系統亦加入監控機制，持續檢查系統記憶體與儲存裝置的負載情況。
資料來源：phoronix
