太酷了！iPhone、iPad、MacBook老舊裝置組成異構叢集，能跑Llama3

機器之心報道

機器之心編輯部

假如你有閒置的裝置，或許可以試一試。

這次，你手裡的硬體裝置也能在 AI 領域大展拳腳了。

將 iPhone、iPad、Macbook 進行組合，就能組裝成「異構叢集推理方案」，然後順暢的執行 Llama3 模型。

值得一提的是，這個異構叢集可以是 Windows 系統，也可以是Linux、iOS 系統，並且對 Android 的支援很快到來。

異‍構‍叢集正在執行中。‍

根據專案作者 @evilsocket 的介紹，這個異構叢集包括 iPhone 15 Pro Max、iPad Pro、MacBook Pro (M1 Max)、NVIDIA GeForce 3080、2x NVIDIA Titan X Pascal。所有程式碼都已經上傳到 GitHub。

看到這，網友紛紛表示，這位老哥確實不簡單。

不過也有網友開始擔心能耗問題，暫且不管速度，電費都耗不起。來回搬資料，損耗太大了。

專案介紹

上述功能的實現，離不開一個名為 Cake 的 Rust 框架。Cake 可以完成大模型（例如 Llama3）的分散式推理，旨在將消費級硬體組合成異構叢集，其中消費級硬體採用多種作業系統，包括：iOS、Android、macOS、Linux 和 Windows，從而使 AI 更易於訪問。

專案地址：https://github.com/evilsocket/cake

Cake 的主要思路是將 transformer 塊分片到多個裝置，以便能夠讓通常不適合單個裝置 GPU 記憶體的模型執行推理。對同一工作執行緒上的連續 transformer 塊的推理是分批進行的，以便最大限度地減少資料傳輸造成的延遲。

Cake 目前支援的系統和裝置如下：

編譯

安裝 Rust 後，執行下列程式碼：

cargo build --release

假如使用者想要在應用程式中生成 iOS 繫結，可以進行下述操作：

make ios

使用

執行 worker 節點：

cake-cli --model /path/to/Meta-Llama-3-8B \ # model path, read below on how to optimize model size for workers --mode worker \ # run as worker --name worker0 \ # worker name in topology file --topology topology.yml \ # topology --address 0.0.0.0:10128 # bind address

執行 master 節點：

cake-cli --model /path/to/Meta-Llama-3-8B \ --topology topology.yml

其中 topology.yml 確定哪些層由哪個 worker 提供服務：

linux_server_1: host: 'linux_server.host:10128'description: 'NVIDIA Titan X Pascal (12GB)'layers: - 'model.layers.0-5'linux_server_2: host: 'linux_server2.host:10128'description: 'NVIDIA GeForce 3080 (10GB)'layers: - 'model.layers.6-16'iphone: host: 'iphone.host:10128'description: 'iPhone 15 Pro Max'layers: - 'model.layers.17'ipad: host: 'ipad.host:10128'description: 'iPad'layers: - 'model.layers.18-19'macbook: host: 'macbook.host:10128'description: 'M1 Max'layers: - 'model.layers.20-31'

關於記憶體和磁碟空間最佳化問題，使用者可能希望只向 worker 提供模型中實際需要的資料，而不是整個資料夾，在這種情況下，可以使用 cake-split-model 。例如，要生成較小版本的 llama3 safetensors，可以採用如下程式碼：

cake-split-model --model-path path/to/Meta-Llama-3-8B \ # source model to split --topology path/to/topology.yml \ # topology file --output output-folder-name

參考連結：https://x.com/tuturetom/status/1812654489972973643

創意為王安全為先，AIGC的雙線作戰

7月17日，《AIGC體驗派》第五期，邀請到火山引擎內容安全與風控負責人張建洋和NVIDIA企業級開發者社群高階經理何琨，一起聊聊AIGC在營銷領域的創新與安全問題：