2月24日 消息:Stable Diffusion可以說是世界上最先進(jìn)的生成式 AI模型，不過目前它通常只在云端運(yùn)行。那如果同樣的模型是否可以就在我們口袋里的智能手機(jī)上運(yùn)行呢?這就是高通工程師已經(jīng)解決的挑戰(zhàn)。

高通在其官方 YouTube 頻道發(fā)布了一段視頻，首次成功在安卓手機(jī)上使用 Stable Diffusion 來生成 AI 圖像，整個(gè)生成時(shí)間不超過15秒。高通表示這是全球首次在安卓設(shè)備上進(jìn)行演示。

在發(fā)布的研究中，高通透露，通過結(jié)合使用軟件技術(shù)和硬件優(yōu)化，它能夠縮小Stable Diffusion，使其可以在普通的安卓智能手機(jī)設(shè)備上運(yùn)行推理模型。

Stable Diffusion 由初創(chuàng)公司Stability AI開發(fā)的，當(dāng)今最流行的圖像生成 AI 模型之一，主要競(jìng)爭對(duì)手比如有OpenAI 的 DALL-E。需要明確的是，訓(xùn)練生成式 AI 模型所需的技術(shù)非常龐大，而且不會(huì)在智能手機(jī)上運(yùn)行。相反，高通所做的是推理方面，即“生成”部分，它可以從預(yù)訓(xùn)練模型中創(chuàng)建新圖像。

目前，用戶已經(jīng)能夠以間接方式在手機(jī)上生成基于 Stable Diffusion 的圖像，即APP或?yàn)g覽器訪問生成圖像的云服務(wù)。高通最新展示的是直接在 Android 智能手機(jī)上生成 Stable Diffusion 生成式 AI 圖像的能力，無需調(diào)用云端來完成繁重的工作。

“為了隱私和安全，當(dāng)通過用于Stable Diffusion 的云 API 輸入查詢時(shí)，你的所有信息或想法都會(huì)發(fā)送到某家公司的云服務(wù)器，”高通技術(shù)工程副總裁 Jilei Hou 介紹道。“而在自己設(shè)備上運(yùn)行人工智能，這個(gè)問題就解決了，因?yàn)槟闼械南敕ǘ贾淮嬖谟谠O(shè)備上。”

Qualcomm 為證明其功能而構(gòu)建的演示在配備最新的 Snapdragon8Gen2移動(dòng)平臺(tái)的 Qualcomm 參考設(shè)計(jì)設(shè)備上運(yùn)行，該平臺(tái)已在當(dāng)今的許多商用設(shè)備中使用。

Hou 表示，推理部分是在 Hexagon 處理器上完成的，Hexagon 處理器是高通工程師針對(duì) AI 加速的完整定制設(shè)計(jì)，是驍龍8Gen2芯片的一部分。

雖然高通的芯片對(duì)于移動(dòng)設(shè)備來說功能強(qiáng)大，但 Stable Diffusion 對(duì)直接在智能手機(jī)上運(yùn)行提出了一系列挑戰(zhàn)。Hou 指出，一方面，模型的大小超過11億個(gè)參數(shù)，相關(guān)計(jì)算量是智能手機(jī)上運(yùn)行的典型工作負(fù)載大小的10倍以上。

“這是我們?cè)谥悄苁謾C(jī)上運(yùn)行過的最大的模型，”Hou 說道。“我們所做的所有全棧優(yōu)化對(duì)于使模型適合并高效運(yùn)行非常重要。”

高通如何縮小 Stable Diffusion 實(shí)現(xiàn)在 Android 上運(yùn)行呢?

所需的優(yōu)化涉及大量使用Qualcomm AI Stack，這是一個(gè)旨在幫助優(yōu)化模型和工作負(fù)載的 AI 工具組合。

Hou 解釋說，對(duì)于 Stable Diffusion，他的團(tuán)隊(duì)從Hugging Face的FP32version1-5開源模型開始，通過量化、編譯和硬件加速進(jìn)行優(yōu)化，以在搭載 Snapdragon8Gen2移動(dòng)平臺(tái)的手機(jī)上運(yùn)行。

為了縮小模型，他的團(tuán)隊(duì)使用了AI 模型效率工具包 （AIMET） 的訓(xùn)練后量化功能。

他解釋道，“量化不僅可以提高性能，還可以通過讓模型在我們專用的 AI 硬件上高效運(yùn)行并消耗更少的內(nèi)存帶寬來節(jié)省電量。”

對(duì)于編譯，Qualcomm AI Engine 直接框架用于將神經(jīng)網(wǎng)絡(luò)映射到可在智能手機(jī)硬件上高效運(yùn)行的程序中。Hou指出，Qualcomm AI Engine 的整體優(yōu)化顯著降低了運(yùn)行時(shí)延和功耗。為使 Stable Diffusion 在智能手機(jī)上良好運(yùn)行所做的所有工作都將有利于 Qualcomm AI Stack 的未來迭代和用戶。

對(duì)于未來，高通將吸取經(jīng)驗(yàn)教訓(xùn)，將其他大型生成人工智能模型（例如，類似 GPT 的模型）從云端帶到設(shè)備上。Hou補(bǔ)充說，為使 Stable Diffusion 在手機(jī)上高效運(yùn)行而進(jìn)行的優(yōu)化也可用于其他平臺(tái)，例如筆記本電腦、XR 耳機(jī)，以及幾乎任何其他由 Qualcomm Technologies 提供支持的設(shè)備。

“在云端運(yùn)行所有人工智能處理的成本太高，這就是高效的邊緣人工智能處理如此重要的原因。邊緣 AI 處理在運(yùn)行 Stable Diffusion 和其他生成 AI 模型的同時(shí)確保用戶隱私，因?yàn)檩斎胛谋竞蜕傻膱D像永遠(yuǎn)不需要離開設(shè)備——這對(duì)于消費(fèi)者和企業(yè)應(yīng)用程序的采用來說是一件很重要的事情。”