2月24日 消息:Stable Diffusion可以說是世界上最先進的生成式 AI模型，不過目前它通常只在云端運行。那如果同樣的模型是否可以就在我們口袋里的智能手機上運行呢?這就是高通工程師已經解決的挑戰。

高通在其官方 YouTube 頻道發布了一段視頻，首次成功在安卓手機上使用 Stable Diffusion 來生成 AI 圖像，整個生成時間不超過15秒。高通表示這是全球首次在安卓設備上進行演示。

在發布的研究中，高通透露，通過結合使用軟件技術和硬件優化，它能夠縮小Stable Diffusion，使其可以在普通的安卓智能手機設備上運行推理模型。

Stable Diffusion 由初創公司Stability AI開發的，當今最流行的圖像生成 AI 模型之一，主要競爭對手比如有OpenAI 的 DALL-E。需要明確的是，訓練生成式 AI 模型所需的技術非常龐大，而且不會在智能手機上運行。相反，高通所做的是推理方面，即“生成”部分，它可以從預訓練模型中創建新圖像。

目前，用戶已經能夠以間接方式在手機上生成基于 Stable Diffusion 的圖像，即APP或瀏覽器訪問生成圖像的云服務。高通最新展示的是直接在 Android 智能手機上生成 Stable Diffusion 生成式 AI 圖像的能力，無需調用云端來完成繁重的工作。

“為了隱私和安全，當通過用于Stable Diffusion 的云 API 輸入查詢時，你的所有信息或想法都會發送到某家公司的云服務器，”高通技術工程副總裁 Jilei Hou 介紹道。“而在自己設備上運行人工智能，這個問題就解決了，因為你所有的想法都只存在于設備上。”

Qualcomm 為證明其功能而構建的演示在配備最新的 Snapdragon8Gen2移動平臺的 Qualcomm 參考設計設備上運行，該平臺已在當今的許多商用設備中使用。

Hou 表示，推理部分是在 Hexagon 處理器上完成的，Hexagon 處理器是高通工程師針對 AI 加速的完整定制設計，是驍龍8Gen2芯片的一部分。

雖然高通的芯片對于移動設備來說功能強大，但 Stable Diffusion 對直接在智能手機上運行提出了一系列挑戰。Hou 指出，一方面，模型的大小超過11億個參數，相關計算量是智能手機上運行的典型工作負載大小的10倍以上。

“這是我們在智能手機上運行過的最大的模型，”Hou 說道。“我們所做的所有全棧優化對于使模型適合并高效運行非常重要。”

高通如何縮小 Stable Diffusion 實現在 Android 上運行呢?

所需的優化涉及大量使用Qualcomm AI Stack，這是一個旨在幫助優化模型和工作負載的 AI 工具組合。

Hou 解釋說，對于 Stable Diffusion，他的團隊從Hugging Face的FP32version1-5開源模型開始，通過量化、編譯和硬件加速進行優化，以在搭載 Snapdragon8Gen2移動平臺的手機上運行。

為了縮小模型，他的團隊使用了AI 模型效率工具包 （AIMET） 的訓練后量化功能。

他解釋道，“量化不僅可以提高性能，還可以通過讓模型在我們專用的 AI 硬件上高效運行并消耗更少的內存帶寬來節省電量。”

對于編譯，Qualcomm AI Engine 直接框架用于將神經網絡映射到可在智能手機硬件上高效運行的程序中。Hou指出，Qualcomm AI Engine 的整體優化顯著降低了運行時延和功耗。為使 Stable Diffusion 在智能手機上良好運行所做的所有工作都將有利于 Qualcomm AI Stack 的未來迭代和用戶。

對于未來，高通將吸取經驗教訓，將其他大型生成人工智能模型（例如，類似 GPT 的模型）從云端帶到設備上。Hou補充說，為使 Stable Diffusion 在手機上高效運行而進行的優化也可用于其他平臺，例如筆記本電腦、XR 耳機，以及幾乎任何其他由 Qualcomm Technologies 提供支持的設備。

“在云端運行所有人工智能處理的成本太高，這就是高效的邊緣人工智能處理如此重要的原因。邊緣 AI 處理在運行 Stable Diffusion 和其他生成 AI 模型的同時確保用戶隱私，因為輸入文本和生成的圖像永遠不需要離開設備——這對于消費者和企業應用程序的采用來說是一件很重要的事情。”