金秋十月，各大消費電子公司輪番登場，展示最新的產(chǎn)品和技術，智能體成為了新主角。
vivo展示了手機智能體 PhoneGPT可以在了解需求后自動在餐廳訂座，聯(lián)想AI智能體聯(lián)想AI Now可以化身老師給學生出題。
隨后，榮耀跨應用開放生態(tài)智能體的個人化全場景AI操作系統(tǒng)MagicOS 9.0將推出，OPPO ColorOS 15系統(tǒng)也將AI從單點功能升級到系統(tǒng)集成。
手機和PC普及智能體的趨勢越來越明顯，對于強大AI處理器的需求也越來越高。
作為端側AI的領導者，高通也為端側智能體的落地做好了技術和產(chǎn)品的準備。
2023年高通驍龍峰會，高通展示了一系列基于第三代驍龍8的手機AI應用，結合手機攝像頭和位置信息的前瞻應用終端側AI助手讓人眼前一亮。
今年2月份，高通在MWC巴塞羅那演示了全球首個在Android手機上運行的多模態(tài)大模型（LMM），以及基于驍龍X Elite平臺運行的70億參數(shù)的多模態(tài)大模型(LMM)，為智能體在手機和PC上的落地奠定了基礎。
10月22日將舉辦的2024驍龍峰會，高通將展示最前沿的終端側AI新應用。讓人期待的是，高通將發(fā)布首款集成了定制高通Oryon CPU的新一代驍龍8系旗艦移動平臺，CPU和AI性能的提升會有多驚人？基于更強大的AI性能和不斷進化的AI軟件棧，高通將激發(fā)出包括智能體在內(nèi)的新一輪AI應用創(chuàng)新。
混合AI已成共識，智能體時代到來
在進一步探討智能體以及未來端側AI的發(fā)展前，不要忽略混合AI已經(jīng)成為行業(yè)共識，以及輕量級的生成式AI模型性能足夠好的前提。
以ChatGPT為代表的生成式AI是在2022年后迎來爆發(fā)，生成式AI一系列超越想象的功能，最初都是基于云端千億參數(shù)的大模型的能力。
《高通AI白皮書》中提到，每一次基于生成式AI的網(wǎng)絡搜索查詢，成本是傳統(tǒng)搜索的10倍。
生成式AI要普及，需要成本能被大眾接受，并且體驗不差，混合AI是理想的選擇。
所謂混合AI，就是在需要即時感知即時處理的情況下使用設備上的AI模型，在需要更多計算能力、任務更復雜時使用云端的AI模型。這讓混合AI兼具性能、成本、時延、隱私等優(yōu)勢，已經(jīng)成為巨頭押注的方向。
無論是今年微軟Build大會推出的全新的PC品類Copilot+ PC（Windows 11 AI+ PC），還是谷歌I/O宣布將AI嵌入到了安卓操作系統(tǒng)，以及蘋果Apple Intelligence重視使用戶數(shù)據(jù)在本地完成處理，減少對云端的依賴，都表明混合AI已經(jīng)成為行業(yè)共識。
高通早在2007年就啟動首個AI研究項目，一直主張以終端為中心的混合AI，也就是讓終端充當錨點，云端僅用于分流處理終端無法充分執(zhí)行的任務。
大談智能體的手機和PC廠商進一步利用和延展以終端為中心的混合AI，用智能體為終端AI帶來體驗的革新。
榮耀以用戶日常“取消APP自動續(xù)費”需要經(jīng)過7步人工操作的步驟為例，展示了擁有榮耀AI智能體的MagicOS 9.0后，用戶只需要一句話即可完成復雜操作。
榮耀CEO趙明將榮耀AI智能體形象地比喻為手機內(nèi)的“自動駕駛”，并表示最大化實現(xiàn)用戶價值呈現(xiàn)的AI智能體，應具有自然語義理解和計算機視覺、用戶行為習慣學習和場景環(huán)境感知、意圖識別及決策能力、應用內(nèi)及跨應用操作四大核心能力。
聯(lián)想也有相似的AI智能體核心理念，聯(lián)想表示要實現(xiàn)橫跨多個設備、橫跨多個生態(tài)系統(tǒng)的無縫、安全的AI體驗。
基于這一核心理念，聯(lián)想發(fā)布了聯(lián)想AI Now智能體。
要實現(xiàn)跨應用、跨設備甚至跨生態(tài)的智能體，多模態(tài)大模型是基礎。
就像人類需要利用各種感官學習，多模態(tài)生成式AI模型可基于一系列模態(tài)進行訓練，包括文本、圖像、語音、音頻、視頻、激光雷達等傳感器數(shù)據(jù)，讓生成式AI模型更加智能。
多模態(tài)大模型已經(jīng)成為AI發(fā)展的方向，行業(yè)領先的OpenAI GPT-4V、谷歌Gemini在云端使用不同模態(tài)的數(shù)據(jù)訓練多模態(tài)大模型。
集成了各種傳感器和豐富本地情境信息的手機和PC是理想的多模態(tài)大模型落地的載體。搭載高通高性能AI驍龍平臺的終端設備，能夠帶來更高的隱私、安全性和更好的個性化體驗，以及對多模態(tài)大模型的支持。
高通的多模態(tài)AI先行一步
高通AI研究在今年2月演示的全球首個在Android手機上運行的多模態(tài)大模型，展示的是一個超過70億參數(shù)的大語言和視覺助理大模型(LLaVA)，可以接受包括文本和圖像在內(nèi)的多種類型的數(shù)據(jù)輸入，并生成關于圖像的多輪對話。
通過全棧AI優(yōu)化，LLaVA能夠在搭載第三代驍龍8移動平臺的參考設計上以實時響應的速度在終端側生成token。
高通同時演示了搭載驍龍X Elite的Windows PC上運行超70億參數(shù)的多模態(tài)大模型，可接受文本和環(huán)境音頻輸入（如音樂、交通環(huán)境音頻等），并基于音頻內(nèi)容生成多輪對話。
能夠率先支持多模態(tài)生成式AI模型，離不開高通在AI領域的持續(xù)投入以及領先的技術和產(chǎn)品。
生成式AI爆發(fā)后不久的2023年初的MWC，高通就展示了全球首個運行在Android手機上的Stable Diffusion終端側演示。
2023年底，驍龍移動平臺運行的AI大模型的參數(shù)從10億陡增至100億，運行Stable Diffusion模型的速度從年初的不到15秒縮短至1秒以內(nèi)，提升幅度和速度驚人。
2024年初，高通推出高通AI Hub，為驍龍和高通平臺提供豐富的經(jīng)過優(yōu)化的AI模型，開發(fā)者只需通過幾行代碼即可在搭載高通平臺的云托管終端上自行運行這些模型。
高通也已經(jīng)先行一步，推出了高通AI規(guī)劃器（Qualcomm AI Orchestrator），為智能體未來成為手機和PC上的亮點奠定基礎。
高通AI規(guī)劃器利用存儲在終端側的用戶情境信息，如喜歡的飲食、鍛煉習慣、常用聯(lián)系人和消息、過往偏好歷史等作為個人知識圖譜，以更好地理解用戶意圖。
