直以來,蘋果在大模型、語音助手上的研究不斷推陳出新,或許我們能夠從中獲得iOS 18所具備AI能力的關(guān)鍵一瞥。
「Siri太笨,根本無法與ChatGPT競爭」,前蘋果工程師John Burkey曾對Siri的評價如此不堪。
不過,誕生于11年的Siri,終于要迎來翻身的機(jī)會。
ChatGPT橫空出世之后,微軟、谷歌等科技巨頭,甚至OpenAI、Anthorpic AI等初創(chuàng),都在你追我趕激烈地角逐。
在AI競賽上,蘋果卻一直姍姍來遲。
其實(shí),早有傳言和報道稱,在過去幾個月中,蘋果實(shí)際上一直再等待一個時機(jī),做出反擊。
先是與谷歌談判被爆出,后是與OpenAI開展合作,預(yù)計將AI模型能力整合進(jìn)下一代iOS 18系統(tǒng)中。
除此以外,蘋果研究團(tuán)隊(duì)也在一直開發(fā)自己的模型——Ajax。
而且,最近幾個月,蘋果在大模型等研究上的成果頻出,意味著這些AI能力可能會成為現(xiàn)實(shí)。
距6月開發(fā)者大會WWDC,也就不過一個月左右的時間,或許我們可以從這些研究中,一瞥蘋果的AI能力。
更小、更高效LLM裝進(jìn)iPhone
相信所有人的期望都是一樣的——想要一個更好的Siri。
而現(xiàn)在看起來,換新的Siri即將到來,完成超強(qiáng)進(jìn)化!
ChatGPT之后,大模型誕生的數(shù)量也是數(shù)不勝數(shù),然而許多科技公司都希望LLM能夠賦能虛擬助手,讓其變得更優(yōu)秀,更智能。
對于蘋果來說,想要讓Siri不再被人,說笨就需要盡快構(gòu)建這些模型,讓其能裝進(jìn)手機(jī)。
彭博最近報道,在iOS 18中,蘋果計劃讓所有AI功能,都運(yùn)行在設(shè)備上,而且可以完全離線使用。
而現(xiàn)在的困難是,即便你有一個數(shù)據(jù)中心和數(shù)千個GPU組成的網(wǎng)絡(luò),要建立一個良好的多用途的模型,并裝進(jìn)手機(jī),是非常困難的。
因此,蘋果不得不發(fā)揮創(chuàng)意。
在一篇名為LLM in a flash: Efficient Large Language Model Inference with Limited Memory的論文中,研究人員設(shè)計了一個系統(tǒng),可以將通常存儲在設(shè)備RAM中的模型數(shù)據(jù),存儲到固態(tài)硬盤(SSD)上。
論文地址:https://arxiv.org/pdf/2312.11514
具體來說,研究證明了,在SSD上運(yùn)行的LLM的大小,可以達(dá)到可用DRAM的2倍。
與傳統(tǒng)的CPU加載方法相比,推理速度提高了4-5倍,而GPU提高了20-25倍。
他們發(fā)現(xiàn) ,通過利用設(shè)備上最廉價的可用存儲模型,模型可以運(yùn)行得更快、更高效。