熱度居高不下!
最近幾天,DeepSeek從驚艷到驚嚇,從被認(rèn)可到被質(zhì)疑,再從被威脅到些許的認(rèn)可,事情處于不斷的演化當(dāng)中。今天早上,這款大模型再度迎來大消息。
微軟CEO納德拉在電話會上強(qiáng)調(diào),DeepSeek R1模型目前已可通過微軟的AI平臺Azure AI Foundry和GitHub獲取,并且很快就能在Copilot+電腦上運行。納德拉稱,DeepSeek“有一些真的創(chuàng)新”,AI成本下降是趨勢:縮放定律(Scaling Law)在預(yù)訓(xùn)練和推理時間計算中不斷積累。
另外,據(jù)@Jukanlosreve引用的Mirae Asset Securities Korea分析稱,DeepSeek的突破是通過實施大量細(xì)粒度優(yōu)化,以及在某些功能中使用Nvidia的匯編式PTX(并行線程執(zhí)行)編程而不是Nvidia的CUDA來實現(xiàn)的。這是否是昨晚英偉達(dá)股價再度殺跌的主因,還有待考證。不過,“算力通縮”似乎正在成為流行詞匯。有消息指出,美國商務(wù)部正在討論禁售英偉達(dá)H20,這或許也是該股殺跌的原因之一。
巨頭最新發(fā)聲
微軟官網(wǎng)最新顯示,DeepSeek R1現(xiàn)已在Azure AI Foundry和GitHub上的模型目錄中提供,加入了1800多個模型的多樣化產(chǎn)品組合,包括前沿、開源、行業(yè)特定和基于任務(wù)的AI模型。作為Azure AI Foundry的一部分,DeepSeek R1可在值得信賴、可擴(kuò)展且企業(yè)級就緒的平臺上訪問,使企業(yè)能夠無縫集成高級AI,同時滿足SLA、安全性和負(fù)責(zé)任的AI承諾——所有這些都由Microsoft的可靠性和創(chuàng)新支持。
微軟CEO納德拉也在電話會上強(qiáng)調(diào),DeepSeek R1模型目前已可通過微軟的AI平臺Azure AI Foundry和GitHub獲取,并且很快就能在Copilot+電腦上運行。納德拉稱DeepSeek“有一些真的創(chuàng)新”,AI成本下降是趨勢:“縮放定律(Scaling Law)在預(yù)訓(xùn)練和推理時間計算中不斷積累。多年來,我們已經(jīng)看到了AI訓(xùn)練和推理方面的效率顯著提高。在推理方面,我們通??吹矫恳淮布男詢r比提高2倍以上,每一代模型的性價比提高10倍以上?!?/p>
Meta首席執(zhí)行官馬克·扎克伯格周三在公司第四季度財報電話會議上向投資者傳達(dá)信息。在與華爾街分析師的電話會議問答環(huán)節(jié),扎克伯格回答了多個問題,這些問題涉及DeepSeek令人印象深刻的AI模型以及對Meta的AI戰(zhàn)略的影響。他說,DeepSeek能夠以相對較少的資金取得成就“只會加強(qiáng)我們的信念,即這是值得關(guān)注的正確事情”。
扎克伯格指出,“他們做的很多新奇事我們?nèi)栽谙保琈eta計劃將DeepSeek的進(jìn)步應(yīng)用到Llama中。DeepSeek導(dǎo)致人工智能股票大幅拋售,因為人們擔(dān)心模型不再需要那么多計算能力。扎克伯格試圖打消人們對他在GPU上花費的數(shù)十億美元將白費的擔(dān)憂:“我仍然認(rèn)為,從長遠(yuǎn)來看,在資本支出和基礎(chǔ)設(shè)施方面投入大量資金將是一種戰(zhàn)略優(yōu)勢?!?/p>
他還對OpenAI、Anthropic和其他尚未盈利的初創(chuàng)公司進(jìn)行了不加掩飾的批評,指出Meta擁有“強(qiáng)大的商業(yè)模式”來支持其今年在人工智能方面投入的約600億美元,而“其他公司不一定擁有可持續(xù)的商業(yè)模式來支持它”。
關(guān)于蒸餾技術(shù)
最近兩天,市場對DeepSeek的質(zhì)疑之聲也多了起來,其中討論得最多的可能就是利用蒸餾技術(shù)訓(xùn)練模型的事。OpenAI也表示,正在審查DeepSeek使用一種稱為“蒸餾”的技術(shù),從OpenAI的工具中提取大量數(shù)據(jù)以幫助開發(fā)其技術(shù)的跡象。
然而,據(jù)最新消息,市場對此分歧也很大。處于被動地位的美國政府和OpenAI的反應(yīng)應(yīng)該是在預(yù)期之內(nèi)的。但總部位于舊金山的Databricks的人工智能副總裁Naveen Rao表示,在人工智能行業(yè),向競爭對手學(xué)習(xí)是“理所當(dāng)然的事”。當(dāng)服務(wù)條款禁止時,該公司不會使用這種技術(shù)。
Rao將此比作汽車制造商購買并檢查彼此的發(fā)動機(jī)?!肮降卣f,這種情況在每種情況下都會發(fā)生。競爭是真實存在的,當(dāng)它是可提取的信息時,你會提取它并試圖獲得勝利?!崩瓓W說?!拔覀兌荚噲D成為好公民,但我們同時都在競爭?!?/p>
Thomvest Ventures董事總經(jīng)理Umesh Padval表示:“當(dāng)你擁有Mistral和Llama等開源模型時,模型提煉是不可能停止的。它們可供所有人使用。他們還可以通過客戶在某個地方找到OpenAI的模型。”
DeepSeek在最近的一篇研究論文中表示,它使用“蒸餾”技術(shù)從其最強(qiáng)大的模型R1中獲取輸出,以訓(xùn)練表現(xiàn)出類似推理能力的較小模型。
沖擊英偉達(dá)護(hù)城河?
目前,市場上還有一種說法:DeepSeek甚至繞過了CUDA,并因此沖擊到了英偉達(dá)的護(hù)城河。
據(jù)外媒——硬件媒體Tom‘s Hardware報道,來自Mirae Asset Securities Research(韓國未來資產(chǎn)證券)的分析稱,V3的硬件效率之所以能比Meta等高出10倍,可以總結(jié)為“他們從頭開始重建了一切”。在使用英偉達(dá)的H800 GPU訓(xùn)練DeepSeek-V3時,他們針對自己的需求把132個流式多處理器(SMs)中的20個修改成負(fù)責(zé)服務(wù)器間的通信,而不是計算任務(wù)。變相繞過了硬件對通信速度的限制。
這一突破是通過實施大量細(xì)粒度優(yōu)化以及在某些功能中使用Nvidia的匯編式PTX(并行線程執(zhí)行)編程而不是Nvidia的CUDA來實現(xiàn)的。Nvidia的PTX(并行線程執(zhí)行)是Nvidia為其GPU設(shè)計的中間指令集架構(gòu)。PTX位于高級GPU編程語言(如CUDA C/C++或其他語言前端)和低級機(jī)器代碼(流式匯編或SASS)之間。PTX是一種接近金屬的ISA,它將GPU公開為數(shù)據(jù)并行計算設(shè)備,因此允許細(xì)粒度優(yōu)化,例如寄存器分配和線程/warp級別調(diào)整,這是CUDA C/C++和其他語言無法實現(xiàn)的。一旦PTX進(jìn)入SASS,它就會針對特定一代的Nvidia GPU進(jìn)行優(yōu)化。
這些修改遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn)CUDA級開發(fā)的范圍,但維護(hù)起來卻非常困難。因此,這種級別的優(yōu)化反映了DeepSeek工程師的卓越技能。全球GPU短缺,加上美國的限制,迫使DeepSeek等公司采用創(chuàng)新解決方案,DeepSeek也取得了突破。不過,分析認(rèn)為,DeepSeek做了PTX級別的優(yōu)化不意味著完全脫離了CUDA生態(tài),但確實代表他們有優(yōu)化其他GPU的能力。
責(zé)編:羅曉霞
校對:楊舒欣