DeepSeek爆火后，算力成本終會(huì)降低成了行業(yè)共識(shí)。但選擇哪一路徑，是數(shù)據(jù)中心、一體機(jī)還是推理服務(wù)器，業(yè)內(nèi)尚未有統(tǒng)一的定論和參考模式。6月13日，在“2025紅帽媒體Open講”線下交流會(huì)上，紅帽全球副總裁兼大中華區(qū)總裁曹衡康告訴《每日經(jīng)濟(jì)新聞》記者，在紅帽看來，今年是AI（人工智能）的推理元年。AI進(jìn)入了推理后，意味著所有的AI應(yīng)用將正式開始上線運(yùn)行，并且為企業(yè)帶來業(yè)務(wù)收入以及內(nèi)部成本控制等實(shí)際效益。
紅帽大中華區(qū)方案架構(gòu)部總經(jīng)理王慧慧還透露，目前業(yè)界的推理技術(shù)棧里大概有兩個(gè)主流的技術(shù)方向，紅帽選擇的是其中一個(gè)——“vLLM”（一個(gè)高性能大語言模型推理框架?，現(xiàn)已成為開源領(lǐng)域的事實(shí)標(biāo)準(zhǔn)推理服務(wù)器，支持多種加速器和分布式部署，廣泛應(yīng)用于生產(chǎn)環(huán)境）。
“這是目前最熱的一個(gè)推理社區(qū)。我們發(fā)現(xiàn)，來自中國的貢獻(xiàn)者占到這個(gè)社區(qū)35%的貢獻(xiàn)量。這也印證了也許推理在中國將會(huì)是最熱，也是第一個(gè)帶來企業(yè)價(jià)值的。”王慧慧提到，在做推理的過程中有兩個(gè)技術(shù)點(diǎn)較難克服：怎樣用最小的硬件設(shè)備、最小的成本完成最高性能推理；可不可以不把推理的工作量集中在單一臺(tái)服務(wù)器，而是分散到不同的服務(wù)器上，做一個(gè)分布式的推理引擎。
基于這一背景，紅帽在2025年推出了推理服務(wù)器。根據(jù)紅帽方面介紹，使用推理服務(wù)器的最大優(yōu)勢就是降低企業(yè)的算力成本。不過，該公司高管也在采訪中多次強(qiáng)調(diào)，紅帽不做硬件，只做軟件。
隨著未來算力成本的降低，行業(yè)對(duì)芯片算力卡的需求是否會(huì)有變化？曹衡康告訴《每日經(jīng)濟(jì)新聞》記者，在他看來，目前AI的應(yīng)用還不夠多。“畢竟用AI成本太高。假設(shè)今天（原本）有1000家企業(yè)用（AI），成本降低了會(huì)是1萬家、10萬家、100萬家企業(yè)用。GPU（圖形處理器）的量一定會(huì)起來的。現(xiàn)在我們的做法就是讓門檻更低。”曹衡康稱。
每日經(jīng)濟(jì)新聞
【免責(zé)聲明】本文僅代表作者本人觀點(diǎn)，與和訊網(wǎng)無關(guān)。和訊網(wǎng)站對(duì)文中陳述、觀點(diǎn)判斷保持中立，不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考，并請(qǐng)自行承擔(dān)全部責(zé)任。郵箱：news_center@staff.hexun.com
最新評(píng)論