一区二区欧美日韩专区-久久亚洲综合九九-国产精品福利片一区二区在线观看-国产毛片一区高清完整视频

對話階躍星辰姜大昕:Sora技術有局限,多模態(tài)理解生成一體化才是未來|界面新聞 · 科技

對話階躍星辰姜大昕:Sora技術有局限,多模態(tài)理解生成一體化才是未來|界面新聞 · 科技

jushumin 2025-05-10 熱點 42 次瀏覽 0個評論

界面新聞記者 | 伍洋宇

界面新聞編輯 | 文姝琪

不同于兩年前的百模大戰(zhàn)時期誰都可以喊一句“沖擊AGI”,如今創(chuàng)業(yè)公司再堅稱自己以此為目標已經(jīng)不是一種主流行為——但這仍是階躍星辰要在2025年延續(xù)的敘事。

5月8日,階躍星辰創(chuàng)始人兼CEO姜大昕進行了一場技術溝通會,強調公司的技術追求并對未來技術趨勢作出判斷。對于公司從Day 1起便明確的“單模態(tài)—多模態(tài)—多模理解和生成的統(tǒng)一—世界模型—AGI(通用人工智能)”路線圖,他也予以明確了當下時刻的定位。

幾乎以低調貫穿整個成立初期的階躍星辰,從去年下半年起主動對外釋放更多聲量,開始打一場水面之上的仗。

這些聲量大都圍繞模型進展。成立兩年,公司累計發(fā)布22款基座模型,覆蓋文字、語音、圖像、視頻、音樂、推理等系列。其中有16款是多模態(tài)模型,又分屬圖像理解、視頻理解、圖像生成、視頻生成、圖像編輯、音樂生成、多模態(tài)推理等方向。

區(qū)別于行業(yè)更常見的圖像模型、音頻模型、視頻模型等不加區(qū)分的定義和命名方式,階躍星辰格外強調多模態(tài)模型“理解”與“生成”的單一屬性。這與這家公司選擇的AGI路線以及即將要突破的關鍵節(jié)點息息相關。

對話階躍星辰姜大昕:Sora技術有局限,多模態(tài)理解生成一體化才是未來|界面新聞 · 科技

“從模仿學習走向強化學習,以及從多模態(tài)融合走向多模態(tài)理解與生成一體化,是當下大模型發(fā)展主要呈現(xiàn)的兩個趨勢?!苯箨块_場點明了這一主題。

第一條趨勢行業(yè)并不陌生,這是OpenAI去年9月通過o1-preview掀起的模型訓練范式革命,并且主導了接下來數(shù)月幾乎所有大模型公司的迭代方向。隨著推理模型與后訓練成為業(yè)界共識,文本模型的技術路線相對收斂,這里的格局變換已不如從前那樣日新月異。

另一條趨勢屬于多模態(tài)模型,這是一個最優(yōu)技術路徑尚不明朗的領域,階躍星辰在此押下重注。

“有一句話我在很多場合不停重復——我們認為多模態(tài)是實現(xiàn)AGI的必經(jīng)之路。”姜大昕指出,無論是從人類智能的多元化角度(符號智能、視覺智能、空間智能等),還是從垂直領域AI應用需求來說,大模型的多模態(tài)能力都必不可少。

這家公司進一步判斷,在多模態(tài)模型領域,理解與生成統(tǒng)一是其核心問題。

文本大模型的理解與生成已經(jīng)由GPT類模型實現(xiàn)統(tǒng)一,但在視覺領域,內容的理解與生成仍普遍采用不同模型,例如用GPT-4o來理解圖片,但用Flux、Stable Diffusion等來生成圖片。

為什么一定要做多模理解與生成的統(tǒng)一?姜大昕解釋稱,一方面生成的內容需要理解來控制,確保內容具備意義和價值;另一方面,內容的理解需要生成來監(jiān)督,也即“只有能夠生成的時候才意味著真正的理解了”。

從統(tǒng)計學角度看來,相比文本模態(tài)的低維度離散分布,視覺模態(tài)的高維度連續(xù)分布造就了模型學習更高的復雜性。

這使得文本模型的NTP(Next-Token-Prediction)還無法順暢平移為視覺模型的NFP(Next-Frame-Prediction),也意味著屬于視覺模型的可規(guī)?;斫馍梢惑w化架構尚未出現(xiàn)——這正是Transfomer架構之于GPT等文本模型的重大意義。

姜大昕坦言,視覺領域的確處在一個等待“Transformer架構”出現(xiàn)的階段,而行業(yè)也在探索多個不同方向,公司當前的目標是要自己把“Transformer”做出來。

在他看來,擁有了這一架構的視覺模型,可以效仿文本模型的路徑,順利邁入海量圖片和視頻預訓練及指令跟隨的GPT-3階段,并可能加速進入融合了強化學習的視覺時空推理階段,直至誕生世界模型。

這也是為什么他會說,“一旦視覺模型理解與生成一體化的問題被解決,之后的路線會非常順暢”。

作為該技術目標的最新進展,階躍星辰近期發(fā)布了圖像編輯模型Step1X-Edit,多模態(tài)推理模型Step-R1-V-Mini,以及圖生視頻模型Step-Video-TI2V。姜大昕指出,Step1X-Edit實現(xiàn)了初步的理解與生成統(tǒng)一,但還可以在架構和數(shù)據(jù)上做進一步優(yōu)化和打磨。

技術路線之外,階躍星辰梳理出了一條更明確的商業(yè)化路徑。

除了此前已有的ToC(用戶)產(chǎn)品嘗試和ToB(企業(yè))合作模式,階躍星辰將在應用層重點發(fā)力的方向是AI Agent。不過相較于自己做一款Manus類的產(chǎn)品,公司選擇聚焦智能終端Agent領域,也就是與手機、汽車、機器人等終端廠商合作,以端云結合平臺的角色構建智能終端的Agent生態(tài)。

作為一家已融資數(shù)億美元的B輪創(chuàng)業(yè)公司,這場溝通會沒有大談用戶規(guī)模、商業(yè)模式、盈利能力,更多話題還是圍繞如果要實現(xiàn)AGI,公司要如何翻越既定路線上的某一座山頭。這種氛圍在當前行業(yè)熱議AI應用公司如何火熱、掙錢的喧囂襯托下,頗有一種反差。

此外,姜大昕還接受了界面新聞等媒體采訪,更細致回答了有關多模理解與生成統(tǒng)一技術路徑的相關問題,以及對模型訓練與商業(yè)化的基本判斷。

以下為姜大昕采訪實錄,略作編輯:

媒體:躍問最近改名階躍AI了,原因是什么?公司過去一年發(fā)布過一些C端產(chǎn)品,目前對這個方向有什么經(jīng)驗總結?

姜大昕:去年大模型還沒有出現(xiàn)這么強大的多模態(tài)和推理模型,我們看到的產(chǎn)品就幾類,Chatbot,AI陪伴,還有Runway、Pika這樣一些AIGC應用。那時候大家其實沒有特別明確的方向,只是因為有這樣的模型能力,所以產(chǎn)生了這樣的應用。這是產(chǎn)品探索的早期階段。

今年因為多模態(tài)能力和推理能力的進一步成熟產(chǎn)生了Agent,我們看到非常多像Deep Research或者Manus這樣的新應用。

我們的變化是想聚焦到Agent領域。而之所以改名階躍AI,是因為它要從Chatbot類產(chǎn)品向加入更多Agent能力的產(chǎn)品做轉變。

媒體:階躍的策略是超級模型+超級應用,這也是包括字節(jié)在內很多大廠在做的事情,這種情況下,很多初創(chuàng)公司已經(jīng)放棄通用大模型了,階躍為什么還會堅持?

姜大昕:這里面分幾個層次去講,第一,現(xiàn)在這個行業(yè)趨勢還處于一個技術非常陡峭的區(qū)間。

我會很感慨,AI行業(yè)里面的發(fā)展變化確實是太快了。如果大家回到去年想一想,就覺得GPT-4是多么牛的東西,今天它都要快下架了;去年Sora剛出來的時候給大家多大的震撼,今天回過頭看,都覺得Sora有什么神奇的。而今年無論做出什么很牛的技術,可能明年回頭看會覺得微不足道。

在技術發(fā)展如此快的行業(yè)背景下,階躍肯定不愿意在這個過程中脫離主流,或者說放棄這樣的前進趨勢,還是會堅持做基礎模型的研發(fā)。

第二,從應用的角度來看,我們一直覺得應用和模型是相輔相成,模型可以決定應用的上限,應用給模型提供具體的場景和數(shù)據(jù)也非常重要。所以我們的產(chǎn)品形態(tài)隨著模型的演變動態(tài)發(fā)展,這樣的邏輯關系會一直保持下去。

媒體:在Agent這件事情上,為什么會選擇一個類似供應商的身份,而不是自己下場做一款直接ToC或者ToB的Agent產(chǎn)品?

姜大昕:這個東西很新,我們更好的選擇就是找到頭部企業(yè)合作。它們已經(jīng)有了大量的用戶和場景,我們才能嘗試這個模型究竟怎么做。

如果我們上就來做ToC,第一件事情就得是user grow(用戶增長)。所以我們先和這些企業(yè)一起合作,如果這件事情探索清楚了,至于說將來我們是不是自己做,我覺得都是有可能的。

這里還有一個很誘人的場景,就是現(xiàn)在所有的設備都是孤立的,對于一個用戶來說,他當然希望AI Agent能夠跨設備。那么這件事情應該誰來做,肯定有很多人在思考。

媒體:公司最近在算法層面更加重視理解生成一體化整合,這個想法是基于什么樣的邏輯判斷?

姜大昕:我們覺得以Sora為代表的這一代視頻生成技術,它的上限就在那里了,很難去突破。下一代突破我們認為應該是基于理解生成一體化的。

媒體:多模態(tài)理解與生成一體化架構很重要,那影響它出現(xiàn)最關鍵的因素是算法,更高質量的數(shù)據(jù),還是什么?

姜大昕:兩個都很重要,首先就是架構的突破,因為確實不容易。

多模態(tài)的高維連續(xù)空間,我們很難用一個自回歸架構去模擬,所以大家不得不采用Diffusion。直白的說,Diffusion就是一步弄不成,就多走幾步,因為它太復雜了。

但自回歸架構不讓你走多步,那么這兩個東西怎么能連在一起,需要一個架構性的東西,這是算法層面需要解決的問題。甚至有可能把自回歸和Diffusion結合在一起這個方向也是錯的,這里面有非常多的不確定性。

有了技術以后,第二步就是數(shù)據(jù)。所有的人工智能里面數(shù)據(jù)都非常重要,有了架構但沒有合適的數(shù)據(jù)訓練它,就如同一輛車沒有石油,你還是不能跑。

媒體:你剛剛好像有提到,OpenAI最新的GPT-4o已經(jīng)實現(xiàn)了理解與生成一體化?

姜大昕:我們只是猜測,因為它從不公布技術細節(jié)。它的做法應該是把理解和生成放在了一個模型里面,但這個東西是不是scalable(可規(guī)?;覀儾恢?。

媒體:怎么判斷它是不是scalable?

姜大昕:它肯定要做到predict next frame,或者說如果OpenAI有一天推出了一個不叫Sora的視頻模型,很可能就是做通了。

事實上去年Sora出來的時候大家都很興奮,但我們是非常失望的,因為我們覺得它的主線應該是做理解生成一體化。

回過去想也是有道理的。從多模融合一步走到理解生成一體化太難了,所以干脆兩個獨立往前走,互相促進,有點像左腳踩右腳。因為它在Sora里面也說了,它拿著GPT-4o給數(shù)據(jù)打標注。

有了生成以后是不是能夠幫助理解,可能就是需要迭代幾輪以后再到理解生成一體化,但總的方向肯定是能夠predict next frame。這個問題不解決,后面有很多問題都到不了那個程度。

媒體:多模態(tài)理解與生成一體化這個技術方向目前還沒有收斂,對標語言模型的話,它大概處在哪個發(fā)展階段?

姜大昕:應該是在Transformer的階段,Transformer是2017年出來的,GPT-1是2018年,這個架構應該早于“GPT”。

媒體:階躍目前研發(fā)的模型很多,如果下一步理解生成一體化尤為重要的話,為什么我們不把所有的力量都集中去做它?

姜大昕:我們也想這樣做,但不行,因為理解與生成一體化是非常要求綜合素質的一個考驗。首先你要理解,如果語言模型不強就談不上理解。其次你要做推理,視覺推理是視覺理解的升級。再者還有生成端,這也必須得做。

所以不是我們不夠focus(專注),要做這件事,就必須要做到所有條線能力都非常強,組合起來去探索它的路徑。

媒體:解決理解與生成一體化這個問題之后,你認為視覺模型應該達到一個什么樣的狀態(tài)?

姜大昕:你給它一個電影的開頭,它能夠一直往下編,并且大家認為還挺有道理的,連續(xù)、符合邏輯、符合物理規(guī)律。如果它能持續(xù)這樣做下去,這至少可以說明它的預訓練做成了。

轉載請注明來自浙江久大氣動液壓有限公司,本文標題:《對話階躍星辰姜大昕:Sora技術有局限,多模態(tài)理解生成一體化才是未來|界面新聞 · 科技》

百度分享代碼,如果開啟HTTPS請參考李洋個人博客
每一天,每一秒,你所做的決定都會改變你的人生!

發(fā)表評論

快捷回復:

驗證碼

評論列表 (暫無評論,42人圍觀)參與討論

還沒有評論,來說兩句吧...

Top
 桃園南路最新信息網(wǎng)  杭州賣房最新信息網(wǎng)  萍鄉(xiāng)湘東最新拆遷信息  山丹霍城地震最新信息  鹿邑小公寓出租信息最新  西安中山公租房最新信息  奎山消防招聘信息最新  洪洞高速出口最新信息圖  翁安最新路況信息  網(wǎng)597最新招聘信息  軍農(nóng)食品招聘信息最新  吳興龍庭最新房價信息  兆文廠招聘信息最新  美麗今生最新招聘信息  松江育嬰嫂招聘最新信息  招遠小時工最新信息  昌樂廚師最新招聘信息  奉節(jié)廣告信息網(wǎng)最新  南充錦繡瀾庭最新信息  烏衣防疫最新信息查詢  天翰包裝招聘信息最新  昆明校對最新招聘信息  萊州今天最新租門頭信息  臨騰高速招聘信息最新  縣城最新賣房信息網(wǎng)  和儷酒店招聘信息最新  宜昌招洗碗工最新信息  鄒城燒烤師招聘最新信息  怎樣查鑄造招聘信息最新  寧波發(fā)布最新人事信息