所有語言
分享
文章來源:量子位
現在世界上最受關注的技術團隊是哪一支?
Sora團隊,已經來到聚光燈中心。
不僅項目負責人評論區被擠爆,成了𝕏最火“景點”。
天才成員們的履歷,也正在持續引爆關注。
△來自微博博主@木遙
大傢伙發現,這支團隊挺年輕:兩位負責人都是在去年(2023年)剛剛博士畢業,團隊里甚至還有00后选手……
但也是真的牛:
Tim Brooks,DALL-E 3作者之一,GitHub 5.7k☆項目InstructPix2Pix作者,2021-2022年在英偉達實習時,就是視頻生成研究的項目負責人。
William (Bill) Peebles,和謝賽寧合作,搞出了Sora的技術基礎之一DiT(擴散Transformer)。論文還曾入圍CVPR 2022最佳論文候選。
……
這支團隊到底什麼來頭,咱們今天一起仔細聊聊。
包括Tim和Bill在內,Sora的主要負責人一共有三名(以下排名不分先後)。
Tim Brooks,也是DALL-E 3的作者,去年1月剛從加州大學伯克利分校博士畢業。
Tim本科就讀於卡內基梅隆大學,主修邏輯與計算,輔修計算機科學,其間在Facebook軟件工程部門實習了四個月。
2017年,本科畢業的Tim先到Google工作了近兩年,在Pixel手機部門中研究AI相機,之後到了伯克利AI實驗室攻讀博士。
在伯克利讀博期間,Tim的主要研究方向就是圖片與視頻生成,他還在英偉達實習並主導了一項關於視頻生成的研究。
回到校園后,Tim與導師Alexei Efros教授和同組博士后Aleksander Holynski(現在谷歌)一起研製了AI圖片編輯工具InstructPix2Pix,併入選CVPR 2023 Highlight。
去年一月,Tim順利畢業並取得了博士學位,轉而加入OpenAI,並相繼參与了DALL-E 3和Sora的工作。
值得一提的是,Tim不僅在專業領域擁有高超的技術水平,還是個多才多藝的人。
據Tim自己介紹,他還喜歡攝影和音樂,高中時他拍攝的照片獲得過National Geographic頒發的獎項,本人到過百老匯演出,還獲得過B-box國際獎項……
而與Tim師出同門、晚畢業4個月的William Peebles,也是Sora的另一名負責人。
(Peebles在𝕏上用昵稱Bill,在Linkedin上及論文署名時用大名William,下文一律用Bill指代。)
Bill本科就讀於MIT,主修計算機科學,參加了GAN和text2video的研究,還在英偉達深度學習與自動駕駛團隊實習,研究計算機視覺。
畢業后正式開始讀博之前,他還參加了Adobe的暑期實習,研究的依然是GAN,該項目和(時任)卡內基梅隆大學華人學者朱俊彥(也是Efros教授學生,現在在MIT)組有合作,並成為CVPR 2022最佳論文候選。
之後,學期開始,Bill到了伯克利Efros教授課題組攻讀博士,研究成果多次入選SIGGRAPH、ICCV、CVPR等學術會議。
2022年5月,Bill到Meta進行了為期半年的實習,和謝賽寧(Bill開始實習時還未離開Meta)合作發表了DiT模型,首次將Transformer與擴散模型結合到了一起。
該成果被ICCV 2023錄用為Oral論文。值得一提的是,OpenAI此次發布的Sora,被認為正是基於DiT構建的。
去年5月,Bill也從伯克利畢業,併入職OpenAI。
除了這兩位去年加入的研究者,Sora團隊的另一位負責人Aditya Ramesh則是OpenAI的“老人”。
Aditya是DALL-E的創造者,主導了三代DALL-E的研究,三個版本的論文當中他都是共同一作。
而這樣一位主導三代DALL-E,如今又領導Sora團隊的大神,卻只有本科學歷。
據LeCun介紹,Aditya本科就讀於紐約大學,並在他的實驗室參与過一些項目。
其間,Aditya就已經在研究生成式模型,並和LeCun共同發表論文。
畢業之後,Aditya本想繼續深造,但在OpenAI的暑期實習中被留了下來,成為了正式研究人員。
Sora團隊的本科生,還不止Aditya Ramesh一位。
前文提到,這支團隊中有一位“00后”Will DePue,就是2022年才剛從密西根大學計算機系本科畢業的。
這位小哥大四的時候創業搞了個市場諮詢公司DeepResearch,這家公司後來被Commsor收購。
2023年7月,小哥加入OpenAI。根據他的領英信息,他是在今年1月才剛剛加入Sora項目組的。
另外,David Schnurr和Joe Taylor也都沒有博士學位。前者畢業於加州大學聖塔芭芭拉分校,後者畢業於美國舊金山藝術大學。
而正如Aditya Ramesh自己所說,Sora團隊的不少成員都是DALL-E 3的作者。
包括兩位華人Li Jing和Yufei Guo。
Li Jing是DALL-E 3的共同一作,2014年本科畢業於北京大學物理系,2019年獲得MIT物理學博士學位。在Meta做了2年多博士后之後,Li Jing於2022年加入OpenAI。
華人作者中還有Ricky Wang,今年一月剛剛從Meta/Instagram跳槽到OpenAI,另外兩位Yufei Guo、Clarence Ng沒有太多公開資料。
新跳槽來的還有Conner Holmes,他在微軟工作時以外援形式參与了DALL·E 3的推理優化工作,後來乾脆加入OpenAI了。
最後,來看一眼完整作者名單:
從團隊的組建情況和研究基礎來看,Sora應該是OpenAI近半年來的最新成果,而非網傳“早已有之但憋着不發”。
不過,Sora炸場,頂級人才又持續星聚,還是驚得眾人開始重新考量OpenAI的技術領先性。
就在今天,作者釋出的Sora新作,連“同一場景”下的多機位視頻都整出來了。
網友們的心情be like:
現在,是視頻生成,下一個又會是什麼?
參考鏈接:
[1]https://www.wpeebles.com/
[2]https://www.timothybrooks.com/about/
[3]http://adityaramesh.com/about.html