所有語言
分享
文章來源:騰訊研究院
閆德利 騰訊研究院資深專家
煉大模型,大煉模型
近年是全球風險投資的低潮,生成式AI(GenAI)卻逆市而起,去年的融資筆數和融資額分別增長66%和400%(來源:CB Insight,如下圖所示),融資額高居所有細分領域第一位(來源:Dealroom.co)。去年美國前5大風險投資中,OpenAI、Anthropic(2筆)和Inflection AI三家GenAI公司佔據了4個,融資額分別高達100億美元、40億美元、20億美元和13億美元,主要投資者是微軟、亞馬遜、谷歌和英偉達等巨頭(來源:Crunchbase)。
當下的GenAI熱潮起源於美國產業界,實際上美國政府也高度重視,提出了“確保繼續保持領導地位”的戰略目標。在奧巴馬時期,美國白宮發布《國家人工智能研發戰略計劃》(2016),特朗普時期(2019)和拜登時期(2023)分別對其進行了更新,從而形成了9大戰略——長期投資、人和AI協作、倫理、安全、數據集、評估標準、人才、公私合作、國際合作。為推進戰略執行和落地,美國白宮科技政策辦公室(OSTP)相繼設置了人工智能特別委員會(2018)和國家人工智能倡議辦公室(2021)。
我國也煉大模型、大煉模型。今年一季度,全球前三大GenAI風險投資中,我國占其二——月之暗面10億美元A輪融資和MiniMax 6億美元融資。電信運營商、手機廠商、家電廠商、汽車公司、軟件公司、AI公司、互聯網公司、電商等各類型的企業紛紛涉足,已有117個大模型通過國家生成式人工智能服務備案。大模型成為大廠標配。不過並沒有短兵相接的“百模大戰”,反而頗有井水不犯河水之意。
三塊短板
我國人工智能位居世界前列。但也存在尚待補齊的短板,集中體現在算力、數據集和人才三個方面。
一是算力。GenAI以算力堆積實現智能湧現,其成功依賴暴力美學。根據Jaime Sevilla等人的研究(2022),在前深度學習時代(1952-2009),算力需求每21.3個月翻一番,符合摩爾定律;在深度學習時代(2010-2022),算力需求加快到每5.6個月翻一番。如下圖所示。根據THE DECODER披露(2023),GPT-4的每秒浮點運算次數(FLOPs)達到2.15×10^25,一次訓練成本6300萬美元。
來源:Sevilla J, Heim L, Ho A, et al. Compute trends across three eras of machine learning. 2022.
在機器學習圖形處理器領域,英偉達佔有95%的市場份額(來源:New Street Research,2023)。英偉達的A100和H100芯片是訓練大模型的“金剛鑽”,具有不可替代性。由於美國對華GPU限令,我國面臨卡脖子現實。
二是數據集。我國數據規模大。根據國家互聯網信息辦公室《数字中國發展報告(2022年)》,2022年我國數據產量8.1ZB,全球佔比10.5%,位居世界第二。這被看作發展相關產業的優勢。然而,規模優勢不足以彌補質量欠缺。不管把多大數量的馬車連續相加,也決不能得到一條鐵路(熊彼特,1934)。數據質量至少同等重要。在Hugging Face的高質量數據集中,英語以37.7%的比重位居第一位,中文僅佔3.2%,和波蘭語並列第九(來源:OECD,2023)。如下圖所示。我國數據集的質量仍有待進一步提升。當然,這非一日之功,需要歷經歲月的積累。
三是人才。自1966年以來,全世界共有77人獲得圖靈獎。其中只有一名華人——姚期智(2000)。我國計算機科學的歷史積澱尚有不足,所幸近年進步很大,成為美國最大的競爭對手。根據MacroPolo數據(2024),全球最頂級(前2%)AI研究人員的原籍國中,我國以26%的比例逼近美國(28%),位居第二位。在頂級(前20%)AI研究人員的原籍國中,我國有47%,遠超美國(18%)。但仍有隱憂,在最頂級(前2%)AI研究人員的就業國家中,我國仍位居第二,但僅有12%,遠落後於美國(57%)。如下錶所示。GenAI高度依賴人們的創新能力。如何吸引全球頂尖人才來華創業、就業,是需要努力的方向。
兩道難題
每次創新都不是輕而易舉的,都需要破除很多困難,遭受人們的質疑。當前的GenAI面臨以下兩個比較突出的問題。當然,只有發展才能解決問題。
一是缺乏殺手級應用,面臨商業化困難。偉大的時代,必有殺手級應用。例如PC時代的Office,桌面互聯網時代的搜索,移動互聯網時代的手機支付。GenAI是世界潮流,然而還處於應用推廣的早期,美國企業的AI採用率僅有5.4%(來源:人口普查局,2024)。大模型燃燒的是美元,產出是更少的美元。作為全球最性感的GenAI公司, OpenAI 有會員訂閱付費、開發者付費和微軟分成三種盈利模式,自成立以來的收入累計不足20億美元(來源:Finbold),卻耗費了113億美元融資。微軟的GitHub Copilot也採用會員訂閱模式,用戶需支付10美元月費或100美元年費。但因計算成本高,微軟平均每月在每個用戶上的虧損超過20美元,重度用戶高達 80 美元(來源:華爾街日報,2023.10)。GenAI尚不具備傳統軟件的規模經濟,需要通過給用戶巨額補貼來培育市場。國內用戶則更喜歡免費,為優質內容和知識付費的習慣尚未形成,會員訂閱不成主流。GenAI的商業模式仍處於探索的初期。
二是未能顯著提振平台企業業績,雲和芯片是最大受益者。GenAI的興起為我國平台經濟注入了一線生機,各大平台紛紛下場推出大模型。然而,GenAI的火爆未能顯著提振平台企業的業績,我國互聯網平台仍處於萎靡期。自ChatGPT發布以來,儘管疊加了疫情結束、國家支持等利好因素,我國互聯網公司的市值仍有漲有跌,相當大比例的企業跌幅較大,如下圖所示。
大模型訓練需要耗費大量算力,雲和芯片公司是直接受益者。根據A16Z(2023)數據,GenAI總收入的10-20%將流向雲服務提供商。其中,創業公司 80%-90%的早期融資都用於向雲計算平台購買算力。微軟、亞馬遜和谷歌是全球三大雲基礎設施服務商,也是最活躍的GenAI投資者,就不足為奇了。自ChatGPT發布以來,英偉達市值增長457%,成為全球市值第三高的公司,是最大獲益者。
第四次工業革命的悖論
自1956年達特茅斯會議提出“人工智能”術語以來,人工智能的發展起起伏伏,經歷了多次炒作周期。這次似乎不一樣,即使對懷疑論者來說,ChatGPT的發布也意味着人工智能技術的重大突破。人們興奮大呼:人工智能驅動的第四次工業革命正在到來!
工業革命的影響是全面的、深刻的、長遠的,“綜觀世界經濟史,工業革命是唯一一件大事”(Irad Kimhi,2006)。第四次工業革命如果到來,人們必會躊躇滿志,經濟必會生機蓬勃,生活必會欣欣向榮。然而,好像並不是。這是一個悖論。對此,時間可以給出答案,我們不必爭論。有四個事實予以說明。
第一,人們對“智能”懷有與生俱來的痴迷,人工智能的發展充斥着樂觀思潮。謝耘(2023)對其評價是:“志存高遠,盲目樂觀。”達特茅斯會議的主要參与者就曾作出大膽預言:
1958年,艾倫·紐厄爾和赫伯特·西蒙(兩人共同獲得1975圖靈獎):“十年之內,数字計算機將成為國際象棋世界冠軍” “十年之內,数字計算機將發現並證明一個重要的數學定理”。
1965年,赫伯特·西蒙(1978年諾貝爾經濟學獎獲得者):“二十年內,機器將能完成人能做到的一切工作。”
1970年,馬文·閔斯基(1969圖靈獎獲得者):“在三到八年的時間里,我們將得到一台具有人類平均智能的機器。”
第二,自2009年以來我們時刻在“經歷”第四次工業革命(也有人說是第三次工業革命)。在中國知網上,以“第四次工業革命”和“第四次產業革命”為題名的文章分別有386篇和48篇(不計入2024年),如下圖所示。微电子(1984)、雲計算(2012)、物聯網(2016)、大數據(2016)、區塊鏈(2017)、工業互聯網(2017)、新基建(2020)等,都曾被賦以“第四次工業革命”的使命。現在輪到GenAI了。這意味着,GenAI需要達到與蒸汽機、發電機、內燃機、計算機和互聯網一樣的高度。
第三,國外一般把GenAI(或AI)比作智能手機、雲計算、互聯網等特定技術,且通常使用“可能”“之一”等詞彙。例如:
黃仁勛(2023.2):ChatGPT是“the iPhone moment of AI”, OpenAI 所做工作是“one of the greatest things that have ever been done for computing”。
比爾·蓋茨在《The Age of AI has begun》(2023.3)中表示,圖形用戶界面和GPT是他一生中見證過的兩次革命性技術展示,並指出:“人工智能的發展與微處理器、個人電腦、互聯網和移動電話的誕生一樣重要。”
亞馬遜CEO賈西致股東信(2024.4):“Generative AI may be the largest technology transformation since the cloud (which itself, is still in the early stages), and perhaps since the Internet.”
第四,歷次工業革命都不是預測的結果,而是後人的總結。第一次工業革命(1760—1840)結束40年後,術語“Industrial Revolution”才在阿諾德·湯因比的推動下為大眾所知;第二次工業革命(1870—1914)結束40年後,經濟學家才開始使用“Second Industrial Revolution”,到1969年戴維·蘭德斯《不受束縛的普羅米修斯》才標準化了其學術定義;第三次工業革命尚無統一認識,暫且不表。這頗有“偉大不能被計劃”的味道,讓我們期待第四次工業革命不同。
本文寫作中,得到馬駿、馬源、石光、王明輝、李勇堅、白惠天等人的支持和幫助,在此一併感謝。