原文來源：新智元

圖片來源：由無界 AI生成

就在剛剛，OpenAI的最大秘密，被傅盛在130萬人面前揭穿！百億參數，竟能在企業級應用中媲美千億級大模型；一張3060，就能幫老闆打到「王者」！

當全世界都在為GPT Store上線而興奮時，誰又看到了OpenAI的「陽謀」？

當你把合同、財務、業務數據等公司機密都傳給ChatGPT時，或許並未意識到：每一次使用ChatGPT，都是在幫OpenAI提升模型「智商」。

正如GPT Store的發布，讓眾多初創公司一夜暴斃。而他們始終也沒有搞明白，為什麼自己300萬美元的公司，最後變成了一張500美元的OpenAI API代金券。

去參加開發者大會的每個人都會得到一張OpenAI給的API代金券

現在，Altman不說的秘密，終於被揭開了——

企業應用，百億參數就夠了

很長一段時間，千億參數大模型都被認為是商業化應用的最佳方案。

但直接基於API使用，會有數據泄露給例如OpenAI這些模型供應商的風險。那最好的辦法就是私有化部署。然而面對如此規模的模型，光授權費就要數千萬。

對此，老闆們紛紛表示，我就是想解決個客服問題而已，就沒有便宜的方案嗎？

就在今天，性價比更高的方案來了——獵戶星空正式官宣了一款千億級效果的百億大模型。

測試显示，在百億參數+應用打磨的加持下，模型對於專業場景問題的回答已經超越了GPT-4。而且，只要千元顯卡即可運行！

140億參數的模型，達到了千億級的效果

話不多說，先上跑分。

可以看到，Orion-14B在眾多20B規模的模型中，遙遙領先。

不僅在MMLU、C-Eval、CMMLU、GAOKAO、BBH等主流測試集上拿下SOTA。

而且，在OpenCompass綜合測評的中文數據集上，總分位列700億參數以下基座模型第一。

此外，Orion-14B還具備極強的多語言能力——在日語、韓語開源模型評測中也拿下了全球第一，堪稱是「出海之光」。

日文為JNLI等8項評測集平均得分；韓文為COPA等4項評測集平均得分；中文英文為OpenCompass對應語言評測集平均得分

在目前業內公認最權威的大模型長文本準確度測試方法「大海撈針」中，Orion-14B直接拿下了200K token全綠的成績。

甚至，最高還可以支持320K的超長上下文，相當於一次性看完小半本《三體》（45萬漢字）。

順帶一提，此前有報道指出，有不少大模型為了在榜單中「刷新SOTA」，竟然直接拿基準測試裏面的「真題」和「答案」來訓練。

對此，獵戶星空表示，自己大模型的成績絕對真實，完全沒有刷過題。

模型開源一手實測：幻覺消失了

目前，Orion-14B已經全面開源，並且可以直接在線上體驗。

GitHub：https://github.com/OrionStarAI/Orion

Hugging Face：https://huggingface.co/OrionStarAI

ModelScope：https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary

技術報告：https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf

比如，告訴它插入表格數據的基本信息，然後輸出SQL語句。

Orion-14B按要求用SQL編程語言完成了任務。

你還可以上傳文檔給到Orion-14B，然後模型可以基於文檔內容給出回應。

這樣，企業私有領域的數據，就可以在下游應用中把模型作用發揮到極致。

舉個栗子，上傳一些關於交通法的文檔片段，當用戶詢問哪些情況不能超車，Orion-14B就會根據已有的內容準確回答，不會瞎猜出現幻覺。

Orion-14B還可以根據輸入一段話內容，將其變成QA對。

比如室內裝飾構造虛擬仿真教學軟件的產品的5點價值，以及應用領域和適用對象。

一大段內容輸入后，模型就能將其拆分、理解，得到不同的QA對話。

此外，當你輸入一封郵件的內容，Orion-14B模型還可以抽取數據，發件人、郵箱、聯繫方式，都可以清晰地分列出來。

微調「全家桶」媲美千億模型，入門級顯卡可跑

可以看到，在AI大潮下，只有在私有化數據加持下的大模型，才能給企業持久的競爭力。

而為企業應用而生的獵戶星空大模型，憑藉著「全家桶」級的微調能力，可以在專業場景里實現媲美千億級模型的效果。

具體來說，獵戶星空大模型涵蓋了七大應用微調方向：

通用對話微調、插件微調、RAG微調、長Token微調、知識抽取微調、問答對生成微調、日韓文微調。

其中，基礎對話能力微調模型（Orion-14B-Chat）專註於提升對話能力，尤其在理解歷史消息和角色扮演方面显示出更高的準確性。

這一版本能夠捕捉對話上下文中的細微變化，並根據不同角色和場景做出相應的反應，從而提供更加自然、連貫的對話體驗。

除此之外，獵戶星空還在兩個大模型應用的主流方向上深入打磨——檢索增強生成（RAG）和Agent。

兩大重點：RAG和Agent

儘管當前大模型的能力令人印象深刻，但並非無懈可擊。它們或因訓練數據時效，token長度等限制，可能會輸出誤導性信息，進而產生「幻覺」。

有時，LLM也會因缺乏專業領域知識，在處理特定領域的問題時，力不能及。尤其是對於企業內部的信息，讓LLM自由發揮就更加容易出錯。

但有了私有知識的加持，它的回答就精準多了。

RAG的誕生，就是為了補足這一塊短板。

來源：https://arxiv.org/pdf/2312.10997.pdf

目前流行的大模型應用開發框架Llama-Index、LangChain等，都包含了RAG的部分。但是框架數量雖然多，在實際部署時卻一言難盡，工程搭建繁瑣，效果不理想，企業可能搞了半年都上不了線。

相比之下， 獵戶星空的RAG能力微調模型（Orion-14B-RAG），則通過針對知識邊界控制、問答對生成、幻覺控制、結構化數據提取等能力進行專項微調，使其成為了最適合開發RAG應用的微調模型。

基於此，企業便能夠快速整合自身知識庫，構建定製化應用。

除了RAG，拓寬大模型應用的另一條重要路徑，便是Agent。

OpenAI應用人工智能研究主管Lilian Weng去年的一篇博客，曾掀起Agent討論熱潮。基於大模型構建的Agent，擁有強大的語言理解和處理能力，可以自動化完成各種任務。

除了耳熟能詳的AutoGPT、BabyAGI等，還有OpenAI官宣的「定製GPTs」，都屬於Agent的範圍。

舉個栗子，HuggingGPT利用ChatGPT作為控制器，連接HuggingFace社區中的各種AI模型，來完成多模態複雜任務。

一夜爆火的MetaGPT，能扮演各種角色，在內部監督代碼生成，提高代碼質量。

更有網友用MetaGPT智能體框架，僅在10分鐘就做出小遊戲Flappy Bird，讓低成本的軟件開發成為現實。

而獵戶星空的插件能力微調模型（Orion-14B-Plugin），則通過增強模型根據用戶問題調用最適配工具的能力，並將插件的結果與模型的處理相結合，來解決更複雜的問題。

具體來說，研究團隊針對意圖識別、函數調用、缺槽反問、單輪抽參、多輪抽參等能力進行專項微調，使其成為了最適合構建Agent應用的微調模型。

由此，也讓獵戶星空大模型在Agent應用所需的五種能力上，幾乎追平了GPT-4——

意圖識別成功率90.3%；首輪抽參成功率100%；多輪抽參成功率90.19%；缺槽反問成功率91.07%；插件調用成功率91.37%。

相比之下，一般的百億參數大模型表現不超過70%。

千元即可商用：RTX 3060都能跑

此外，為滿足小企業需求，獵戶星空大模型還推出了幾乎無損的INT4量化版本（損失<1%）。

通過AWQ Q4量化技術，研究團隊不僅讓模型大小直降了70%，而且還使推理速度也提升了30%。

換句話說就是，只需一張消費級顯卡，如NVIDIA RTX 3060，就能實現每秒最高31 tokens（約50個漢字）的輸出。

而在私有化部署方面，也可以輕鬆地將服務器和企業數據控制在內網之中，甚至還提供全套開源免費可商用資源和社區技術支持。

獨家推出企業使用AI的三個段位

在大會上，傅盛拋出這樣一個觀點：企業使用AI，有三個段位。

青銅段位，是用AI做文案、做圖。黃金段位，是数字員工。但AIGC其實最重要的，還是王者段位。

在此段位，全過程都由AI參与。王者段位的企業，應該選擇用私有大模型+強應用套件，來實現数字員工和輔助決策。

不過，雖然現在大模型百花齊放，但獵戶星空卻在實踐中發現，企業需要的不是「大模型」，而是能夠結合業務流並解決自身痛點的大模型應用。

曾經，傅盛和朱嘯虎的這場辯論，引發了全網關注。

當時傅盛表示，做好應用，依然是創業者最好的機會。

現在，獵戶星空來交卷了！

會上，傅盛重磅發布了AI輔助決策交鑰匙解決方案「聚言」，可以為企業提供全鏈條的定製化AI大模型諮詢和解決方案服務。

可以預見，在以上所有這些能力的共同加持下，一個嶄新的時代即將來臨——每個企業都會有私有化大模型。

「数字老闆」是個啥？

值得一提的是，相比於別人做的「数字員工」，獵戶星空竟然選擇了做「数字老闆」！

不過，這其中的原因很簡單，獵戶星空在自己應用AI時，發現了不少業內秘密——

大模型在企業中無法即插即用，而只靠員工自主探索，也很難實現企業AI應用上的增效，必須針對整個流程，進行AI重構。

而有了「数字老闆」之後，老就們就可以全面掌握經營細節。人力資產、雲資產、数字資產，全天候細節無遺漏。

人力助手：一口氣看完2000份周報，發掘潛力員工

前一陣曝出英偉達的員工每人都要向CEO老黃提交周報，老黃是怎麼看完的呢？當然是用AI。

獵戶星空的這位「数字老闆」，就能做到這點。

比如，只需問一句，人力助手就能把公司收到的近2000份周報匯總起來，並提煉出主要的業務進展和潛在的風險。

之後，還可以繼續詢問某項具體風險的應對方案。而AI便會完全依據周報的內容，給出回答。

此外，AI還可以根據周報分析團隊的實際效率，並給出優化建議。

更厲害的是，當AI完全掌握了公司的私有數據時，還能幫你預測出員工的潛力！

比如，海外銷售業務最有可能成為銷冠的三個人是誰。

AI就會根據海外銷售業務的特點，創建出一個得分系統，然後根據數據分析給出結果，並同時附上非常直觀的圖表。

如此一來，不僅能像英偉達的黃老闆一樣，每天處理數百封郵件，跟進數十個項目，還能減少決策失誤，提高效率。

雲資產助手：成本直降30%，立省85萬刀

對於另一項開銷大頭「雲」來說，技術人員通常都希望服務器越多越好，而老闆們雖然搞不懂，但依然需要為越來越貴的雲成本買單。

為此，獵戶星空推出了雲資產助手——一個利用不同領域雲治理專家經驗訓練的專業領域大模型。

具體來說，AI會通過深挖雲數據的底層邏輯，對客戶的雲上資源和成本賬單數據進行多維度分析，從而進一步剖析運營成本痛點。

然後，再基於此自動生成切實可行的解決方案，並附上高質量的成本優化報告。

而且，當老闆對某個圖表或概念產生疑問時，只需和AI多聊兩句，就可以獲得答案。

聚言創意助手：N個專家，直接為你出謀划策

如今，老闆的智囊團成本越來越高，內部有共同的認知盲區，而外部的智囊團，又成本太高、周期太長。

這樣的後果就是，每次討論決策的時間越來越長。

為此，獵戶星空推出了一個由多個Agent組成的「智囊團」——聚言創意助手，可以讓各個領域的專家直接為你出謀策劃。

比如，去年爆火的旅遊城市景德鎮、淄博，再到哈爾濱，你能想象到，AI參与這次謀划會如何？

只需要在聚言創意助手中，勾選你想要給出旅遊戰略規劃的角色，輸入話題，它們便會從不同角度提供方案。

專家為你出謀划策，這個過程僅需要20-30分鐘。

有了聚言助手，未來各種營銷策略、市場報告等等，無需費力找專家，就能獲得更高質高效、全面省錢的方案。

所有的創新，都由Think Different引發

做出自己的千億大模型，就一定能取得商業上的成功嗎？如果技術沒有和產品、應用形成閉環，再多技術投入都不能形成壁壘。

現在主流的模式，是砸錢預訓練千億級模型，微調，然後尋找應用場景。而獵戶星空卻獨辟蹊徑，在已知應用場景后，再微調，然後尋找合適的模型。

七年磨一劍

大模型下半場開年之局，獵戶星空大模型登場着實給了所有人億點點震撼。

作為一家All in AI的創業公司，如今在大模型時代大放異彩，背後離不開團隊在這一領域持續7年的深耕。

2016年，獵戶星空成立初始便投入了巨資、博士團陣容，打造AI全鏈條技術。

值得一提的是，這家公司擁有來自Meta、Yahoo、百度等全球頂級大廠上百名頂級算法科學家的頂級團隊。

與此同時，團隊在技術棧上，對從DNN、Attention、Bert到LLM、ASR/TTS/NLP的演進也非常熟悉。

獵戶星空的機器人還登上冬奧會，出海全球獲得了認可，擁有全球20億用戶應用打磨經驗。

而在7年AI磨刀的過程中，有了紮實的數據積累，包含百億級真實用戶query數據，數十億級token數據。

重磅預告：MoE已經在訓了！

目前，獵戶星空已經在已有模型的基礎上，調試和訓練MoE架構的專家混合模型了。

據稱，在這「N個臭皮匠」的加持下，智能水平可以全方位媲美千億參數模型。

2024年，大模型應用怎麼走？

傅盛預測，到2024年，千億大模型中過半都會凋零，而百億大模型會百花盛開。

超越OpenAI的機會，將來自大模型應用公司。

讓我們拭目以待。

參考資料：

https://github.com/OrionStarAI/Orion

https://modelscope.cn/studios/OrionStarAI/Orion-14B-App-Demo/summary

https://huggingface.co/OrionStarAI