來源：深思SenseAI

當大部分人在感嘆大浪之巨大的時候，敏銳的水手已經出發尋找新大陸。近日，特斯拉 AI 總監、前不久再次回歸 OpenAI 的 AI 頂流 Karpathy 在推特轉發了 Latent Space 播客的最新一期內容，認為跟上 AI 的發展已經成為了一份全職工作，這份工作不僅僅需要提示工程，且需求量將遠超如今的機器學習算法工程師。本期內容，我們繼續對未來需要的 AI 人才能力畫像做進一步分析。

Sense 思考

我們嘗試基於文章內容，提出更多發散性的推演和深思，歡迎交流。

模型技術 vs. 產品落地：當大部分人在感嘆大浪之巨大的時候，敏銳的水手已經出發尋找新大陸。發明羅盤和造船的工匠發揮了時代作用，而接下來，水手和工人開疆擴土。

軟件 3.0 時代：SenseAI 再次強調 Agent 網絡，這一次是機器走向了我們，自然語言會成為完成大部分開發需求的語言包，進一步解放了人類的想象力。Agent 之間用交互密度和網絡協同解決執行，人類要做的更多是提出底層暢想，破壞與重構。

本篇正文共 3255 字，仔細閱讀約 9 分鐘

01、全新的職業：AI Engineer

我們正在觀察到一次代際性的應用人工智能“向右轉變”，這種轉變是由基礎模型的湧現能力和開源/API 可用性推動的。一系列在 2013 年需要 5 年時間和一個研究團隊才能完成的人工智能任務，如今只需要 API 文檔和一個空閑的下午就可以完成。

API 是通用的：AI 工程師可以向左優化/託管模型，研究工程師也可以向右在 API 之上構建應用，但是他們的相對優勢和技術底座是明顯的。

然而，最難的工作是在具體的落地細節中，目前 LLM 在成功評估、應用和將其產品化方面仍有如下挑戰：

1. 模型：從評估最大的 GPT-4 和 Claude 模型，到最小的開源 Huggingface，LLaMA 以及其他模型。

2. 工具：從最受歡迎的鏈接、檢索和向量搜索工具如 LangChain，LlamaIndex，和Pinecone，到新興的代理工具領域如 Auto-GPT 和 BabyAGT。

3. 新聞：每天發布的論文、模型和技術的數量正隨着關注度和資本的增加而呈指數級增長，以至於保持對所有這些前沿動態的嗅覺幾乎成為了一項全職工作。

LLM 創造出一份全職工作。軟件工程將會孵化出一個新的子學科，專註於 AI 的應用，並有效地運用新興的技術棧，就像“網站可靠性工程師”，“開發運維工程師”，“數據工程師”和“分析工程師”那樣嶄露頭角。

AI 工程師，將會代表這類角色而興起。

幾乎每個創業公司都有某種形式的 AI 討論群。這些群將會從非正式的小組轉變成正式的團隊，就像 Amplitude、Replit和 Notion 已經做的那樣。那些在將 AI APIs 和 OSS 模型產品化上工作的數千名軟件工程師，無論是在公司時間還是在夜晚和周末，在企業的 Slack 或獨立的 Discord，都將專業化並彙集到一個頭銜—— AI 工程師。這很可能將成為未來十年最高需求的工程職位。

從最大的公司如微軟和谷歌，到前沿的創業公司如 Figma（被 Diagram 收購）、Vercel（Hassan El Mghari 的 RoomGPT）和 Notion（ Ivan Zhao 和 Simon Last 的 Notion AI），再到獨立的黑客如 Simon Willison、Pieter Levels（Photo/InteriorAI）和 Riley Goodside（現在在Scale AI）。他們在 Anthropic 進行提示工程的年收入達到 30 萬美元，在 OpenAI 建設軟件的收入達到 90 萬美元。他們在 AGI House 利用空閑的周末研究創意，也在 /r/LocalLLaMA2 分享竅門。他們共同的特點是，他們正在將人工智能的進步轉化為實際產品，幾乎在一夜之間被數百萬人使用。

沒有一個人有博士學位。當涉及到發布 AI 產品時，你需要的是工程師，而不是研究人員。

02、AI工程師將取代ML工程師

未來對 AI 工程師的需求量將高速增長。目前在 Indeed 上，ML 工程師的工作機會是 AI 工程師的 10 倍，但是 AI 更高的增長率讓人相信，這個比例將在 5 年內顛倒過來。

HN Who’s Hiring的月度就業趨勢圖

所有的職位名稱都是有片面的，但有些是有用的。我們對 AI 和 ML 之間無盡的語義辯論既警惕又厭倦，卻也清楚地知道，常規的“軟件工程師”角色完全有能力構建 AI 軟件。然而，最近在 Ask HN 上關於如何打入 AI 工程領域的問題，揭示了市場上仍然存在的基本認知：

2023年6月截圖：對於“如何打入 AI 工程領域”的最高票答案

大多數人仍然將 AI 工程視為機器學習或數據工程的一種形式，所以他們推薦相同的技術棧。但可以確信的是，上面提到的那些高效的 AI 工程師都沒有做過與 Andrew Ng Coursera 課程相當的工作，他們也不了解 PyTorch，也不知道數據湖和數據倉庫的區別。

不久，沒有人會建議通過閱讀《Attention is All You Need》來開始 AI 工程，就像你不會通過閱讀福特 Model T 的圖紙來學習駕駛一樣。當然，理解基本原理和歷史總是有幫助的，並且它確實可以幫助你找到還未進入普遍意識的創新點和效率/能力提升。但有時候，你可以直接使用產品並通過經驗了解它們的品質。

誠然， AI 工程師和 ML 工程師的反轉並不會在一夜發生。人們天生就想充實簡歷，填寫市場圖，並通過引用更有權威性的深度話題來脫穎而出。也就是說，提示工程和 AI 工程在很長一段時間內會覺得自己比那些有良好的數據科學/機器學習背景的人有劣勢。然而，供需經濟學終將勝出，對 AI 工程師的需求終將遠超 ML 工程師。

03、為什麼是現在？

1. 基礎模型是“少次學習者”，展示出在上下文中學習甚至零次轉移能力，這超越了模型訓練者最初的意圖。換句話說，創造這些模型的人並不完全知道它們的能力。那些非 LLM 研究者的人只需花更多時間與模型交互，並將它們應用到被研究低估的領域（例如，Jasper在文案創作中的應用），就能發現並利用這些能力。

2. 微軟、谷歌、Meta 以及大型基礎模型實驗室已經垄斷了稀缺的研究人才，基本上提供了“AI 研究即服務”API。你不能雇傭他們，但可以租用他們——如果你的團隊中有軟件工程師知道如何與他們合作。全球大約有 5000 名 LLM 研究者，但有約 5000 萬名軟件工程師。供應限制決定了一個“樞紐型”的 AI 工程師將崛起以滿足市場需求。

3. GPU 儲備。當然，OpenAI/微軟是首個開展這項工作的，但 Stability AI 通過強調他們的 4000 個 GPU 集群引發了創業公司的 GPU 軍備競賽。

4. 直接從產品開始的敏捷行動。不再需要數據科學家/ ML 工程師在訓練一個領域特定模型然後將其投入生產之前做一項繁重的數據收集工作，產品經理/軟件工程師可以先提示 LLM，並建立/驗證一個產品想法，然後再獲得特定的數據進行微調。

假設後者的數量比前者多 100 到 1000 倍，而通過提示 LLM 的“先開火、準備、再瞄準”的工作流程使您的速度比傳統的機器學習快 10 到 100 倍。因此，AI 工程師將能夠以 1,000 到 10,000 倍更低的成本來驗證 AI 產品。這又是一次瀑布開發與敏捷開發的較量，而 AI 就是敏捷的。

5. Python → JavaScript。數據/人工智能傳統上非常依賴於 Python，而像 LangChain、LlamaIndex 和 Guardrails 這樣的第一批 AI 工程工具也源自同一社區。然而，現在有與 Python 開發者數量相當多的 JavaScript 開發者，因此現在的工具越來越多地滿足這個擴大的用戶群體，從 LangChain.js 和 Transformers.js 到 Vercel 的新 AI SDK。市場擴大的機會是巨大的。

6. Generative AI vs Classifier ML。“生成式AI”作為一個術語已經不再流行，為其他類比如“推理引擎”讓路，但在簡潔地闡述現有的 MLOps 工具和機器學習從業者之間的區別以及最適合運用 LLM 和文本到圖像生成器的嶄新、截然不同的角色時，仍然非常有用。在現有的機器學習研究中中，重點可能放在欺詐風險、推薦系統、異常檢測和特徵存儲等方面，而 AI 工程師則正在構建寫作應用、個性化學習工具、自然語言電子錶格和類似 Factorio 的可視化編程語言。

每當出現一個完全不同背景、使用不同語言、產生完全不同產品並使用完全不同工具的子群體時，它們最終會分裂成獨立的群體。

04、1+2=3：軟件3.0時代的編程

6 年前，Andrej Karpathy 撰寫了一篇非常有影響力的文章，描述了 Software 2.0，對比了精確建模邏輯的傳統手寫編程語言的“經典堆棧”和近似邏輯的“機器學習”神經網絡的新堆棧，使得軟件能夠解決比人類能夠建模的問題更多。今年，他在隨後的文章中指出，最熱門的新編程語言是英語，最終填補了他在原始文章中未標記的灰色區域。

去年，Prompt Engineering 成為一種模因（Meme），描述了當人們開始利用 GPT-3 和 Stable Diffusion 時，工作將如何發生變化。人們嘲笑 AI 初創公司稱其為“OpenAI 包裝者”，並對 LLM 應用程序容易受到提示工程和逆向提示工程的擔憂。壁壘是否真的存在？（ Sense 說：參考我們的第一篇文章《智能系統：未來人工智能企業的護城河》）

但 2023 年最大的主題之一就是重新確立人類編寫的代碼在協調和取代 LLM 能力方面的作用，從超過 2 億美元的 Langchain，到 Nvidia 支持的 Voyager，展示了代碼生成和重用的明顯重要性。Prompt Engineering 既被過度炒作又會持續存在，但是在軟件 3.0 應用程序中重新出現軟件 1.0 範例既是一個巨大的機遇和困惑領域，也為眾多初創公司創造了白色空間。

不會做市場研究的投資人不是好的投資人

當然，這不僅僅是人類編寫的代碼。眾多項目的故事表明（smol-developer、更大範圍的 gpt-engineer 以及其他代碼生成代理如 Codium AI、Codegen.ai 和 Morph/Rift的冒險經歷），它們將越來越成為 AI 工程師工具包的一部分。隨着人類工程師學會駕馭人工智能，人工智能也將越來越多地參与工程工作。

直到一個遙遠的未來，我們將在某一天抬頭看去，無法再分辨出兩者之間的區別。

參考材料

https://www.latent.space/p/ai-engineer#footnote-anchor-7-131896365