文章來源：機器之心

圖片來源：由無界AI生成

今天，Meta 正式發布 Code Llama 70B，這是 Code Llama 系列有史以來最大、性能最好的型號。

我們正在開源一個全新的改進版 Code Llama，包括一個更大的 70B 參數模型。編寫和編輯代碼已成為當今人工智能模型最重要的用途之一。事實證明，編寫代碼的能力對於人工智能模型更嚴謹、更合理地處理其他領域的信息也非常重要。我為這一進展感到自豪，並期待着將這些進展納入 Llama 3 和未來的模型中。

Code Llama 70B 提供與之前發布的 Code Llama 型號相同的三個版本：

• CodeLlama - 70B，基礎代碼模型；
• CodeLlama - 70B - Python，專門面向 Python 的 70B；
• Code Llama - 70B - Instruct 70B，它針對理解自然語言指令進行了微調。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具，免費用於研究和商業用途。

據 Meta AI 博客文章的介紹，Code Llama 70B 可比其他版本處理更多查詢，這意味着開發人員可以在編程時向其提供更多提示，並且可以更加準確。

在 HumanEval 基準測試中，Code Llama 70B 的準確率達到了 53%，優於 GPT-3.5 的 48.1%，進一步接近 OpenAI 論文報告中 GPT-4 的 67%。

Code Llama 基於 Llama 2 構建，可幫助開發人員根據提示創建代碼並對人工編寫的代碼進行調試。發布之初，Meta 表示，Code Llama 的開源協議與 Llama 2 一樣，免費用於研究以及商用目的，Code Llama 70B 也是如此。

當時 Code Llama 系列模型有三個版本，參數量分別為 7B、13B 和 34B。並且支持多種編程語言，包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括：

• Code Llama，基礎代碼模型；
• Code Llama-Python，Python 微調版；
• Code Llama-Instruct，自然語言指令微調版。

其中，後面兩個模型專註於特定的編碼語言。現在這個模型大家族又加入了 Code Llama 70B，在代碼任務上又提升了一個台階。

Code Llama 70B 是在 1TB 的代碼和代碼相關數據上訓練而成，託管在代碼存儲庫 Hugging Face 上。

Meta 表示，其較大的型號 34B 和 70B 模型可返回最佳結果並提供更好的編碼幫助。

但在開發者的使用體驗中，Code Llama 70B 仍然存在明顯不足。

比如有人發現，對於生成質數的請求，Code Llama 70B 無法完成：

也有人說，這一限制是為了避免某些不好的用途，比如生成非法質數。非法質數可以被用來表示一些禁止擁有或散布的資料，而依照美國的數位千禧年著作權法，散布這類程式是非法的。

參考鏈接：https://www.theverge.com/2024/1/29/24055011/meta-llama2-code-generator-generative-ai