可商業化，最強開源文本生成代碼模型！Code Llama 重磅發佈
Meta 表示，Code Llama 在代碼任務上的表現，優於目前所有開源代碼模型，可根據自然文本或代碼直接生成代碼。
8 月 25 日凌晨，全球社交、科技巨頭 Meta（Facebook、Instagram 等母公司）在官網正式開源了，文本生成代碼模型 Code Llama。
據悉，Code Llama 是基於 Meta 前不久發佈的，最強開源大語言模型 Llama 2 之上開發而成，提供基礎代碼、專門針對 Python 開發和基於自然語言指令微調的，70 億、130 億、340 億三種參數模型。允許企業、個人開發者使用此模型，進行商業化。
Meta 表示，Code Llama 在代碼任務上的表現，優於目前所有開源代碼模型。Code Llama 支持 Python、C++、Java、PHP、Typescript (Javascript)、C#和 Bash 等主流編程語言，可根據自然文本或代碼直接生成代碼，例如，給我寫一個斐波那契序列函數的代碼。
Code Llama 簡單介紹
Code Llama 是基於 Llama 2 大語言模型，再通過特定代碼數據預訓練、微調而成。除了支持文本或代碼生成代碼之外，還可用於代碼的調試並支持目前所有主流開發語言。
Code Llama 提供 70 億、130 億和 340 億三種參數模型，每個模型都使用了 5000 億 tokens 代碼數據訓練而成。基礎模型和指令模型經過了中間填充文本 (FIM) 功能的訓練，允許將代碼插入到現有代碼中，這意味着它們可以支持開箱即用的代碼完成任務。
Code Llama 模型提供了高達 100,000 個上下文標記的穩定生成。所有模型均在 16,000 個標記的序列上進行訓練，並在最多 100,000 個標記的輸入上顯示出改進。
這意味着，開發人員在進行大型代碼模型測試、調優時，可以將其全部輸入到 Code Llama 中進行測試。
Code Llama 還針對 Python 編程推出了 Code Llama Python 模型。是在 Python 代碼的 1000 億標記上進行微調。
Python 是代碼生成方面最具基準測試的語言，並且 Python 和 PyTorch 在 AI 社區中發揮着重要作用，所以，推出了針對 Python 的代碼模型。
Code Llama - Instruct 是 Code Llama 針對自然文本指令微調的模型，該模型支持自然文本輸入和輸出。
如果你想使用文本生成代碼，Meta 建議你使用該模型，因為 Code Llama - Instruct 已經過數據微調理解自然文本更好並且生成的代碼更符合開發人員要求。
資源消耗方面，70 億參數模型可在單個 GPU 上運行。340 億參數模型可返回最佳結果並提供更好的編程輔助，但資源消耗更大。
所以，對於個人開發者、中小型企業來説，70 億、130 億參數的模型效率更高、資源消耗更少，適合低延遲的任務，例如，進行實時代碼開發。
Code Llama 性能評測
為了針對現有解決方案測試 Code Llama 的性能，Meta 使用了兩個流行的編碼基準：HumanEval 和 Mostly Basic Python 編程 (MBPP)。
HumanEval 測試模型根據文檔字符串完成代碼的能力，MBPP 測試模型根據描述編寫代碼的能力。
測試結果顯示，Code Llama 的表現優於開源、特定代碼的 Llama，並且優於 Llama 2。例如，Code Llama 340 億參數模型在 HumanEval 上得分為 53.7%，在 MBPP 上得分為 56.2%，與 ChatGPT 性能相當。
本文來源：AIGC 開放社區，原文標題：《可商業化，最強開源文本生成代碼模型！Code Llama 重磅發佈》
