Meta 放大招：發(fā)布開源大語言模型 Llama 2，可免費商用

wdks

Meta 和微軟深度合作，正式推出下一代開源大語言模型 Llama 2，并宣布免費提供給研究和商業(yè)使用。

Llama 2 論文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models

據介紹，相比于 Llama 1，Llama 2 的訓練數(shù)據多了 40%，上下文長度是 Llama 1 的 2 倍，并采用了分組查詢注意力機制。具體來說，Llama 2 預訓練模型是在 2 萬億的 token 上訓練的，微調 Chat 模型是在 100 萬人類標記數(shù)據上訓練的。

Meta 稱 Llama 2 在許多外部基準測試中，包括推理、編碼、熟練度和知識測試中，都超過其他模型表現(xiàn)。

Llama 2 包括 Llama 2 和 Llama 2-Chat，包含了 70 億、130 億和 700 億參數(shù) 3 個版本，其中 Llama 2-Chat 針對雙向對話進行了微調，并且跟 ChatGPT 類似， Llama 2-Chat 也經歷了預訓練階段 (PT)、指令微調 (SFT) 以及人類反饋強化學習 (RLHF) 三個階段。

Meta 表示 Llama 2 可免費用于研究和商業(yè)用途，開發(fā)者們可以直接在 Llama 2 官方網站下載該模型。