Meta 放大招：發(fā)布開源大語言模型 Llama 2，可免費(fèi)商用

wdks

Meta 和微軟深度合作，正式推出下一代開源大語言模型 Llama 2，并宣布免費(fèi)提供給研究和商業(yè)使用。

Llama 2 論文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models

據(jù)介紹，相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長度是 Llama 1 的 2 倍，并采用了分組查詢注意力機(jī)制。具體來說，Llama 2 預(yù)訓(xùn)練模型是在 2 萬億的 token 上訓(xùn)練的，微調(diào) Chat 模型是在 100 萬人類標(biāo)記數(shù)據(jù)上訓(xùn)練的。

Meta 稱 Llama 2 在許多外部基準(zhǔn)測試中，包括推理、編碼、熟練度和知識(shí)測試中，都超過其他模型表現(xiàn)。

Llama 2 包括 Llama 2 和 Llama 2-Chat，包含了 70 億、130 億和 700 億參數(shù) 3 個(gè)版本，其中 Llama 2-Chat 針對雙向?qū)υ掃M(jìn)行了微調(diào)，并且跟 ChatGPT 類似， Llama 2-Chat 也經(jīng)歷了預(yù)訓(xùn)練階段 (PT)、指令微調(diào) (SFT) 以及人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 三個(gè)階段。

Meta 表示 Llama 2 可免費(fèi)用于研究和商業(yè)用途，開發(fā)者們可以直接在 Llama 2 官方網(wǎng)站下載該模型。