四虎影视在线影院在线观看,小s货再浪些再咬紧点h,国产精品水嫩水嫩,97精产国品一二三产区

標(biāo)題: Meta 放大招：發(fā)布開源大語言模型 Llama 2，可免費(fèi)商用 [打印本頁]

作者: wdks 時(shí)間: 2023-7-27 11:35 標(biāo)題: Meta 放大招：發(fā)布開源大語言模型 Llama 2，可免費(fèi)商用

Meta 和微軟深度合作，正式推出下一代開源大語言模型 Llama 2，并宣布免費(fèi)提供給研究和商業(yè)使用。

Llama 2 論文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models

據(jù)介紹，相比于 Llama 1，Llama 2 的訓(xùn)練數(shù)據(jù)多了 40%，上下文長度是 Llama 1 的 2 倍，并采用了分組查詢注意力機(jī)制。具體來說，Llama 2 預(yù)訓(xùn)練模型是在 2 萬億的 token 上訓(xùn)練的，微調(diào) Chat 模型是在 100 萬人類標(biāo)記數(shù)據(jù)上訓(xùn)練的。

Meta 稱 Llama 2 在許多外部基準(zhǔn)測試中，包括推理、編碼、熟練度和知識(shí)測試中，都超過其他模型表現(xiàn)。

Llama 2 包括 Llama 2 和 Llama 2-Chat，包含了 70 億、130 億和 700 億參數(shù) 3 個(gè)版本，其中 Llama 2-Chat 針對雙向?qū)υ掃M(jìn)行了微調(diào)，并且跟 ChatGPT 類似， Llama 2-Chat 也經(jīng)歷了預(yù)訓(xùn)練階段 (PT)、指令微調(diào) (SFT) 以及人類反饋強(qiáng)化學(xué)習(xí) (RLHF) 三個(gè)階段。

Meta 表示 Llama 2 可免費(fèi)用于研究和商業(yè)用途，開發(fā)者們可以直接在 Llama 2 官方網(wǎng)站下載該模型。

歡迎光臨 WDlinux官方論壇 (http://cd-genova.com/bbs/)