OpenLLM 操作大語言模型的開放平臺

wdks

OpenLLM 是一個生產級的操作大語言模型 (LLM) 的開放平臺。支持便捷 Fine-tune 微調、Serve 模型服務、部署和監(jiān)控任何 LLM。借助 OpenLLM，可以使用任何開源大語言模型運行推理，部署到云端或本地，并構建強大的 AI 應用程序。

OpenLLM 特性包括：

• 先進的 LLM：內置支持各種開源 LLM 和模型運行時，包括 StableLM、Falcon、Dolly、Flan-T5、ChatGLM、StarCoder 等。
• 靈活的 API：只需一個命即可通過 RESTful API 或 gRPC 為 LLM 提供服務，并通過 WebUI、CLI、Python/Javascript 客戶端或任何 HTTP 客戶端進行查詢。
• 自由構建：對 LangChain、BentoML 和 Hugging Face 具有一級支持，可以通過將 LLM 與其它模型和服務組合來輕松創(chuàng)建自己的 AI 應用程序。
• 簡化部署：自動生成 LLM 服務器 Docker 鏡像或通過 BentoCloud 部署為無服務器端節(jié)點。
• 自建 LLM：使用 LLM.tuning () 微調任何 LLM 以滿足特定需求。 （即將推出）