跳到主要内容

开源模型部署

如果您需要使用开源模型,那么需要注意的是必须进行私有化部署(本机、本地服务器或云服务器)才能正常工作。运行大模型对硬件配置尤其是GPU会有一定的要求(部分开源大模型可以在CPU上运行),同时您还需要遵守该模型的开源协议。

部分常用开源大模型的基本情况,包括私有化部署的硬件要求,请参见本指南的其他部分。

同样的,在部署完开源大模型后,您需要获取其模型名称及服务器地址,才能用模链进行应用开发。