6 篇博文 含有标签「AI大模型私有部署」

重磅升级！

1. 目前已成功私有化部署10个语言模型，包括：

   • 2个5-10亿参数的小模型，适合低配CPU及RAM服务器使用；

   • 1个30亿参数的大模型和7个60-70亿参数的大模型，适合中配CPU/RAM或GPU服务器使用，其中：

     • 包括5个较流行的的开源大模型(模型03/04/05/06/07)；

     • 包括2个支持中文比较好的国产开源大模型(模型08/09)；

     • 包括1个多模态开源大模型(模型10)；

   经测试部分模型(如模型04/05)对行业知识掌握的非常好，接近OpenAI GPT。

2. 全部模型创建应用实例成功，如下：

   • 周周向上.私有部署大模型.01：Z.S.LLM.01.T

   • 周周向上.私有部署大模型.02：Z.S.LLM.02.Q

   • 周周向上.私有部署大模型.03：Z.S.LLM.03.O

   • 周周向上.私有部署大模型.04：Z.S.LLM.04.G

   • 周周向上.私有部署大模型.05：Z.S.LLM.05.L

   • 周周向上.私有部署大模型.06：Z.S.LLM.06.P

   • 周周向上.私有部署大模型.07：Z.S.LLM.07.M

   • 周周向上.私有部署大模型.08：Z.S.LLM.08.Q

   • 周周向上.私有部署大模型.09：Z.S.LLM.09.Y

   • 周周向上.私有部署大模型.10：Z.S.LLM.10.V

重磅升级！

1. 成功私有化部署第三个AI大模型，参数量更大；在首次对话时进行了能力测试(未经行业微调、也未挂载专项知识库)，包括：

   • 中文支持程度：测试通过；
   • 英文输入有误时的推理能力：测试通过；
   • 编程能力：测试通过；
   • 未挂载专项知识库时对行业知识的掌握程度：测试通过；
   • 验证：在合理的参数量范围内，参数量与能力(基本上)成正比。

2. 使用第三个私有化部署的AI大模型创建应用实例成功：私有部署大模型-3

3. 使用第三个私有化部署的向量模型对部分文档进行了向量化测试，成功。

重要更新！

1. 更新目前能够私有化部署的开源大模型67+、开源向量模型9+；

2. 更新目前能够在线调用的闭源大模型12+、闭源向量模型7+；

3. 修订《指南》其他部分，包括增加技术路径2及相关内容。

重磅升级！

1. 成功私有化部署第二个AI大模型，对中文的支持更好，已可以编写代码。

2. 使用第二个私有化部署的AI大模型创建应用实例成功：私有部署大模型-2

3. 使用第二个私有化部署的向量模型对部分文档进行了向量化测试，成功。

重磅升级！

1. 使用第一个私有化部署的AI大模型创建应用实例成功：私有部署大模型-1

说明：虽然限于低配CPU的算力条件，回复有点慢，但也是跨越式的一步。因为：

• 能在无GPU条件下运行的大模型非常少，但私有化部署的方法都差不多，也就是说在CPU上跑的都搞定了，GPU上的就更没问题了；

• 用最简单的条件跑完了AI大模型私有化部署的整个过程，后面剩下的只不过配置升级说白了就是算力的事儿了；

• 最重要的是，所有数据、资料、key…不出自己的服务器，最安全也最可控；

• 如果想用闭源大模型，在模链DEV2中切换即可，所有选择权在自己的手上…

2. 使用第一个私有化部署的向量模型对部分文档进行了向量化测试，成功。

重磅升级：已采用以下模型完成私有化部署测试，包括向量模型与大模型：

• llama-cpp, llama-ggml, gpt4all, bert-embeddings, rwkv, whisper, stablediffusion, tinydream, piper，均可在无GPU条件下运行。

至此，周周向上.AI完成了AI大模型私有化部署相关的全部测试，跑通了全部业务流程，获得了丰富的经验(和教训)。欢迎联系合作。