18 篇博文 含有标签「升级」

模型精选​

经评测，精选出10个可私有化部署的大模型，并重新编号[1]，如下：

[1]之前所发模型编号部分有变，请以此处为准；旧版编号模型将会删除。

相关工具​

• 私有模型专用UI：模链SUI

• 公有模型专用UI：模链PUI

新增工具​

• 公有模型专用UI：模链PUI

• 模型供应商列表：

  • OpenAI

  • Azure OpenAI

  • Google Gemini

  • AWS Bedrock

  • Anthropi\c

  • Together.AI

  • OpenRouter AI

  • Groq

  • Perplexity AI

  • Mistral AI

  • Moonshot AI

  • Zhipu AI

  • YI

其他工具​

• 私有模型专用UI：模链SUI

更新实验室配置为多用户独立使用：模链LAB

重磅升级！

1. 目前已成功私有化部署10个语言模型，包括：

   • 2个5-10亿参数的小模型，适合低配CPU及RAM服务器使用；

   • 1个30亿参数的大模型和7个60-70亿参数的大模型，适合中配CPU/RAM或GPU服务器使用，其中：

     • 包括5个较流行的的开源大模型(模型03/04/05/06/07)；

     • 包括2个支持中文比较好的国产开源大模型(模型08/09)；

     • 包括1个多模态开源大模型(模型10)；

   经测试部分模型(如模型04/05)对行业知识掌握的非常好，接近OpenAI GPT。

2. 全部模型创建应用实例成功，如下：

   • 周周向上.私有部署大模型.01：Z.S.LLM.01.T

   • 周周向上.私有部署大模型.02：Z.S.LLM.02.Q

   • 周周向上.私有部署大模型.03：Z.S.LLM.03.O

   • 周周向上.私有部署大模型.04：Z.S.LLM.04.G

   • 周周向上.私有部署大模型.05：Z.S.LLM.05.L

   • 周周向上.私有部署大模型.06：Z.S.LLM.06.P

   • 周周向上.私有部署大模型.07：Z.S.LLM.07.M

   • 周周向上.私有部署大模型.08：Z.S.LLM.08.Q

   • 周周向上.私有部署大模型.09：Z.S.LLM.09.Y

   • 周周向上.私有部署大模型.10：Z.S.LLM.10.V

重磅升级！

1. 成功私有化部署第三个AI大模型，参数量更大；在首次对话时进行了能力测试(未经行业微调、也未挂载专项知识库)，包括：

   • 中文支持程度：测试通过；
   • 英文输入有误时的推理能力：测试通过；
   • 编程能力：测试通过；
   • 未挂载专项知识库时对行业知识的掌握程度：测试通过；
   • 验证：在合理的参数量范围内，参数量与能力(基本上)成正比。

2. 使用第三个私有化部署的AI大模型创建应用实例成功：私有部署大模型-3

3. 使用第三个私有化部署的向量模型对部分文档进行了向量化测试，成功。

重磅升级！

1. 成功私有化部署第二个AI大模型，对中文的支持更好，已可以编写代码。

2. 使用第二个私有化部署的AI大模型创建应用实例成功：私有部署大模型-2

3. 使用第二个私有化部署的向量模型对部分文档进行了向量化测试，成功。

重磅升级！

1. 使用第一个私有化部署的AI大模型创建应用实例成功：私有部署大模型-1

说明：虽然限于低配CPU的算力条件，回复有点慢，但也是跨越式的一步。因为：

• 能在无GPU条件下运行的大模型非常少，但私有化部署的方法都差不多，也就是说在CPU上跑的都搞定了，GPU上的就更没问题了；

• 用最简单的条件跑完了AI大模型私有化部署的整个过程，后面剩下的只不过配置升级说白了就是算力的事儿了；

• 最重要的是，所有数据、资料、key…不出自己的服务器，最安全也最可控；

• 如果想用闭源大模型，在模链DEV2中切换即可，所有选择权在自己的手上…

2. 使用第一个私有化部署的向量模型对部分文档进行了向量化测试，成功。

重磅升级：已采用以下模型完成私有化部署测试，包括向量模型与大模型：

• llama-cpp, llama-ggml, gpt4all, bert-embeddings, rwkv, whisper, stablediffusion, tinydream, piper，均可在无GPU条件下运行。

至此，周周向上.AI完成了AI大模型私有化部署相关的全部测试，跑通了全部业务流程，获得了丰富的经验(和教训)。欢迎联系合作。

新增笔记功能：用于随时记录如AI大模型认知等碎片化内容。笔记访问方式如下：

• 模链笔记→点击链接

• 模链官网上部导航栏

以下工作已完成：

• 新增技术路径2：核心开发模块集成为模链DEV2，推出ALL-IN-ONE模式；

• 新增文本补全类应用实例：周周向上AI_EHS文案助手Beta版，内测完毕；

  • 实机演示截图：

• 新增”AI+”实例：与传统技术结合，推出AI版本的教育培训系统，内测中…

同时，主站更名为“周周向上.AI”。

有了一些新的认知，所以正在为模链增加一条新的技术路径，以便提供更全面的AI大模型定制解决方案。技术路径2应该会有这样几个特点：

• 将模型调度、应用开发、用户端等模块集成为一个大模块；集成后会业务逻辑和界面可能会有变化，会在帮助文档中详细说明；

• 开源模型调用有了新途径，“鸡蛋不放在一个篮子里”，数据安全保障能力再进一步；

• 强化函数调用功能，预置些现成的工具，离智能体再进一步；

• 依然可以私有化部署…

P.S.：模链之所以设计成“链”，就是考虑到要兼容和灵活：路径1特色在模块分离、路径2特色在模块集成，以后还会有路径3、路径4…哪个更能满足业务需求，就用哪个…

模链及使用模链开发的应用适配iPad Safari浏览器：

• 模链API、DEV、WEB(也即应用)、OSS、GIT、DOC：已适配；

  • 其中，应用中导出聊天记录(PDF)功能已可使用；

  • iPad Safari也可使用宝塔面板，除终端外其余大部可用。

• 模链MOB：微信端使用，无需适配。

至此，通过iPad开发和运维的目标已达成；所开发的应用已支持以下浏览器：

• PC端浏览器(如Google Chrome、Edge、360等)；

• 微信自带浏览器(如微信公众号中)；

• 移动端浏览器(如Safari)…

1. 更新首页

• 体现模链全私有化部署和模块化设计的优势。

• AI大模型应用的私有化部署非常重要！举个小例子：闭源大模型的秘钥直接与费用相关，公开了密钥本质上与开放银行卡一样…

2. 新增模型

• 新增闭源向量模型：embedding-2、text-embedding-v1；

• 新增闭源大模型：GLM4、GLM3.5、阿里通义千问系列；

• 新增开源向量模型：M3E；

• 新增开源大模型：GLM2。

3. 完善指南

• 补充常见问题相关内容。

1. 新增工具模块

• 增加模链KMS模块，专用于外部专项知识库下载。

2. 新增知识库

• 新增安全教育知识库，概况如下：：

（1）模链DEV实现了移动终端(手机、iPad等)的操作，包括编辑知识库、编辑应用、编排工作流等，方便管理员随时随地的创建、编辑及管理AI大模型应用。

（2）模链WEB增加了以浮动图标嵌入网页的新样式，至此web端除了直接以链接形式分享外，已支持样式1-全屏嵌入以及样式2-浮动嵌入等样式。注意：按我国法律要求，已对以上两个页面加密，将在演示时解密。 样式效果图详见正文。

（1）模链DEV增加了联网搜索插件。至此，AI大模型应用开发中最为关键的两个问题(本地知识、联网搜索)均已得到完美解决。

（2）其他轻微变更。

（1）完善指南并配备图解；

（2）升级模链WEB模块；

（3）更新网站首页及其他轻微变更。

（1）新增代码托管模块(模链GIT)和实验模块(模链LAB)，至此AI大模型定制工具链(模链)上已经有8个模块。全面覆盖了从实验室到用户端的全栈应用。

（2）增加指南中增加实验室部分。

（3）更新指南部分内容，其他内容正在加紧完善中…

（4）更新网站首页；

（5）其他轻微变更。