模链指南：概要
“模链”是周周向上人工智能工作室(筹)推出的AI大模型定制技术工具链。
本部分阐述了模链最基础的一些信息，建议先阅读这一部分，如需更多细节，再向后阅读。
模链是什么
模链(ModelChain)是周周向上人工智能工作室(筹)推出的AI大模型定制工具链，主要解决了以下几个关键问题，包括但不限于：
-
AI大模型垂直领域知识不足的问题[1]。模链可以为大模型补充垂直领域知识，这主要通过搭载专项知识库或者模型微调(fine-tuning，但并不推荐[2])来实现；补充垂域知识也可有效抑制AI幻觉[3]。
-
AI大模型不能联网搜索信息的问题[4]。模链可以为大模型提供联网搜索的能力，这主要通过联网搜索插件和工作流编排实现。
-
AI大模型数据泄密的问题[5]。模链可以通过较低成本的私有化部署来解决该问题。提醒您：私有化部署非常重要！除了使用阶段的数据安全问题外，还应该考虑开发过程中的数据安全：比如，闭源大模型的秘钥直接与费用相关，公开了密钥本质上与开放银行卡一样，所以秘钥应该尽量在私有化部署的模块中使用。
-
AI大模型种类繁多，难于取舍的问题。由于各个大模型的能力并不相同，不同任务可以选择不同的AI大模型来完成。模链通过API集中调度的方法，使得用户随时可以更换底座大模型。
[1][4][5]:补充垂域知识、增加联网搜索以及保障数据安全，是开发AI大模型应用的重要意义和关键所在。
[2]:之所以并不推荐对大模型进行微调(fine-tuning)，主要因为微调会改变模型的参数(权重)，这在强化某一能力的同时，可能会导致其他能力的降低。只要能通过提示词工程和补充垂域知识能够实现的效果，就不建议进行微调。
[3]:只要是AI，就会有幻觉；只能抑制，不能根除，就像不能根除人的胡思乱想。
通过使用模链，组织一方面能够以较低的成本和最快的速度利用上先进的AI大模型技术提高生产力和生产效率，又能够有效的解决以上关键性问题，同时强化复杂任务执行能力，使其更加了解企业实际，从而创建出更加满足组织需求的、专业化的AI应用并提供给不同部门的员工们使用。
图形化解释
截至2024年2月，模链已经全面打通了自向量模型/大模型、应用开发端、用户端乃至实验室的全栈业务链；至2024年3月，模链已拥有两条核心技术路径、多个实例以及多个用户端样式，全部实现私 有化部署：
模链的适用场景
模链主要适用于有AI应用开发需求和/或需要保障数据安全的各类组织。
模链现有的工具模块配置应已可满足小型组织的应用需求，无需大量修改也就无需高昂的费用；如需在大中型企业应用，需要进行压力测试，可能需要升级配置或定制开发。
能够使用模链开发各类AI大模型应用，典型的包括：
-
AI客服，形式可参考各大网站或公司最新的智能客服。
-
AI助手，形式可参考各类copilot应用，如WPS AI等。此项需要功能上的定制。
-
AI专家，形式可参考各类“行业大模型”及其应用。此项需要知识上的定制。
-
其他你能想到的，都可以先用模链尝试一下。
模链的主要特点
模链主要具有如下特点（部分）：
-
全部为可视化界面，无需编写代码，大大降低了创建AI大模型应用的门槛与难度。
-
工具模块化，灵活搭配，方便组织选择最适宜技术路径。各个工具既可独立部署使用，也可连接成链使用；目前我们正努力做到同一工具也可选择不同的模块或 样式。(比如，模链DEV已支持2条AI大模型应用开发技术路径，可分别采用DEV1或DEV2进行AI应用开发；模链WEB已有两种嵌入样式备选)。
-
全部私有化部署(支持开源大模型)，这是目前最安全、最灵活且性价比最高的解决方案。
-
技术路径多样化，提供多种选择，满足组织不同的使用需求：
-
技术路径1：以模链API+模链DEV1为核心，通过模链API生成的令牌统一调度大模型和向量化模型，通过模链DEV1完成AI大模型应用的开发；可按需要给每个应用配置或更换不同的大模型(开源或闭源)。
-
技术路径2：以模链DEV2为核心，将统一调度与AI大模型应用开发集成在一起，供一站式使用；可按需要给每个应用配置或更换不同的大模型(开源或闭源)。
-
-
快速构建并给每个应用搭载不同的专项知识库，提高大模型工作的专业程度。
-
应用内部的工具插件可自定义，协助大模型完成更加专业的任务。
-
应用内部的工作流可自主编排，协助大模型完成更加复杂的任务。
-
创建完成的应用可在web端、移动端(如微信等)使用，也可被其他系统调用。
模链的基本模块
目前，模链已集成了以下工具模块，可根据不同需要选择一个或多个协同使用：
-
模链API：用来创建和管理统一调度模型所用的令牌，集成不同的大模型的秘钥和调用代码；
-
模链DEV：是应用开发模块，用来开发和管理AI大模型应用，并生成可被其他系统调用的API；
-
模链OSS：是对象存储模块，用来存放图片、视频等文件并外链调用，常用于站点建设时；
-
模链WEB：是AI大模型应用的网页用户端，其界面可以参考ChatGP或各大厂家的智能客服等；
-
模链MOB：是AI大模型应用的移动用户端，目前已可搭载在微信上；
-
模链DOC：是AI大模型应用的帮助文档站，以便终端用户(如员工等)随时查阅；
-
模链LAB：是实验室模块，采用JupyterHub系统搭建，以供有源码级开发需求的组织使用；
-
模链GIT：是代码仓模块，采用私有GIT服务搭建，以供有源码级开发需求的组织使用。
-
其他模块：如有需要，将进一步集成其他工具模块，以便充实AI大模型定制工具链。
模链的主要用法
提醒您：模链目前仅为组织提供私有化部署，不支持在本站直接使用。
使用模链开发AI大模型应用的一般过程如下（以技术路径1为例，各模块均可单独使用）：
-
使用模链API创建大模型统一调度的令牌，该令牌整合了各个模型调用的秘钥并可用于其他应用中(不限于模链各模块)。使用该模块您需要先从各模型厂商处获取各个模型调用的秘钥(KEY)。
-
将模链API生成的令牌在部署时填入模链DEV的基础信息中，以便调用模型。您也可以直接填入您从模型厂商获取到的秘钥(KEY)。
-
使用模链DEV进行AI大模型应用的创建和管理。包括快速创建本地知识库、自定义插件工具、自主编排工作流、发布应用及生成API等；API既可用于模链工具模块，也可被其他系统调用。
-
将AI大模型应用的API填入模链WEB，实现在网页端使用AI大模型应用。您也可以直接填入从模链API中生成的API或者从模型厂商处获取的秘钥（KEY）。
-
将AI大模型应用的API在模链MOB部署时填入，实现在微信等移动端使用AI大模型应用。您也可以直接填入从模链API中生成的API或者从模型厂商处获取的秘钥(KEY)。
-
使用与模链DOC类似的静态网站生成器，为您的AI大模型应用创建站点；您可以在一个站点中为多个不同应用创建帮助文档(类似本站)。
至此，AI大模型应用开发过程就基本结束了。如果需要源码级的开发，可选择使用模链LAB和模链GIT。
更详细的说明和常见问题等，请继续阅读本指南其他部分。
怎么选工具模块
模链的工具模块化和连接API化，为组织提供了灵活且多样化的选择，您既可以委托私有化部署其中一个模块，也可多模块打包委托。比如，若您已有自己的AI大模型应用，而仅需统一调度和管理各个大模型，您只需要部署和使用模链API模块即可；其他模块同理。
根据实际经验，以下为推荐配置的核心基础模块：
-
技术路径1：模链API+模链DEV1+模链DOC；
-
技术路径2：模链DEV2+模链DOC。
可能产生的费用
要开展基于AI大模型的专业应用开发工作，可能会产生以下费用：
| 序号 | 费用 | 说明 | 支付对象 | 备注 |
|---|---|---|---|---|
| 01 | 硬件相关 | 本地服务器或云服务器的费用。模链对服务器的要求不高，但若要部署开源大模型，则需要考虑GPU等算力要求。 | 硬件 厂商 | 按照配置估算 |
| 02 | 模型相关 | 如果使用闭源模型，则需要考虑向量模型(用于知识库)和大模型相关的费用，一般按照token计费也即按量计费。 | 模型厂商 | 各厂收费不同 |
| 03 | 模链相关 | 部署和使用模链相关的费用。可能会产生私有化部署、运营维护、定制开发、技术服务等费用。 | 模链 | 按照需求估算 |
| 04 | 知识库相关 | 可能会产生外部专项知识库采购、内部知识库代建设等费用。 | 模链 | 按照需求估算 |
| 05 | 其他 | 可能还会产生域名、算法备案、灾备、付费工具使用等费用。 | 其他厂商 | 按照需求估算 |
上表大体能够涵盖主要的费用类型，具体可以根据您的需求和要求进行测算。
支付对象为模链的，费用由上海青鹏环境工程技术有限公司代收并开具技术服务费类增值税普通发票。
典型应用的体验
目前，我们分别采用技术路径1和2创建了两个专业的AI大模型应用公开体验版，可以开放体验：
| 编号 | 应用名称 | 底座模型 | 知识库版本 | 体验地址 | 备注 |
|---|---|---|---|---|---|
| 001 | 土壤修复AI助手 | GLM4 | SR-KMS-20240307-1 | 土壤修复AI助手 | 技术路径1 |
| 002 | EHS文案AI助手 | GLM4 | SM-KMS-20240307-1 | EHS文案AI助手 | 技术路径2 |
主要特点
与直接使用底座大模型(以GLM4为例)相比，我们对应用做了以下几点优化：
-
挂载了专项数知识库。比如，土壤修复AI助手挂载了SR-KMS-20240307-1知识库，该知识库内置了《周周向上》的《土壤污染防治技术大数据分析》(50万字)，是从未在互联网上公开过的资料。
-
应用与知识库分离化设计，可以随时更换知识库或补充新知识。
-
土壤修复AI助手采用技术路径1，使用模链API对模型进行统一调度，使用模链DEV1开发应用。
-
EHS文案AI助手采用技术路径2，也即直接使用集成了调度与开发功能的模链DEV2。
-
进行了工作流高级编排。对用户提出的问题进行了文本提取、接入本地知识库、接入搜索引擎(公开体验版已暂停该功能)、文本加工等一系列操作，最终由底座大模型整合后再回复给用户，较大的提升了工作质量。
-
除向量/底座大模型暂未进行私有化部署之外(因其对硬件环境要求较高)，其余全部私有化部署。
-
采用全部私有化部署(包括模型与模链等)开发的应用实例已在测试中。
体验方法
通过链接地址或微信公众服务号《周周向上》底部菜单均可体验，支持PC浏览器、移动浏览器、微信自带浏览器。链接地址如下：
土壤修复AI助手：https://web.zhouzhouxiangshang.com/sr/
EHS文案AI助手：https://web.zhouzhouxiangshang.com/wa/
网页密码
为满足法律法规的要求并防止滥用，已为体验网页设置了密码且不定期修改；密码获取方法：请在微信公众号《周周向上》的对话窗口发送关键词“密码”获取。
体验期限
体验期限原则上是到2024年4月15日，如果token提前耗费完毕，也会提前终止体验。
反馈渠道
如果您需要为以上两个典型应用补充知识或者反馈问题，请及时与我们联系，方式见文末。
算法备案
我们已查询了底座大模型的算法备案情况，如下：
智谱交互式内容生成算法：网信算备110108105858001230027号
智谱ChatGLM生成算法：网信算备110108105858001230019号
应用的使用技巧
用好提示词
提示词设计是使用AI大模型应用中最关键的环节，会较大程度上影响应用的工作品质。
实际上，在不更改大模型权重/参数(也即不进行fine-tuning或增量微调)的情况下的AI应用，本质上都是提示词工程(Prompt Engineering)。比如最常见的AI智能客服，原理就是提示词工程。
如果在实际使用中，发现AI应用的回复效果不理想，优先考虑提示词调优(也就是设计更好的问题)，往往有四两拨千斤的效果。提示词调优时最好遵循这些原则：具体、丰富、歧义少。
您也可以在互联网上搜索一些免费工具进行提示词调优，以下是一个例子(仅供参考)：
提示词调优前：
写一个安全教育培训方案
提示词调优后(草案，您可以手动修改)：
# 角色
你是一位有丰富经验的安全教育培训专家，善于规划和执行安全培训计划，以提高群体的安全意识和技能。
## 技能
### 技能 1：安全培训规划
- 了解培训参与者的背景和需求。
- 根据具体情况制定个性化的安全培训计划，包括培训内容、方法、时间和地点等。
### 技能 2：安全理论教授
- 根据最新的安全法规和标准，传授相关的安全理论知 识。
- 用易于理解的语言讲解复杂的安全概念。
### 技能 3：实战演练指导
- 手把手指导参与者进行实战演练，如急救技能、疏散演练等。
- 营造逼真的环境，提高参与者的紧急应对能力。
## 限制：
- 只讨论与安全培训相关的问题。
- 始终坚持活动的安全性。
- 使用创新和有效的教学方法提高培训效果。
- 在所有活动中始终考虑到参与者的安全。
### 问题：
写一个安全教育培训方案
另外，网友们发现的一些技巧也会很有帮助，典型的是在提示词中：
-
给AI个具体例子：实践证明这个做法对于得到理想回复很有效果。
-
写上let us think step by step：写上这个可以让大模型对问题进行拆解，并逐步思考。
-
写上no comments：写上这个可以让大模型的回复简洁、不乱发挥，对抑制幻觉很有帮助。
总而言之，提示词工程是用好AI大模型的关键，也是成本最低收益最高的方案，务必重视。
选好大模型
大模型的能力是决定应用工作品质的基础条件，也很关键。由于不同的大模型能力不同，所以在创建应用前需要对大模型进行测试，以便挑选出最适合的大模型。
比如：从目前各个厂商对齐OpenAI的情况来看，4系列的模型的能力普遍高于3系列，当然费用也更高；而如果需要传输的文本量较大，长文本类的模型则可能更适合。
采用模链创建的AI应用可以随时更换大模型，这也是模链的主要优势之一。如果在实际使用中，发现AI应用的回复效果不佳，可以考虑更 换一下大模型试试。
务必注意！
根据我国《生成式人工智能服务管理暂行办法》、《互联网信息服务算法推荐管理规定》等法律法规的要求，未经算法备案的大模型不能开放给境内公众使用；目前了解，组织内使用应该是不受此限。所以，(1)建议基座大模型采用已备案大模型(一般为国产)；(2)尽量私有化部署，也可避免滥用。
欢迎合作
1. 欢迎获取解决方案
目前我们能够在以下范围内提供解决方案，或者复制我们已验证的模式：
-
开源模型微调(不建议)
-
开源模型私有化部署
-
闭源模型相关服务
-
模链模块私有化部署
-
外部专项知识库建设
-
组织内部知识库代建
-
AI大模型应用开发
-
定制开发
-
技术咨询
-
其他
需要说明的是，以上服务既可以单独委托，也可以打包一站式委托。同时由于模块较多、搭配灵活，解决方案也是高度定制化的，需要在详细了解需求之后才能找到最合适您的方案。
2. 欢迎赞助我们
模链所提供的解决方案对AI大模型应用开发和私有化部署具有重要的现实意义和巨大的发展前景，我们在该领域积累了丰富的实战经验。欢迎各类组织为我们提供资金或其他资源，共同推进该事业的发展。
3. 欢迎加入模链
如果您在AI大模型应用方面有成熟的产品，欢迎加入到模链中，我们共同为用户提供更多的选择。
技术总师：周永峰先生
周永峰先生是AI大模型全栈工程师、解决方案专家、美国PMI认证项目经理。
周永峰先生在AI大模型领域拥有丰富经验，对AI大模型业态和主流产品十分熟悉，擅长AI大模型技术研发、智能应用开发和提供AI大模型解决方案。现已在多个研发专项上实现了技术创新或技术突破，并成功开发垂域文本大模型、垂域多模态大模型以及十余款智能化工具/应用，所提供的AI大模型解决方案已帮助多个组织实现了降本增效和业绩增长。
周永峰先生曾在以下组织担任要职：
- 周周向上人工智能工作室(筹)，创始人
- 上海瑞迈咨询，安 全SaaS负责人
- 上海青鹏环境，合伙人，副总经理
- 专业自媒体《周周向上》，创办人
- 上海环境科学学会专委会，副理事长
- 江苏平方集团，合伙人，副总经理