跳到主要内容

20240323升级记录

· 阅读需 2 分钟
周永峰_治土安人.AI
模链,周周向上.com, 青鹏环境

重磅升级!

  1. 使用第一个私有化部署的AI大模型创建应用实例成功私有部署大模型-1

说明:虽然限于低配CPU的算力条件,回复有点慢,但也是跨越式的一步。因为:

  • 能在无GPU条件下运行的大模型非常少,但私有化部署的方法都差不多,也就是说在CPU上跑的都搞定了,GPU上的就更没问题了;

  • 用最简单的条件跑完了AI大模型私有化部署的整个过程,后面剩下的只不过配置升级说白了就是算力的事儿了;

  • 最重要的是,所有数据、资料、key…不出自己的服务器,最安全也最可控;

  • 如果想用闭源大模型,在模链DEV2中切换即可,所有选择权在自己的手上…

  1. 使用第一个私有化部署的向量模型对部分文档进行了向量化测试,成功。