周周向上.AI大模型笔记(1)：15个常见的错误认知
注：本文于2024年8月7日发表于微信公众号《周周向上.AI》及《周周向上》中。
引言
我从GPT3.5发布起开始研究AI大模型，先期主要探索各种用法，从会话应用到数字人，无不尝试；随后则跟着专家大咖们系统的学习和开发AI大模型，从PE到FT，各种技术都用过；也亲身部署/调用过N个大模型、开发了几十款应用、做了大量的调研，算是兼具了大模型研究者、使用者和开发者的多重身份和视角。
从我的切身经验看，AI大模型的能力的确是非常强大，能够快速且大幅的提升部分场景下的生产力和生产效率，但门槛(无论是使用门槛还是技术门槛)却并不高——而这个高价值、低门槛的特性，或许将使AI大模型成为组织乃至大众创业创新的新一代基础设施（本文借用大模型术语称为“能力底座”）。
这是前所未有的机遇，或许能给很多人带来新的希望、动力和方向。但在开始运用这个“能力底座”之前，应对其有基本的、客观的了解，尤其要先从各种信息洪流中抽离出来，避免一些常见的错误认知。
(文中涉及的一些术语，比如与原理相关的transformer架构等，与能力相关的参数/权重、训练数据等，与应用相关的提示词、微调等，与成本相关的GPU、token等，AI答的比我好，不赘述。)
15个常见的错误认知
我从自己踩过的那些坑（经验教训）以及长期系统化的学习实战中，筛选出了现阶段比较常见的、关于AI大模型认知方面的典型问题(本文权且称为"错误认知")，涉及现状、原理、选型、开发、使用以及趋势等多个方面，现整理成文，仅供参考，同时欢迎讨论。
错误认知0：ChatGPT是AI
ChatGPT是基于OpenAI GPT系列大模型开发的会话式应用，不是AI；GPT系列大模型如GPT-3.5、GPT-4、GPT-4o、GPT-4o-mini等，这些是AI；同样的，kimi、文心一言等等，也都不是AI，而是应用。
错误认知1：AI是导致裁员的主要原因
从多方反馈来看，AI并不是大部分组织裁员的主要原因。AI大模型目前能承担的主要还是助手(copilot)类角色，无法完全胜任一个人类的工作岗位。但有两种情况可能要特别注意：一种是容错率较高的工作，一种是简单重复的工作（如一岗多人）。
错误认知2：AI生成的内容都是可靠的
AI生成的内容是否可靠（置信度有多高），既与具体任务有关，也与模型能力以及开发、使用水平有关。经验上看，选择参数量更大的主流模型，或者选择专门针对某个任务/专业/行业微调好的模型和开发好的应用，辅之以恰当的使用方法，置信度会更高。
错误认知3：AI有幻觉，所以没有用
“AI幻觉”是由其底层架构决定的(详情可AI一下transformer架构)，而这个架构已被证明能够成功训练出GPT能力级别的大模型(也有其他架构，但能否训练出来GPT级能力待证明，但证明成本太高)。所以想要使用AI大模型能力，就必须面对其有“幻觉”的事实。好在“AI幻觉”虽不能根除，但有技术可以抑制，后续会专门写文章介绍。
错误认知4：AI可以 适用于所有场景
AI大模型有极其擅长的领域但也有自己的能力边界，一些常规任务也并不需要用到大模型，传统系统或者小模型或许更能满足需求或解决问题。但所有需求和问题都值得用大模型试试。也有观点认为，AI大模型更适合提供底层能力而不是具体的应用，也有一定道理。
错误认知5：国外模型普遍比国产的好
倒也不必妄自菲薄。目前综合能力最强的大模型的确是在国外，但其他国外模型与最强相比也有差距，而主流国产模型的排名也很靠前。另外相当多的国外模型对中文的支持很不理想（中文语料占比过低所致），直接生成的中文内容可读性不强。
错误认知6：闭源模型更强，开源模型是智商税
这个观点是国内某大厂李姓厂长提出的，有他自身的考量。目前依然不断有能力更强的模型开源，是不是智商税不知道，但很多人都觉得比李厂长家的好用。
错误认知7：模型参数越大，效果越好
一般来说是的，但不完全是：大家最爱用的一个证据是埃隆·马斯克开源的Grok-1:314b（3140亿参数），实际使用效果据说仅与GPT3.5相当（1750亿参数）。一些专业的小参数模型对于特定任务的效果也很好。
错误认知8：训练数据越多，效果越好
训练数据的规模和质量同等重要，规模大但质量低的训练数据可能会导致过拟合，削弱大模型的泛化能力(可类比为举一反三的能力)。
错误认知9：模型排名越高，效果越好
目前除个别排行榜还有些权威性之外，其他的仅做参考就行，毕竟现在针对特定评测指标“刷榜”几乎成了一部分大模型厂商的“常规”操作。
错误认知10：微调后的模型效果更好
也不一定。实际上很多有经验的开发者在面对具体需求时并不赞成优先考虑微调，可选的技术路径有很多，大多都比微调的综合成本和风险低。
错误认知11：私有化部署比付费调用便宜
两者都是接入AI大模型能力的方法，但成本结构不一样。付费调用(闭源/开源模型都可以)一般是以token计费，大多输入输出双向计，用多少抵多少但用量不太好控制；私有化部署(只有开源模型可以)则要买/租算力(主要是GPU)和做部署、运维等，诸如并发、安全、合规等等细节都需要自己做，这些也都是成本。所以综合成本哪个更低，还是要看具体需求。
错误认知12：AI能编程就能自主开发软件
理论上可以，现阶段还不行；有一些项目在这个方向尝试过，截至目前进展不大。所以想完全用AI开发或重构软件的朋友，还得再等等。
错误认知13：一套提示词适用于所有大模型
由于各个模型的训练数据不同、参数(权重)不同，所以适用的提示词也不尽相同，即便是同一模型的不同版本也是如此。建议在更换模型时重新测试，必要时更新或重写提示词。
错误认知14：使用效果的好坏全看模型能力
无论是亲身实践还是大咖经验，都证明最终使用效果是由使用者与AI大模型的协作水平决定的，符合木桶原理(短板理论)。所以从这一点看，使用者的认知、用法、知识和判断力等，与大模型的能力同样重要。
错误认知15：AI只能降本提效，没有创造新价值
从调研结果看，使用AI大模型降本提效的组织，比观察到的甚至预想到的都要多；而用AI创造新产品、新服务并已取得商业成功的，看似不多实则也不少，不过有些是“悄悄”的、有些是针对特定用户 群体的、有些则是有很强专业属性的，故而不为大众所知。
以上就是整理出来的15个所谓“错误”认知，当然这种正确/错误并没有什么严格区分，仅针对业务目标而言，也仅局限在当前阶段。不妥之处，欢迎指正。
后记
这篇短文我手搓了三天，中间有些是我自己的经验教训，有些是听了专家大咖的分享后又做了验证，总之都是来自亲身实践，一般问AI是问不到的。但现在带着这些线索再去问，AI可能就会给出更圆满的回答。所以若有些描述不清或思虑不周的地方，请再问下AI。
当然，如果不求“亲身”二字，直接用大模型生成，速度会相当快，行文也会更流畅更规范，但总觉得少了点什么，或许是真诚？在AI时代还手搓文字，可能是一个从PC时代走过来的自媒体人最后的倔强吧。
是为记。（正文完）
注：《周周向上》、《周周向上吧》与《周周向上.AI》等三个微信公众号均是我本人创办的专业自媒体。其中《周周向上》2012年创办，主要服务于土壤修复；《周周向上吧》2018年创办，主要服务于安全管理；《周周向上.AI》2024年创办，主要服务于AI大模型。三个专业自媒体都是应时而生，所探讨的也都是彼时的前沿内容。
《周周向上.AI》创办的初衷，旨在唤起国内公众对于AI大模型的热情，通过拉齐认知、降低门槛来推动公众应用AI和创新AI的浪潮，通过群体力量来缩小与国外的差距。更为重要的是，这个自媒体将致力于研究用AI创造「新」价值，而不是卷上加卷、雪上加霜，符合我所认为的、AI发展的正确方向。
预告：下一篇《周周 向上.AI大模型笔记(2)：组织AI战略认知·高管篇》，将聚焦高管的认知升级，敬请关注！
本文作者 周永峰 先生系AI大模型全栈工程师、PMP项目经理，具有EHS、制造、服务、工程等多重专业背景。在AI领域的典型成果有：员工安全生产能力智能评估系统、智能CRM与销售系统、垂域文本大模型土粒儿、垂域多模态大模型Safer、AI大模型处理图数据库技术、基于AI大模型的非结构化数据提取及增强技术等。
联系我们
如需交流AI战略、预约系统演示或获取更多资料，欢迎联系：
- 微信/手机：18049700567（周先生）
- 邮箱：18049700567@163.com
- 扫码直联（验证请填写事由及贵公司名称）：
