微软崔宏禹：GPT-4以后，不建议再用微调进行特定领域的模型适配

·我想引用管理学大师德鲁克先生的一句话，动荡时代的最大风险不是动荡本身，而是企图以昨天的逻辑来应对动荡。

微软（中国）有限公司创新技术总经理崔宏禹。

5月26日，微软（中国）有限公司创新技术总经理崔宏禹在上海举行的向星力·未来数据技术峰会（FDTC）上回应了当下一个广泛被提及的问题，即如何用自己的数据训练自己的模型，将私域数据与GPT的能力相融合。

崔宏禹解答道，“一般来说，我们推荐两种方式。一种是微调（在不改动预训练模型的基础上，在模型顶层增加分类器或一些特征映射，使微调后的模型能够更贴合实际使用场景），但在GPT-4以后，我们已经不建议或者已经不让大家使用微调的方式了。我们更推荐的是嵌入（将一个内容实体映射为低维向量，从而可以获得内容之间的相似度）的方式。”

嵌入式方式的原理很简单，把企业内的私有数据和文档做向量化或矢量化（嵌入向量可以捕获单词、短语或文本的语义信息，使得它们可以在数学上进行比较和计算），然后去做匹配（两个向量之间的距离用于测量它们之间的相关性，较小距离表示高相关性，较大距离表示低相关性），相似度在0.3以下就认为这个信息的检索已经非常准确。

崔宏禹介绍，在大模型应用中有一个叫嵌入式应用，实际上就是Copilot，即驾驶辅助的角色。这个模型非常简单，在底层基础能力的加持下，在中间这层AI编排的机制下，就可以提供一个Copilot服务，再加上插件的应用，就可以应用在现有的系统，只要有插件就可以方便地把数据接入进来，相当于在原有的系统之外构建了一个辅助驾驶。

崔宏禹认为，微软的系统之所以发展得快，就与这套架构有关系，“当然也有插件。我们觉得OpenAI的插件系统未来会改变商业模式和游戏规则。如果你们用过微软最新的必应搜索就可以发现，在对话过程中它可以跟网站交互获取大量实时数据。以后必应会改变整个应用的生态和游戏规则。”

在此基础之上，怎么样看这个世界？崔宏禹提出两点。

第一，GPT背后，一部分是技术的加持，另一部分是人才、资源、文化。企业非常优秀的数据、这些技术模型是离不开的。但同时，如果公司的人没有以开放的心态拥抱新技术，那这个事情可能也做不了。ChatGPT之所以成功，它是源自于这三方面的成果。

第二，大模型要实现平民化。OpenAI就是想让AI真正Open，让边际成本急剧降低。2012年以后，人工智能兴起，深度学习兴起，但那时候每一个SKU（最小存货单位Stock Keeping Unit，比如销量数据都是以SKU为单位收集，建立预测模型就要为每个SKU单独训练一个模型）都要单独去做训练，成本很高。但是新的AIGC（人工智能生成内容）的模型是通用化的模型，降低再训练的成本，实际上是把边际成本急剧降低。只有当大家都能用的时候，才能说这是人工智能时代，如果只有少数人在用，那不叫一个时代。

“M365（Microsoft 365，基于Microsoft Office 办公室套件的云端办公室方案）就是用这个方法来实现的。在原来微软的Office加了一个Copilot，左下角有一个Graph（存储了电子邮件、文件会议、聊天和日历笔记等office办公软件集合的所有内容），相当于M365下的知识库，通过中间的Copilot能够迅速构建知识库和文档之间的合作关系。这样可以实现，在Windows文档中输入几句话，比如简要概述一下研究报告的核心思想，就可以把报告总结成5页PPT。等它正式上线以后，大家可以体会一下，会急剧提高生产力。”崔宏禹说。

在演讲最后，崔宏禹引用了管理学大师彼得·德鲁克的一句话，“动荡时代的最大风险不是动荡本身，而是企图以昨天的逻辑来应对动荡。”

我想引用管理学大师德鲁克先生（彼得·德鲁克）的一句话，动荡时代的最大风险不是动荡本身，而是企图以昨天的逻辑来应对动荡。