外滩大会｜蚂蚁集团公布自研金融大模型：算力集群达万卡规模

·蚂蚁金融大模型基于蚂蚁自研基础大模型，针对金融产业定制，底层算力集群达到万卡规模。目前，蚂蚁金融大模型已在蚂蚁集团的财富、保险平台上全面测试。

蚂蚁集团在2023 Inclusion·外滩大会上发布金融大模型。

9月8日，蚂蚁集团在上海举办的2023 Inclusion·外滩大会上发布金融大模型。澎湃科技（www.thepaper.cn）了解到，这款大模型基于蚂蚁自研基础大模型，针对金融产业定制，底层算力集群达到万卡规模。目前，蚂蚁金融大模型已在蚂蚁集团的财富、保险平台上全面测试。

蚂蚁集团介绍称，蚂蚁基础大模型平台具备万卡异构集群，其中千卡规模训练利用率（MFU）为40%，集群有效训练时长（在分布式计算环境中进行机器学习模型训练的时间）占比90%以上，RLHF（基于人类反馈的强化学习）在同等模型效果下训练吞吐性能相较于业界方案提升3.59倍，推理性能相较于业界方案提升约2倍。根据SemiAnalysis此前揭秘GPT-4的文章，OpenAI在GPT-4的训练中使用了约25000个英伟达A100 GPU（图形处理器），训练了90到100天，利用率（MFU）约为32%至36%。

“通用大模型无法在专业严谨的领域直接商用，特别是金融服务对错误的容忍度很低，金融大模型要确保领域知识和专业逻辑的严谨性，才能真正落地带来产业价值。知识力、专业力、语言力以及安全力，保障四大能力是前提条件，也是金融大模型要解的产业真命题。”蚂蚁集团副总裁、金融大模型负责人王晓航介绍，基于金融场景中的大量实践，蚂蚁金融大模型形成了“大模型+知识+服务”驱动的架构，这套架构已经在蚂蚁内部金融智能化场景上内测。

王晓航表示，蚂蚁金融大模型在万亿量级Token的通用语料基础上，注入千亿量级Token（文本中的最小单位，一个单词或一个标点符号）金融知识，并从300+真实产业场景中提取了共60万+高质量指令数据，形成了金融专属任务性能优化的数据资产。

据介绍，8月底，蚂蚁金融大模型已通过证券从业资格、保险从业资格、执业医师资格、执业药师资格等专业试题测试。

当天，蚂蚁集团发布了基于金融大模型能力的两款产品：智能金融助理“支小宝2.0”，服务金融产业专家的智能业务助手“支小助”。据透露，支小宝2.0版本已在内测，将在完成相关备案工作后上线。