蚂蚁集团今天在外滩2023 INCLUSION·大会上公布了其金融大语言模型（LLM）。蚂蚁集团的金融法学硕士接受了超过数千亿个包含中国金融文档的代币数据集以及来自通用语料库数据集的超过 1 万亿个代币的训练。此外，金融法学硕士还利用来自 300 多个实际行业用例的 600,000 多个指令的数据集，显着优化了其执行金融特定任务的能力...
蚂蚁集团今天在外滩2023 INCLUSION·大会上公布了其金融大语言模型（LLM）。
蚂蚁集团的金融法学硕士接受了超过数千亿个包含中国金融文档的代币数据集以及来自通用语料库数据集的超过 1 万亿个代币的训练。此外，金融法学硕士还利用来自 300 多个实际行业用例的 600,000 多个指令的数据集，显着优化了其执行金融特定任务的能力。
金融LLM是在蚂蚁集团自研通用LLM的基础上进行微调的，具有算力使用效率高的特点。例如，蚂蚁集团的通用模型采用异构硬件集群，支持多达万个不同种类的GPU，千个GPU的模型FLOPs利用率（MFU）达到40%。此外，模型性能一致的情况下，模型的人类反馈强化学习（RLHF）训练吞吐量比现有行业基准提升了3.59倍，推理性能提升了约2倍。
凭借其技术能力，金融法学硕士能够提供广泛的专业服务，包括金融产品评估、市场分析、投资者教育等财富管理，以及保险产品讲解、制定家庭保险计划等保险服务，并核实保险索赔。
“通用法学硕士很难应用于行业特定用途。要真正为金融行业带来价值，语言能力、领域知识、领域专长和安全能力是前提条件，也是金融LLM发展的关键挑战。”金融法学硕士。“基于我们在金融服务业务的丰富经验，蚂蚁集团开发了LLM技术与领域知识和行业服务相结合的架构，并且已经在蚂蚁集团的智能金融服务场景中进行了测试。”
展望未来，蚂蚁集团将利用其金融法学硕士学位的力量，与中国市场的机构合作，涵盖所有数字金融服务。
同一天，蚂蚁集团还向开发者社区开源了其人工智能驱动的编码平台CodeFuse。公司还向公众开放了金融专用人工智能任务基准Fin-Eval，以促进金融行业LLM的产业创新。
阅读全文
