Akulaku运用大模型优化金融风控、客服及电商推荐等场景集成图像、文本与设备数据增强风控效能。文章介绍了大模型在金融领域的应用包括欺诈调查与数据分析助手探讨通过大模型辅助构建类AGI系统的可能性。分享大模型落地实践涉及公司业务背景、大模型落地整体思路、大模型优化案例等旨在帮助读者了解大模型在金融领域的应用前景与实践方法。1、公司业务背景介绍首先介绍一下公司的业务背景。Akulaku 是一家主打海外市场的互联网金融服务提供者服务内容包括网上购物和分期付款、现金贷、保险等等主要应用于金融风控、电商智能客服以及电商推荐等场景中。无论是在用户审核、信用评估还是在反欺诈识别等环节单纯手工操作和业务规则判断无法高效准确地处理大量的用户请求拦截各种黑产攻击。所以我们的总体目标是构建基于各种技术手段的敏捷高效的智能风控系统以应对各种威胁不断提升用户体验。具体应用场景包括授信申请、登录校验、下单校验、催收、客服回访等多个业务环节其中会涉及到不同模态的数据图像最典型的应用场景是 KYC 人脸核身。一般金融机构都会有 KYC 的审核来确定第一你是真人第二你是你自己。文本典型应用场景是智能客服包括文本客服、语音客服。语音典型场景包括智能客服以及质检和电话催收。设备设备数据是风控的一个重要参考维度包括设备环境的校验唯一 ID 的构建等等。2、大模型落地整体思路在大模型兴起以前我们就在持续为业务部门提供各种 AI 模型涵盖之前介绍的各种模态数据。在大模型兴起之后我们希望进一步提高智能风控系统在各个业务环节以及各种数据形态上的效能。总的愿景就是要构建一个智能体系统。大模型使我们离 AGI 通用人工智能又更进了一步而我们也试图去构建一个金融领域的 AGI。一个智能体系统主要包含以下三个重要模块[1]1规划模块Planning包括各种业务决策的知识通常固定在智能体的链的定义中也就是LangChain里面的一个chain系统整体上是各种智能体的结合。2存储模块Memory业务系统中的各种数据和元数据可能存储在一种或者多种外部数据库中。3工具模块Tools各种专有领域的业务模型和业务逻辑包括各种图像模型、NLP 模型、风控的判别模型以及风控系统的一些具体的业务逻辑等等。智能体系统与我们的现有系统包括风控系统、模型系统并不是割裂开的一个新生成的体系而是从原有体系演进而来的。具体落地分为两大类1针对 Tools 的强化第一类是针对 tools 的强化。比如针对 KYC 模块里面的某个具体的图像模型优化其效能。可以利用大模型理解指令的能力和它承载的对应语言的通识和泛化能力来做数据增强和引导来增强特定环节的专有模型。这就是针对 tools 的强化。2针对 Planning 和 Memory 的强化第二个角度是针对 planning 和 memory 的强化。第二个方向的对象是人我们希望从业务同学现有的繁琐的重复性工作中涉及的业务知识和决策抽取出来固定在一个智能体的链中构建相应的智能体角色。在智能体以及大模型的概念提出之后我们在做需求的时候虽然具体落地仍是逐一实现但是在落地之前我们会思考这些需求之间的相互关系并不是以单个场景或者是单个模型的角度去思考而是以一个角色的角度去思考。比如现在要做的是数据分析师角色的优化或者是欺诈调查员角色的优化。3、大模型优化案例下面将通过一些具体案例来说明我们是如何实现大模型落地的。**1.**针对 Tools 的强化1NLP 模型优化首先针对 tools 的强化第一个案例是来自一个数字金融系统中的场景根据客服对话历史判别用户是否需要特殊干预。按照以前的做法面对这个问题模型团队首先需要积累数据或者标注数据所以整个交付流程和迭代流程会非常冗长和低效。引入大模型之后不再需要十万级的样本只需要少量人工标注的数据大概几百到 1000 左右就可以了。首先通过一个大模型 Agent 基于标注的数据生成候选提示词就是我希望这个样本数据应该是怎么样的。然后第二个 Agent 会对前面提到的这个 Agent 进行排序打分选出一个比较好的 prompt 交给大模型去生成数据。大模型的特点就是它能泛化但是比较慢而慢在这里不是太大的问题因为它需要的训练数据量只有十万条级别也不是特别多基于这样的样例数据就可以做一个线上的推理模型。可能有的同学问为什么不直接把这个大模型上线主要的原因是现在这个系统每天的吞吐量要求很高如果要让大模型实现非常快速的响应就难以避免延时。因此比较好的一个办法就是直接让它去生成数据蒸馏数据然后生成小模型来迭代业务系统相应的模块。最终这个需求的人工标注量大幅减少减少了 90%模型交付时间显著缩短而模型效果比原来提高 20%。最令业务方最满意的是标注量和交付时间的减少这意味着整个系统更加敏捷应对变化的效率更高。2图像反欺诈模型优化第二个案例更为典型即图像反欺诈模型优化针对的场景是 KYC 人脸核身。大家都用过刷脸背后其实不是一个单一的模型而是由很多个模型联合实现的。其中会判别是否存在欺诈行为比如拍屏或者用高清面具伪装成某一个特定的人。这看起来是一个简单的图像分类而其中有两个问题。第一个问题是领域适配。用户的人脸属于敏感数据我们实际不能接触到用户的人脸数据只能通过公开数据去训练适配比如上图中右上角展示的图片是来自公开数据的一张图。但是用大量的公开数据去训练的模型可能跟实际的业务场景相去甚远比如光照条件、人脸的肤色可能跟实际的用户差比较远。因此模型的泛化会是很大的问题第二个问题是欺诈者会不断变换攻击手段所以模型必须要敏捷且泛化。而以往的训练流程缺乏标注人手难以提高模型性能。有了大模型之后我们通过人工少量的标注的图片和提示词。比如让大模型描述图片中的脸模型就会返回这张脸在一个手机中而手机是由人拿着这与业务人员的理解是非常接近的。即使我们使用公开的数据进行训练多模态的大模型通过图像模态和文本模态的对齐也能抽取出实际泛化的语义特征确保模型在真实场景的泛化性能。具体实现方法是通过 CLIP 去抽取大模型生成的描述的文本特征然后用视觉的 Transformer 可以抽取图像本身的特征然后可以专门去做对齐。这里是三个代价函数的加总中间是 CLIP 的对比学习的代价函数实际上就是文本特征跟图像特征做对比学习头尾就是视觉 Transformer 的损失函数一个是 Reconstruction Loss另一个是分类的 Loss三者加权。当你直接去看 attention 的 mask 的时候就会发现经过这样的对齐它相应的图的注意力的 mask 会聚焦到人对这个图的理解上。即使肤色改变或光照条件改变模型也还是会有一定的泛化能力。后面是一个判别模型这个判别模型还是要以 mini GPT 4 的描述作为其中一个输入所以会有点慢但是已经能够满足需求我们就用它来理解和标记训练数据然后就可以得到线上的一个更快的推理模型。这一方案除了效果和泛化能力出色之外更特别的一点就是它与人本身的思维通过自然语言这一载体自然对接起来了即使我们的训练数据和真实场景看起来比较远也能高效抽取出真正泛化的特征这使得整个模型的交付效率大幅提升[2][3]。3总结原始流程中业务提一个需求要做 AI 模型就需要大量的标注工作量而且往往我们对于这个领域的理解没有办法注入到数据中。但现在基于大模型图像的特征与语言描述得以对齐然后通过语言这个载体就可以与业务方的期望进行对齐。这里利用了大模型承载的通识用来生成训练数据还利用了大模型的指令理解能力领域专家直接将他对这个 case 的理解通过自然语言来引导大模型来注入领域理解。**2.**针对 Planning 和 Memory 的强化1欺诈调查助手第二类是针对 Planning 和 Memory 的强化实际上就是给我们的业务人员减负、提效。第一个场景是反欺诈调查的 copilot通过与欺诈调查员的对话来解决相关问题。利用 GraphRAG 技术首先进行意图识别这里的意图基本上都是固定好的可枚举的第一个就是基于业务知识的一般问答第二个是基于调查库表的简单查询第三个是基于关联团伙的查询。意图识别完成之后针对意图来做参数解析然后进行查询。这里的业务知识一般都是以自由文档的方式存储在 RAG 的向量库里面业务库表在数仓中。目前公司没有一个特别完备的数据血缘所以很多数据血缘的信息实际上是放在领域文档里面的。所以第一步可能会做一个简单的图关系的抽取一般都是一个预置好的 prompt比如一些表的信息和关联的信息如果有的话就把它抽出来做一个简单的支撑。以上就是欺诈调查助手场景的实现。2数据分析助手第二个场景也是一个非常通用的场景即 ChatBI是基于 Text2SQL 实现的。当有数据分析需求时可以直接提问。首先根据用户提问去做拆解确定需要调用哪些工具。我们目前有两个工具一个是 Text2SQL另一个就是基于 Pandas 的一个简单的可视化分析工具。选定工具之后就依赖工具执行对应的动作会去调用向量数据库召回文档和领域相关的一些描述文本片。根据每一个 Agent 的返回结果来决定这个问题是否已经解决。在这个 Text2SQL 的 Agent 里面还会有一个与上面类似的小循环。我们的数据分析是基于 Presto。用户会把他自有的文档放到向量数据库里面Redis 里面存对话历史。首先基于用户提的问题获取表的元数据信息和它自有的文档里面获取相应的文本片和思维链的一些线索拼成一个总的 prompt输入到大模型的 Agent 里面然后生成 SQL、检验 SQL、执行 SQL、修改 SQL这样循环几次之后把最终的结果返回。在落地过程中我们发现一个难点这一做法对新写 SQL 效果还行但是对于已有的一些比较复杂的 SQL我们需要把文档整理好然后做相应的召回这个 Agent 才能有比较好的效果。3总结针对 Planning 和 Memory 的强化与前面针对 Tools 的强化不同它不是对一个具体模型的优化而是去做一个角色比如代码开发、数据分析、个案排查或是客服。针对 Planning 和 Memory 的强化以 Copilot 的形式来提供先构造一个助手利用大模型文本生成和理解的能力工具调用的能力以及已有的文档尽可能好地构造一些结构化的知识使大模型的结果尽可能靠近用户预期。这样以 Copilot 的形式来协助相应角色完成开发、分析或调查等工作。最终基于这些 SQL 或是调查中抽象出固定的流程。总结与展望我们的智能体落地步骤可以总结为第一步针对具体模型的进行提效通过大模型的通识和泛化能力对小模型的构建实现提效。第二步逐步将业务知识提炼、固化。原来可能是主管对员工然后员工去找 Copilot后面在员工和 Copilot 协作的过程中不断抽象业务和模式并固定在链路定义中。最终实现主管和主要员工通过操作一个具有决策能力的类 AGI 系统来完成日常的模型构造、案件调查、个案分析、团伙排查等各种任务。落地过程中的一个重要问题是人应该扮演怎样的角色智能体系统是否会完全取代人工从我们的经验以及对未来的判断来说大模型 Agent 并不可以完全替代人而只是扩大人的能力范围由大模型来一定程度上替代繁琐的重复工作而使人更加聚焦于业务情况的核心问题。我们有一个核心的风控和智能系统包括各种风控、营销、电商和金融系统都是固定的模型和固定的业务逻辑。中间是各部门对应的欺诈调查、模型构造、策略分析等业务我们期望通过逐步引入智能体将这些工作中标准化的部分固化下来最终由 Agent 去实现。人就可以聚集于整个业务的全局以及一些重要的个案。业务人员在发现了一些业务中新的现象之后会去尝试总结成提示词然后去引导中间的 Agent 去挖掘数据、生成数据以及做一些对应的分析汇总。通过这个分析汇总生成新的训练数据和蒸馏更加有效的模型然后部署到我们线上的实时系统中去。过程中会对运行结果进行实时的统计和监控然后把结果和一些异常的个案汇总到人工层。这就是我们希望实现的智能体系统的结构。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取