萨摩耶云科技集团：ChatGPT在金融和跨境电商建立新人机协作模式

　　自2022年11月上线后，ChatGPT就一路开挂，不仅5天时间便突破百万用户，月活用户突破1亿更是仅用时2个月，成为史上增速最快的消费级应用，远超TikTok、Facebook、Google等全球应用，可谓来势汹汹。ChatGPT表现出很高的人机交互水平，以及自然语言大模型具备面向通用人工智能的特征，在众多行业领域有着广泛的应用潜力。ChatGPT大热之下，其背后技术的原理是什么？AIGC的兴起给金融、跨境电商等众多行业带来怎样的机遇与挑战？AI又将如何赋能商业决策？

　　真正与人类进行交流

　　ChatGPT是由OpenAI团队开发和训练的一个人工智能聊天机器人程序，使用了Transformer架构，它拥有语言理解和文本生成能力，尤其是通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。

　　2020年5月的GPT-3，参数量达到了1750亿，堪称“大力出奇迹”。ChatGPT作为基于GPT-3.5架构开发的大规模对话AI模型，刚一问世就令全球为之震动，而其很可能是GPT-4正式推出之前的演练。

　　不过，在萨摩耶云科技集团数据业务部副总经理易小华看来，从技术角度来说，ChatGPT本身使用到的技术在过去5年已被业界反复验证，并不存在非常大的突破。“OpenAI多年的厚积为现在的薄发打下了基础，它所积累的模型规模已经把竞争对手甩在身后。”易小华感叹。

　　ChatGPT的数据飞轮开始转动

　　从GPT1.0到GPT3.0，再到目前ChatGPT所使用的GPT3.5,在过去5年的时间，OpenAI投入了大量的人力、财力、算力，将其模型规模积累壮大。

　　2018年OpenAI采用Transformer Decoder结构在大规模语料上训练了GPT1模型，揭开了NLP模型预训练+微调的新范式。2019年，OpenAI提出了GPT2，GPT2拥有和GPT1一样的模型结构，但得益于更多和更高的数据质量以及新引入的多任务学习方式，语言生成能力得到大幅提升。之后由于GPT采用Decoder单向结构天然缺陷是无法感知上下文，Google很快提出了Encoder结构的Bert模型可以感知上下文，效果上也明显有提升，同年Google采用Encoder-Decoder结构，提出了T5模型，从此大规模预训练语言模型朝着三个不同方向发展。

　　易小华认为，直到2020年OpenAI提出了GPT3将GPT模型提升到全新的高度，其训练参数达到了1750亿，训练语料超45TB，自此GPT系列模型的数据飞轮便转动起来，超大模型时代开启，NLP任务走向了预训练+情境学习新路线。由于GPT3可以产生通顺的句子，但是准确性等问题一直存在，于是出现了InstructGPT、ChatGPT等后续优化的工作，通过加入强化学习模式实现了模型可以理解人类指令的含义，会甄别高水准答案，质疑错误问题和拒绝不适当的请求等。

　　图片来自于OpenAI官网

　　ChatGPT使用了RHLF(人工反馈强化学习能力)方法来训练模型，它分三步来训练:

　　第一步：训练监督策略模型。为了让GPT 3.5初步具备理解指令的意图，首先会在数据集中随机抽取问题，由人类标注人员，给出高质量答案，然后用这些人工标注好的数据来微调GPT-3.5模型，经过微调的模型已经具备在对话场景初步理解人类意图的能力。

　　第二步：训练奖励模型。这个阶段主要是通过人工标注训练数据，来训练奖励模型。在数据集中随机抽取问题，使用第一阶段生成的模型，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑给出排名顺序。这一过程类似于教练或老师辅导。

　　接下来，使用这个排序结果数据来训练奖励模型。对多个排序结果，两两组合，形成多个训练数据对比。RM模型接受一个输入，给出评价回答质量的分数。

　　第三步：使用PPO强化学习来增强第一步生成的微调模型。首先初始化PPO模型，采样一批和前面用户提交prompt不同的集合，使用PPO模型生成答案。利用第二步回报模型对答案打分，通过产生的策略梯度去更新PPO模型。这一步利用强化学习来鼓励PPO模型生成更符合奖励模型判别高质量的答案。

　　然后通过第二和第三步的反复迭代，使得PPO模型的生成能力越来越强，直到人都很难分辨出来。

　　瑕不掩瑜，新技术革命风暴袭来

　　尽管ChatGPT表现出出色的上下文对话能力甚至编程能力，完成了大众对人机对话机器人从“人工智障”到“有趣”的印象改观。我们也要看到，ChatGPT技术仍然有一些局限性，还在不断地进步。比如，其未经大量语料训练的领域缺乏“人类常识”和引申能力，甚至会一本正经的“胡说八道”；ChatGPT无法处理复杂冗长或者特别专业的语言结构；需要非常大量的算力（芯片）来支持其训练和部署；无论是训练时间或训练成本，都是普通训练者难以接受的；ChatGPT仍然是黑盒模型，目前还未能对内在算法逻辑进行分解。

　　从辩证的角度来看，ChatGPT虽不完美，但它提升了理解人类思维的准确性，带来了里程碑式的技术革命。它将带动AI杀手级应用出现，代替大量低端人力，将给世界带来新的产业革命；使用大模型（或LLM）可以接近人类的思考能力；科技领先的马太效应会越来越明显。

　　ChatGPT在全球迅速掀起浪潮，中信证券研究院报告认为，中短期内产业化的方向，主要为文字模态的AIGC应用、代码开发相关、图像生成领域、智能客服四大板块。而业内普遍认为，ChatGPT引领的大模型正在让AI技术从五年前的“能听会看”，走到今天的“能思考、会创作”，未来有望实现“会推理、能决策”的重大进步，其在决策智能领域有着广阔的应用潜力。

　　萨摩耶云科技集团在决策智能技术攻坚已取得重要原始性突破，在金融、跨境电商物流、电信领域积累了丰富的经验。“我们认为，ChatGPT可在营销、客服、风险控制、代码编写、跨境电商内容生成等业务场景中发挥重要价值。”易小华说。

　　重新赋能金融与跨境电商决策

　　营销和客服是金融领域不可缺少的两个环节，在营销环节，客户会通过广告投放，短信，外呼，app推送，资源位个性化展示、微信公众号等各种营销渠道接触到金融服务，在客户服务环节，客户也会通过App，电话，短信，微信公众号等渠道享受到客户服务。在这期间客户都会涉及到和机器人以及金融服务人员打交道，通过使用金融机构语料训练类似于ChatGPT的语言生成模型，再结合个性化推荐、用户画像，业务API等技术，可以很好的解决线上线下协同过程中的自动化断点问题，实现营销和客服过程的自动化、提升营销和客服效率以及用户体验。”

　　易小华表示，把传统机器学习，个性化推荐、知识图谱、决策引擎等技术和LLM模型技术融合，会进一步优化模型的智能性，改变信贷服务的人机交互体验，使得金融服务更有温度。“我们试图在营销和客服场景中建立新的人机协作模式。一方面，在营销上基于人群和标签划分进行个性化推荐，在客服上执行问题理解、对话管理、问题推荐、答案生成等机器任务。另一方面，人工方面则主要专注于话术推荐和会话摘要生成等。”

　　而在金融风险控制方面，利用知识图谱引擎原有的隐性集团识别、深度链扩散、子图筛选等能力基础上，类似于ChatGPT的大语言模型可扩展出更高维度、更大范围的隐性关系识别。通过对用户信用数据、历史借款记录、还款记录等数据分析，评估用户风险等级，实现对关键要素提取、资料自动化审核、风险点提示等风控领域的业务流程自动化水平的提升，向金融机构提供全方位智能风险管理服务，大幅提高风险识别能力。

　　当前，在跨境电商领域的应用方面，虽然ChatGPT可以直接帮助卖家生成内容，但是效果还是需要进一步改进。OpenAI提供了对GPT模型进行微调然后生成自定义GPT模型的接口能力，萨摩耶云科技集团通过调用接口，实现上传自己的训练语料对GPT模型进行微调，达到定制化模型的效果。未来，其可帮助跨境电商卖家在产品编写/优化listing、提升跨境电商平台店铺和产品排名、输出丰富优质的邮件营销内容、提供即时客户服务改善客户体验、开展智能广告投放提升转化率等层面进行降本增效。

　　人工智能已在多领域广泛应用，ChatGPT高超的人机交互水平、通用人工智能的特征，让世界为之惊叹。“不断进化的ChatGPT将为识别、生成和决策重新赋能，对社会经济发展可能会产生渗透性、颠覆性的作用。如何应对人工智能会是件有意思的事情，但AI的未来肯定超酷。”易小华对ChatGPT的应用前景充满期待。