蒋杰带领腾讯广告推进产学融合借助硬核技术提升广告效益

　　导语:腾讯广告秉承“技术提效”理念,正在全面升级广告系统,应用北京大学-腾讯协同创新实验室两项入选国际顶级学术会议的前沿机器学习技术,以解决广告提效难题。腾讯公司副总裁蒋杰认为此次升级不仅是实践理念的重要举措,更彰显了腾讯广告将前沿技术转化为业务价值的行动力。

　　在过去几年里,人工智能迅速发展,机器学习技术在广告、电商和安全等领域得到广泛应用。由于广告业务需要处理大量数据和高效计算,因此被视为机器学习成果应用的重要领域。解决广告提效难题是业界技术应用的重要挑战,如何利用机器学习技术实现规模化的应用是当前的重要课题。目前,在腾讯公司副总裁蒋杰的带领下,腾讯广告系统正在全面升级,并在广告提效技术的应用方面取得了重要进展。

　　秉承“技术提效”理念,腾讯广告将北京大学-腾讯协同创新实验室(以下简称:联合实验室)两项入选国际顶级学术会议VLDB 2022与国际万维网大会)的前沿机器学习技术应用于广告业务场景中,为腾讯广告系统的“太极机器学习平台”与“千亿参数大模型”的落地持续赋能,助力系统成为腾讯广告全域经营坚实的技术底座。由蒋杰主导的这一次系统升级,不仅是对“技术提效”理念的充分实践,更彰显了腾讯广告将前沿技术能力转化为业务价值的行动力。

　　蒋杰表示“从技术的角度理解业务,从业务的角度审视技术,让技术演进推动业务增长”是腾讯广告所秉承的技术原则。借助“腾讯广告系统全面升级”这一练兵场,为联合实验室的技术成果落地“量体裁衣”:

　　蒋杰认为当下互联网生态,每天产生至少百亿规模的数据样本,而广告推荐场景更需要对复杂条件做分析和判断,其中涵盖的特征数量可达千亿甚至万亿规模。特征的多变性与成长性,亦对广告系统的学习能力提出了更高的要求。为此,腾讯基于联合实验室提出的自动化建模超大规模图网络的可拓展图学习理论(PaSca),自研Angel Graph图计算框架,降低大规模图神经网络模型训练的门槛,提升了系统的数据学习效率。蒋杰表示,获益于此,腾讯广告系统在不同推荐场景的灵活性与准确性得到极大提高,可根据各个平台用户的特点实现快速精准推荐,更能结合页面和上下文信息,通过强化场景差异性表达,提升投放效果。

　　另一方面,在广告业务中,数据理解和运算速度、质量要求非常高,甚至需要在毫秒级别内完成复杂的计算和匹配。为了提高广告运算的效率和准确性,蒋杰指出,腾讯广告目前的做法是采用千亿和万亿参数规模的超大模型来优化对高维特征的理解,并实现组合特征的计算和匹配。这些超大模型的训练和推理已经成为当前广告平台的一项关键技术,而机器学习技术的训练和推理能力在其中发挥着至关重要的作用。蒋杰表示可以将大模型看作广告场景中的赛车,而机器学习技术则是驱动赛车的引擎。引擎的质量对于赛车的速度和稳定性有着至关重要的影响。为了支持大模型的训练和落地,技术团队利用联合实验室的成果,从搭建基础设施和提升训练速度两个方面入手,提供技术支持。这一技术壁垒在当前广告平台中非常重要,也展现了机器学习技术的巨大潜力。

　　基建层面,依托于联合实验室研发的新一代分布式深度学习平台Angel4.0,蒋杰带领腾讯广告技术团队,自主研发出AngelPS 技术,并将其作为太极机器学习平台的核心组件落地应用于广告系统。在AngelPS的助力下,太极机器学习平台单模型处理上限提升至10TB级别,更能实现7X24小时的在线深度学习与推理,自此,广告系统学习、推理海量广告数据的稳定性与扩展性得到了极大提升,让超大规模广告模型的生产和使用成为现实。速度层面,腾讯广告基于联合实验室提出的稀疏大模型训练加速解决方案AngelRec,自主研发高性能预训练框架AngelPTM,为超大规模广告模型的训练速度、维度与精度加足马力。

　　在蒋杰的牵头带领下,腾讯广告系统利用太极机器学习平台成功训练出混元AI大模型和广告大模型,这标志着系统实现了重大突破。这些模型的引入提高了广告系统的理解和运算能力,同时也为广告主提供了更高效的服务,实现了关键的“起量、成本和稳定性”三大指标。

　　随着腾讯广告系统的全面升级,当下广告场景效果转化的确定性与转化效率均得以提升,为广告主们带来生意增长。蒋杰表示,未来,腾讯广告亦将持续践行“技术提效”思路,立足于腾讯与清华大学、中科院计算所等多所高校的产学研布局与研发成果,深挖大数据与自然语言处理等多个前沿领域,持续探索广告业务在产学融合层面的新航图。