腾讯云总裁邱跃鹏:腾讯云已全面适配主流国产芯片

音符科技网

新浪科技讯 9月16日上午消息,今日,在2025腾讯全球数字生态大会上,腾讯集团副总裁、腾讯云总裁邱跃鹏表示,腾讯云持续深度参与并回馈开源社区,同时依托异构计算平台整合多种芯片资源,向外界提供高性价比的 AI 算力。目前,该平台已全面适配主流国产芯片。

在推理加速方面,腾讯云深入参与开源贡献,向DeepSeek、vLLM、SGLang等社区提交了多项优化技术。针对大模型推理面临的内存瓶颈,腾讯云自研并开源FlexKV 多级缓存技术,大幅降低KVCache的占用,将首字时延降低多达70%。

他提到,腾讯云基础设施已覆盖全球 55 个可用区,部署 3200 多个加速节点,为上万款游戏提供安全防护,在过去一年抵御了同比增长 183% 的 DDoS 攻击。腾讯云加快国际化布局,并计划在日本大阪和沙特新建可用区,目前全球已经设立 9 个技术支持中心,并获得400 多项专业认证。今年,依托适配全球技术生态的产品能力和本地化服务,腾讯云完成印尼版“滴滴+美团”超大规模迁移,过程中仅用 5 个月建成印尼第三可用区。

以下为演讲全文:

尊敬的各位领导、各位嘉宾、媒体朋友:

大家上午好!我是邱跃鹏。

大模型产业重心从训练到推理的转变,已经成为行业共识。从腾讯自身的实践,我们也看到了同样的趋势,同时客户对于使用大模型和建设Agent迸发出强烈热情,这都带来了推理需求的暴涨。从IDC咨询公司的数据可以看到,Agent也将进一步推动推理需求的爆发。这也意味着,我们的AI基础设施,也要同步升级。

下面想和大家一起探讨如何通过AI Infra的升级,来加速Agent的规模化落地。

从技术角度来看,开源社区与推理相关的技术范式正在快速迭代。腾讯在推理加速上一直有非常多的积累,我们积极参与到社区贡献中,共建推理加速技术生态。

今年2月,DeepSeek 一口气开源了五大代码库,为社区注入了前所未有的活力。其中,专注 GPU 通信的 DeepEP,与我们长期积累的 TRMT技术方向高度契合。我们在此基础上优化了 DeepEP,使其在 IB *** 性能提升了 30%,在数据中心常用的 RoCE *** 环境中性能更是翻倍。DeepSeek 在社区公开致谢,并用“huge speedup”形容这次贡献。

第二个重点是 KV Cache 优化。随着大模型参数规模激增,推理对显存的需求急剧上升。同时,智能 *** 、代码助手等场景,对上下文长度的要求不断扩展,导致推理过程中产生的 KV Cache 线性增长,GPU 显存成为瓶颈。对此,我们将KV Cache逐层缓存至内存、SSD及云端扩展存储,充分利用整个推理集群节点上的存储资源,以及外置扩展资源,以存换算,提高性价比和系统吞吐,并极大降低TTFT等延迟指标。

为了解决分布式KV Cache和多级缓存的精细管理,并建起推理引擎到云存储的桥梁,我们研发并正式开源了 FlexKV。在知名SSD厂商“群联电子”的测试中,FlexKV 将首字时延更高降低 70%,对话时延降低57%。

推理框架优化对于提升推理效率也非常重要。围绕用户体验、成本控制和应用拓展,我们贡献了多项核心技术,补充到了不同社区框架中。

例如,我们集成了多 token 联合预测 (MTP) 技术,让模型一次运算生成多个 token,将生成速度提升了 35%。我们还帮助社区打通了注意力数据并行 (Attention DP) 功能,将吞吐量提升了 30%。

此外,通过集成 MoE-Chunk 技术,成功使推理框架能够处理超过 256K 的超长输入,使其在长文档分析、复杂代码生成等场景中也能保持高效。

这些成果背后,是腾讯软硬件协同全栈优化的长期战略投入,腾讯始终坚持积极参与和回馈开源社区,并通过腾讯云异构计算平台的软件能力,整合不同类型的芯片,对外提供高性价比的AI算力,目前我们已经全面适配主流的国产芯片。

当Agent从前沿技术走向企业生产环境,如何确保其在一个安全可信的环境中高效运行成为新的挑战。为此,我们推出了全新的 Agent infra 解决方案——Agent Runtime。

它集成了执行引擎、云沙箱、上下文服务、网关、安全可观测服务等多项产品和能力。可以说,Agent Runtime 为Agent提供了坚实可靠的“手”和“脚”,以及至关重要的安全隔离云端执行环境,真正打通了Agent从技术到应用的最后一公里。

比如大家最关注的沙箱技术。云沙箱是 Agent Runtime 的核心组件,基于自研的Cube沙箱技术,通过“运行时快照”、“资源预创建池化”等多种技术手段,实现了 100毫秒的极速启动,并能支持数十万Agent实例同时并发,这意味着Agent无需等待,随时可以投入使用,具备卓越的资源弹性和秒级调度能力。

云沙箱也支持多种灵活的接入方式,无论通过 MCP、SDK 还是 API,都能快速集成,满足不同业务场景的需求。我们还提供了全方位的安全保障,包括严格的身份权限管理和数据安全防护,确保每一个Agent都能在一个安全可信的环境中高效运行。

除了面向Agent升级基础设施,我们也在思考如何将Agent能力应用在客户的云上旅程,帮助客户更好的用云、管云,很高兴向大家介绍腾讯云的专家服务智能体——Cloud Mate。

Cloud Mate由一系列凝聚了各个云上领域经验的子Agent构成,它不仅仅是一项技术,更是腾讯云海量实践的汇总,能够可视化治理云上架构、前置拦截风险,并大幅提升问题处理效率,改变我们管理云的方式。

在云上架构治理方面,具备Agent能力的智能顾问就像一个全能的数字架构师,可以无缝集成超过 90% 的腾讯云产品,对整个云上架构进行全面感知和可视化。

例如,在新游上线前必做的重保演练,它能将整个周期从原来的 1周缩短至1天,目前,腾讯云智能顾问已经为云上客户提供,超过100万次的智能架构治理服务,是真正值得信赖的云上伙伴。

在风险防范场景,慢查询或低效SQL是长期困扰开发与DBA的难题,这种业务代码一旦上线,可能严重拖慢数据库性能,甚至导致服务宕机。

Cloud Mate非常擅长数据库业务,能够深入到代码环节,在开发提交代码前,自动进行风险检测与拦截,从源头保障线上数据库的安全稳定。从内部实践看,Cloud Mate对风险SQL的拦截率高达95%,累计检测了超过770万行代码。

在排障方面,Cloud Mate 带来的改变尤为显著。当客户云上业务系统日益复杂时,如何快速定位问题,是一个巨大的挑战。过去,解决一个复杂问题平均需要30小时以上,并且高度依赖于个人经验和手动操作。

而现在,通过 Cloud Mate 强大的自动化和并行编排能力,我们能够将平均排障时间,从小时级缩短至分钟级,最快仅需3分钟。Cloud Mate 能够自动执行诊断工具链,并行处理多个任务,极大地提升了运维效率,让故障定位不再是难题。

除了智能化升级之外,企业全球化的趋势也势不可挡。

我们持续打磨产品性能,通过坚实的基础设施建设,助力客户在全球范围拓展业务。

腾讯云自研的星星海服务器从SA5到SA9持续迭代,通过硬件架构创新,在有限空间内,更大化提升计算密度与能效,旗舰SA9单机规格,从前一代的512核进一步提升到768核,星星海服务器目前在全球累计部署核数超过2亿,为客户持续提供稳定可靠的计算能力。

我们还推出了新一代架构的TDSQL数据库, 让分布式数据库像单机 MySQL一样好用,同时享受到单机数据库的易用性,以及分布式数据库的海量存储与高并发能力,具备无限的TP扩展性与轻量AP能力。 同时,我们还将AI和数据库的优化器结合,在复杂查询场景下,总时延能下降 80%以上。

专有云TCE在国内政企客户中备受好评,当我们推向国际市场,“高可用性”也得到了国际客户的肯定。我们持续提升TCE容灾切换的一致性、准确性和实时性,目前已经达到RTO 2分钟级别,具备近金融6级的容灾能力。

游戏体验的流畅性、稳定性和安全性,直接决定着一款产品能否成功走向全球。在今年Omdia的报告中,我们与AWS、Google、Microsoft等企业,一同被评为全球游戏云平台的领导者。

为了让精品游戏都能高效进入全球市场,我们不断打磨基础设施的健壮性。目前,我们的服务已覆盖全球55个可用区,拥有超过3200个加速节点,确保游戏能够以极低的延迟触达全球玩家。我们还为全球超过1万款游戏保驾护航,成功抵御的DDoS攻击次数同比增长了183%,为游戏的平稳运营筑起了坚实的防线。同时,我们通过WeTest和ACE等一系列产品,为游戏开发者提供全方位的测试与安全服务,帮助他们在游戏上线前,就彻底排除潜在隐患。

以韩国头部头部游戏集团Com2uS为例,他们不仅是成功的游戏开发商,更打造了面向开发者的游戏后端服务平台Hive。借助腾讯云40多款云产品的支撑,Hive构建了上百个游戏开发和部署组件,并被90多家游戏公司接入使用,成功支撑了250款游戏上线,服务全球超过9亿游戏玩家。今年,他们准备从亚太启航,进一步进军北美市场,而腾讯云依然是他们最信赖的合作伙伴。

我们与创梦天地的合作也持续深化。他们的全新游戏《卡拉彼丘》在全球发行后,不到2小时就登顶Steam排行榜榜首,背后正是我们WeTest、大模型服务等能力保障的结果,大幅提升了游戏质量优化和多语言舆情处置的效率,让创梦天地能够更加专注于核心业务,拥抱全球市场。

面向AI时代,我们持续升级产品,助力客户轻松进入低门槛的开发新时代。EdgeOne是我们面向国际市场推出的下一代安全加速产品,今年我们进一步将大模型与MCP Server结合,推出了EdgeOne Pages,当用户使用Codebuddy、Cursor、VScode等AI编程工具时,可以便捷调用EdgeOne Pages的MCP,在几分钟内完成涵盖注册、支付、加速和安全防护的完整电商网页部署。产品上线三个月,已助力超过10万用户走向全球市场,成为中小企业和独立开发者的出海首选平台。

如果客户希望进一步丰富产品的互动能力,我们提供低代码、模块化的互动直播组件,结合目前市面上主流的AI编程工具,可以将开发周期从月级压缩至天级,同时支持千万级规模的单房间直播。组件上线半年以来,客户数增长超300% 。

我们致力于通过“边加端”的AI整体方案,以极低门槛和极快速度,将创新想法落地为全球产品,释放开发者的生产力。

产品技术的升级,也能让腾讯云的用户更从容应对全球化复杂场景,尤其是瞬时流量洪峰。

过去一年,我们成功护航了多个高并发场景。例如,腾讯云平稳支撑了国家级大型活动的直播,支撑了全球超过8000万观众同时在线观看,直播平台全程无卡断。我们还支持并保障了亚太地区超过一半的正版英超直播。其中的智能媒体处理技术,为客户实现了提质增效,保障了音视频全链路的流畅体验。

在安全防护方面,腾讯云的防护容量相比去年增长了70%,达到了25T,带宽储备增长100%,达到400T。在服务某头部潮玩企业火爆发售的过程中,我们成功应对了全球业务十倍级的流量突发,并通过AI实时防刷引擎,将高峰时段黑产比例从80%大幅压缩到0.2% 。

腾讯云在海外完善的基础设施和本地化服务,也在吸引越来越多的海外本地企业跨云迁移。印尼 GoTo 就是一个典型案例:

GoTo是东南亚更大的科技集团,合并了印尼两大独角兽企业——负责即时配送和出行服务的Gojek和电商平台Tokopedia。腾讯云负责的Gojek业务,是这场迁移中复杂度更高的部分,相当于把印尼的“滴滴+美团”云上搬家。

我们面对的,是一个超大体量的平台:拥有超过1亿的注册用户, 管理着超过10000台云主机、730多个数据库实例和1000多个微服务。同时,其系统极其复杂 :四大核心业务线、九个工程子系统,模块间高度耦合。这无疑是一个世界级的云业务迁移挑战。

面对如此复杂的项目,团队驻扎雅加达现场,与GoTo紧密协作:高效完成了500多项定制化需求交付,让客户50多个产品模块在迁移前后的体验和功能无缝延续。为了确保万无一失,进行了5轮全链路演练,制定了20多项应急预案。

更值得一提的是,为了满足GoTo的高可用需求,我们仅用5个月就在印尼建成了第三个可用区,为迁移提供了坚实的本地基础设施保障。

过去一年,是腾讯云在海外快速发展的一年。我们在日本大阪和沙特新建了可用区,并已在全球范围内设立9个技术支持中心,持续为本地客户提供卓越服务。同时,我们通过了400多项专业认证,为企业在安全合规的前提下稳健前行保驾护航。

全球化市场充满挑战,也蕴藏着无限机遇。对于正在或即将出海的中国企业而言,如何稳扎稳打、因地制宜,抓住AI技术浪潮驱动创新提效,是每一步都需要认真思考的课题。

腾讯云愿以扎实的准备和开放的心态,帮助全球企业用好云,陪伴中国企业走得更稳、更远。

谢谢大家。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

文章版权声明:除非注明,否则均为音符科技网 wap.luzhiwang.com原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 马斯克罗列特斯拉繁忙工作日程:“爸爸真的回来了”
  • 三只羊旗下主播低调复播,今年或不再带货月饼
  • 言短意长|@人大刚子粉丝数10天内超过人大官方账号
  • 小米抢走10%空调市场份额?高盛:美的有韧性,格力最易受冲击
  • 2025金融教育宣传周微博连麦直播将于9月17日晚举行 多位专家解读热点问题
  • 大陆劣质零件“洗产地”造成兴达电厂大火?台电:供应商并无大陆企业
  • 迈向20年来最严重供给短缺,华尔街大行:铝价具有50-60%的长期上涨潜力
  • 主管医生谈杭州52岁女子误触氢氟酸身亡:电解质紊乱、全身脏器衰竭
  • 俄外交部:俄美乌三方领导人会晤的基础尚不存在
  • 独家|奇瑞汽车计划9月17日开簿招股,目标估值1400亿港元
  • 第1现场|加沙城遭以军地面攻击,目击者:坦克尚未深入市区
  • 美联储降息乐观情绪,日韩股市双双创新高,金价又又又创新高
  • 开云集团遭黑客入侵,旗下古驰、巴黎世家等品牌部分客户资料泄露
  • 科普|男性尴尬的疼痛背后,可能是泌尿系统这种常见病在作怪
  • 读懂城市|独一无二的宜昌
  • 韩国8月汽车出口额同比增长8.6%,对美出口下降15.2%
  • 韩俊再次强调:严禁退休干部到农村占地建房
  • 安踏高压反腐,74名员工因严重舞弊被辞退、46名内外部人员移交司法机关
  • 马斯克再回应Macrohard项目是否真实存在
  • 2025“一带一路”媒体合作论坛在昆明举行
  • 10家金融机构被罚1.6亿元,华夏银行此前罚单创纪录
  • 恒大人寿连收两张罚单:28人被追责,三任前董事长均受罚
  • 怎么投诉最有效?四大渠道实测结果对比(含网址)
  • 拉乌利宣誓就任萨摩亚总理
  • 下一任美联储主席将花落谁家?对市场影响几何?
  • 媒体:因涉毒历史引争议苏永康温州演唱会取消,大麦网已下架项目
  • 以防长:以军正在强力打击哈马斯基础设施
  • 日本前经济安全保障担当大臣小林鹰之宣布参选自民党总裁
  • 又一人正式宣布参选,日本自民党新总裁选战持续升温
  • 安踏反腐!8个月辞退74名严重舞弊员工!46人涉嫌违法犯罪移交司法机关
  • 贵州织金县委书记游新建转任毕节市政府驻贵阳办事处主任
  • 我国成功发射卫星互联网技术试验卫星
  • 马上评|女子散步踩到“化骨水”,敲响危化品管理警钟
  • 便捷投诉企业指南:这些途径帮你高效维权
  • 法国开云集团证实客户资料被窃,未回应是否涉及中国客户 | 贵圈
  • 午间涨跌停股分析:56只涨停股、5只跌停股,跨境电商概念活跃,供销大集、飞马国际等涨停
  • 深圳一医院医保系统被曝故障2小时,最新:自费患者可办退费
  • 盘中必读|豆包月活超越DeepSeek!字节概念大涨,线上线下20CM封板
  • 孙颖莎、王曼昱将免试去清华读研
  • 一份房补提案,把印尼全国上下都“点着”了
  • 目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码