同传大模型+ AI降噪系统,科大讯飞重新定义翻译耳机

音符科技网

科技巨头们,往往对翻译产品存在执念。

Windows 11 搭载了“实时字幕”选项,谷歌打造的AR眼镜能将传译内容投射到镜片之上,而几乎所有智能手机,都会内置一款名为“翻译”的原生App。科技公司对于开发翻译产品的共识,都指向了人类打破语言藩篱的古老梦想。

实现这一科技愿景的过程中,还有一家科技公司无法被绕开,不论是讯飞翻译机、讯飞翻译SaaS还是讯飞翻译app,即便之于普通用户,包括同传翻译在内的智能语音技术,早已令科大讯飞声名在外。

拥有这份用户认知不难理解。作为中国人工智能国家队,讯飞同传已累计服务全球50多个国家和地区;讯飞翻译机已触达超百万用户,翻译次数高达10亿次;而根据国际咨询机构IDC的权威数据,科大讯飞在AI翻译速度、效果、专业度、拟人度、产品应用成熟度、商业化规模、研发投入及用户推荐度8大核心维度中排名之一。

这些软硬件产品都折射出科大讯飞一条清晰的技术脉络:致力于打破全球对话壁垒。

因此,当10月14日科大讯飞推出“讯飞AI翻译耳机”时,迅速引起了行业和用户的广泛关注。

包括谷歌AR眼镜在内,“确保翻译的准确与速度”始终是尚未解决的核心痛点,而市面上的硬件翻译产品,也都还未摆脱“你一句我一言”使用困境。面对这些行业难题,在接受界面新闻采访时,科大讯飞翻译耳机产品线总经理林会杰给出了“相比竞品,我们的优势非常明显”的笃定回答。

讯飞AI翻译耳机究竟给出了怎样的差异化体验?而对行业而言,更重要的意义在于,面对“无语言障碍沟通”的古老愿景,我们需要了解顶尖科技公司们已行至何处。

翻译耳机,始于降噪

相比头戴、TWS耳机,翻译耳机对于收音提出了更严苛的要求,若无法保证输入足够清晰,翻译的准确性自然就无从谈起。落到实际使用场景中,翻译类硬件产品往往还要面临地铁、会场、户外等嘈杂场景,清晰收音的难度再次加强。

面对收音的核心痛点,讯飞AI翻译耳机搭载了一套“多感融合AI降噪系统”:拆解来看,作为一款开放式耳机,其配备了“气导+骨传导”麦克风,相比行业仅搭载气导麦克风的常规做法,骨传导麦克风加入后,支持通过用户说话时的骨骼振动来拾取声音,以此避免空气传播中的噪音干扰,同时还有两枚气导麦克风捕捉环境音和语音细节;借助ENC降噪算法,最终讯飞AI翻译耳机能融合空气与骨骼振动的两路传播音源,更大程度确保拾取人声时足够干净。

从产品哲学来讲,技术应用远非终点,只有对于细节不断打磨,方能决定产品体验的最终上限。例如,骨传导结构对于振动反馈极为敏感,因此耳机本身的振动一定程度会干扰收音效果,针对这个并不突出的问题,讯飞AI翻译耳机还特别定制了“骨传导回声降噪技术”,确保骨导麦克风完全收集到有效声音信号。还有一处细节是,讯飞AI翻译耳机采用了麦克风延长杆设计,以30度指向佩戴者,从而形成更佳拾音角度。

正如科大讯飞翻译耳机产品线总经理林会杰所言,从行业首创的多感融合AI降噪系统再到骨传导回声降噪等技术,我们的最终目的都是确保人声足够清晰。

“收音”看似不难,但不得不承认,真正做到“足够清晰”却在行业内所见寥寥,换言之,在同传的前置环节,凭借更全面的技术方案以及细节打磨,讯飞AI翻译耳机已经更大程度保证了信号源的清晰无误,为后续翻译工作做好了充足准备。

AI时代下,翻译耳机的更优解

收音的痛点被解决后,产品的最终效果就取决于翻译能力,其水准高低,核心就是对于翻译“快速与准确性”的经典权衡。

端到端语音同传大模型,即直接将语音信号一次性转换为目标语言,过程中不再需要“语音识别”、“文本翻译”等多步骤串联,将传统工作流革新为了“语音到语音”的解决方案。

因此当翻译链路被大幅简化后,再辅以蓝牙6.0低延迟以及专属同传服务集群缩短“排队”时间,讯飞AI翻译耳机的中英同传首响播报延迟低至2秒,大幅领先行业平均水准。翻译类硬件产品的延迟问题,在讯飞AI翻译耳机上得到了妥善解决,这亦是当下大模型改变传统产品体验的又一例证。

而针对翻译场景,端到端同传大模型的作用还不止于此。

同传过程中的核心难题是,逐字翻译能保证速度却语义零散,而逐句传译胜在连贯性,却又需要更长的等待时间,讯飞的端到端同传大模型再次给出了不同的使用体验。

原理上,讯飞同传大模型基于“意群”展开翻译。所谓“意群”,即“词”与“句”之间的翻译黄金单位,通过“意群”的切分,既能避免逐字翻译的生硬,也能保证核心意思不出现差错,是保证译文准确与流畅之间的更佳平衡点。

并且值得留意的是,讯飞最新的端到端同传大模型,已将主观体验提升至4.6分(满分5分),并在中英同传场景下新增“声音复刻”功能,仅需用户一句话,便可用自己的声音播报翻译结果。

最终落实到用户体验,讯飞AI翻译耳机离“双向实时翻译”再近一步,其摆脱了“你一句我一句”的机械式翻译场景,佩戴耳机的过程中,支持对话随时打断与回应,更大程度保证了用户之间的自然对话。换言之,同传大模型的复杂原理最终至简为了无感的跨语言对话。

具体到参数,讯飞AI翻译耳机共支持60种语言同传互译,并内置10万+专业词库,其中包括医疗、制造、金融、法律等高壁垒行业场景,因此不论是专业还是日常对话,都是讯飞AI翻译耳机的目标使用场景。

自研软硬件,讯飞AI翻译耳机的另一产品哲学

尤为关键的是,从硬件再到其背后大模型,讯飞AI翻译耳机均采用了全栈自研模式,相比市面上依托于第三方大模型的翻译类硬件产品,全栈自研模式是这款产品的另一关键产品力。

林会杰特别提到,针对骨传导等特殊信号,通用模型识别效果有限,而讯飞借助自研大模型,实现了与前端硬件的深度适配,确保了降噪后语音数据的高精度识别。

实现自研软硬件的协同适配,往往也是顶级科技公司的通用做法,苹果的iPhone即是典范:其自研A系列芯片与iOS系统构成了“软硬一体”的闭环生态,确保了系统资源的高效调度。相比之下,安卓阵营的芯片来源分散,其操作系统与多种硬件平台之间的适配就存在了更高的壁垒。

此外,借助软硬件的自研模式,讯飞AI翻译耳机能对用户反馈与需求作出快速迭代,并后续通过云端OTA不断完善耳机产品力,这也是使用第三方模型无法完成的体验。并且不容忽视的是,在使用翻译耳机的过程中,用户所产生的语音数据不会外传给第三方模型,在数据隐私保护上自研方案同样更具优势。

因此正如林会杰所言,“讯飞想要交付给用户的,不单单是具备大模型翻译能力的产品,更是一款拥有持续稳定体验、支持不断优化迭代的智能AI耳机产品。”

一款全面的“多语言耳畔智能体”

当产品配备强大的翻译能力后,其设计核心,即在于通过具体功能将此能力更大化。

讯飞AI翻译耳机支持通话场景,可实现跨洲际对话与多任务并行;而在面对面场景下,双方可各佩戴一只耳机并自动进行无按键、实时翻译;线上同传功能则兼具双语转译与录音复盘选项;旁听同传则可凭借5-8米定向拾音去适配会场需求。一句话概括,在强大传译能力的加持下,讯飞AI翻译耳机几乎覆盖了所有日常以及专业的同传场景。

翻译之外,这款耳机也拥有一系列AI功能,做到了“耳畔智能体”的产品定位。目前,讯飞AI翻译耳机已上线AI播客功能,支持用户上传文档或文章链接,耳机能够以风趣的聊天语气播报文章内容,而当用户语音唤出“小飞”时,耳机即可实现口语陪练、资讯查询等多元服务。

而回归到耳机本身,讯飞AI翻译耳机采用钛丝支撑与黄金重心设计,单耳仅重11.5g,经过实测,即便长时间佩戴后也能保证舒适与稳定性,外加动态音效调节、以及最长42小时的续航时间,因此即便作为日常开放式耳机佩戴,讯飞的这款AI翻译耳机也给出了不俗表现。

在界面新闻与林会杰的沟通中,其坦言,讯飞对于翻译耳机的终极构想是“更准、更快、更自然”,在自研多感融合降噪系统、端到端同传大模型以及AI等技术的加持下,这款全新的AI翻译耳机,就是讯飞实现无感自然、随听随译这一愿景的最新答案。

更深远意义在于,讯飞AI翻译耳机也不仅仅是那个最新答案,同样亦是一把由技术构筑的钥匙,承载着顶级科技公司对于“无界未来”的期许,相信终有一天,这把钥匙会打开那扇阻隔文明交流的古老大门。

文章版权声明:除非注明,否则均为音符科技网 wap.luzhiwang.com原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 10月LPR继续维持不变 业内:年底前有可能下调
  • 佩斯科夫:俄美首脑布达佩斯会面筹备工作尚未启动
  • 澎湃漫评|你中过1068短信的招吗
  • 隆华科技:股东通用集团拟减持不超0.97%公司股份
  • 媒体:中国打响“北京时间”安全保卫战
  • 胡锡进:特朗普压不住普京,转而压向泽连斯基
  • 上海徐汇滨江宅地楼板价每平近15万刷新板块记录,中海发展总价44.65亿元竞得
  • 加总理明确表态:若内塔尼亚胡进入加拿大,将对其进行逮捕
  • 号称要连任,内塔尼亚胡还能用加沙冲突“续命”吗
  • 香港证监会:支持市场推动数字资产基金及代币化基金的监管合规
  • 青海官方披露:顶风违纪的厅官旦增,被留置当日还在收礼
  • 国务院任免国家工作人员:陈军生任国家粮食和物资储备局副局长
  • 多地育儿补贴审核提速,10月底到12月有望陆续发放
  • 第1现场|在柬参与电诈韩国人超千,警方已逮捕59名嫌疑人
  • 美国37岁女子吸毒撞人致2名儿童死亡,让双胞胎妹妹顶罪,法院判了
  • 7天6板,600403,最新人气王!国内首款eSIM手机将发售,多家A股公司已抢先布局
  • 中国海军83舰编队圆满结束对泰国访问
  • 广东江门发布“22条禁令”,提醒各地防止和纠正过度防疫
  • 法国卢浮宫被劫背后透露出哪些信息?
  • 公募“淘金”热情不减:电子行业成调研焦点,海康威视最受青睐
  • 金丰来:黄金暴涨后的冷思考
  • 原国务院宗教事务局局长、党组书记任务之逝世,享年96岁
  • 贵州茅台王莉:正创新探索布局新产业赛道
  • AUS GLOBAL澳洲环球:中亚互联互通的机遇与挑战
  • 74岁香港影帝郑则仕多次被传去世,最新回应
  • 山东科技大学原校长跨界履新,曾庆田已任农银金科总裁
  • CWG Markets外汇:金价九连涨临里程碑
  • 汇绿生态11亿元收购:自掏腰包近3亿元连续抬高标的估值 后者身价15个月暴涨250%
  • 中央气象台10月20日18时继续发布大风黄色预警
  • FXGT:短期供过于求难改油市上行趋势
  • 赤峰黄金跌6.84%,机构净卖出2.50亿元,沪股通净买入1.41亿元
  • 英国拟授权军队当场击落“威胁军事基地”的无人机
  • GTC泽汇资本:全球能源转型的阵痛与机遇
  • 《沉默的荣耀》创作谈:坚守初心使命,讲好英雄故事
  • *ST春天连续3个交易日收盘价格涨幅偏离值累计达12%
  • 卧龙新能龙虎榜:营业部净买入2038.81万元
  • 外交部亚非司司长陈伟庆同卡塔尔外交部亚洲司司长贾哈拉举行视频会
  • 上实发展振幅16.61%,沪股通龙虎榜上买入4685.75万元,卖出2594.16万元
  • 神火股份:第三季度归母净利润同比增长26.39%
  • 用友网络(600588):中标中国医药集团有限公司采购项目,中标金额为430.00万元
  • 目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码