100小时荒岛直播,AI实时转写132万字:阿里升级Fun-ASR-Realtime

《100小时荒岛直播,AI实时转写132万字:阿里升级Fun-ASR-Realtime》7月6日,阿里升级语音实时识别大模型Fun-ASR-Realtime。作为一款流式模型,其识别准确率接近离线模型,首字延迟在百毫秒级别,长句尾字延迟低,支持16种方言和30种语言。在7月2日结束的影视飓风“重返荒岛”100小时直播节目中,实时字幕由Fun-ASR-Realtime全程提供支持,共识别出六万多条字幕,132万字。

语音识别模型分为离线和实时两类,离线模型可一次性输入录好的音频,准确度更高;实时模型边录边识,需又准又快,识别难度更高,适合直播字幕、会议实时转写、客服通话等低延迟场景。

全新升级的Fun-ASR-Realtime兼具速度和精度。在速度上,模型首字时延控制在百毫秒级别,话音刚落,文字即开始呈现,对于很长的句子,尾字输出的延迟也很低。以“重返荒岛”100小时直播为例,多人两岛互动、说话人频繁切换,赛制复杂还遇上了暴雨,观众可即时看到Tim和中国boy等嘉宾的发言字幕,增强了观看体验。

在准确率上,Fun-ASR-Realtime接近其离线模型Fun-ASR-Flash,面向泛 Context(包含历史对话上下文和实时热词)进行了专项强化,具备上下文理解能力。例如直播节目中Tim说出的“夜鹭”最初被误识为“叶鹿”,通过上下文补充“观鸟的朋友应该知道”后,立刻纠正。

《100小时荒岛直播,AI实时转写132万字:阿里升级Fun-ASR-Realtime》

在影视飓风“重返荒岛”100小时直播节目中,实时字幕根据上下文纠错,将“叶鹿”改为“夜鹭”。

相较于市面上的实时模型,Fun-ASR-Realtime支持的语音种类更加丰富,可识别出16种方言和30种语言。在八大方言区的16 种方言识别测评中,Fun-ASR-Realtime 的字符准确率平均为88.62%,在12类方言中领先,超越火山与腾讯相关产品。其中,在高难度的吴语系方言表现尤为惊艳:上海话和苏州话的字符准确率分别为92.41%和89.21%,号称“最难懂方言”的温州话,准确率为82.74%。与此同时,模型在福建话、客家话等复杂方言上也全面领先。《100小时荒岛直播,AI实时转写132万字:阿里升级Fun-ASR-Realtime》

Fun-ASR-Realtime在16 种方言识别测试中领先。CER为字符错误率(Character Error Rate),1-CER代表字符准确率。

在5 类工业中文和英文场景的语音识别测评中,针对复杂背景、远场嘈杂以及各种带口音的场景,Fun-ASR-Realtime依然表现良好,平均字符准确率分别为88.42%、91.58%,领先相关产品。
《100小时荒岛直播,AI实时转写132万字:阿里升级Fun-ASR-Realtime》

模型面向泰语等东亚、东南亚多语言场景进行了专项优化,识别准确率提升了 20%,适用于出海客服、国际会议等场景。

Fun-ASR-Realtime的离线模式模型Fun-ASR-Flash也已于近期上线。在全球权威 AI 评测平台 Artificial Analysis,Fun-ASR-Flash(榜单上为该模型曾用名“Fun-realtime-ASR-preview”)错字率1.7%,位列全球第一。

《100小时荒岛直播,AI实时转写132万字:阿里升级Fun-ASR-Realtime》
两款模型均已上线阿里云百炼。
Fun-ASR-Realtime:
https://help.aliyun.com/zh/model-studio/real-time-speech-recognition-user-guide

Fun-ASR-Flash:
https://bailian.console.aliyun.com/cn-beijing#/doc/?type=model&url=2979031

点赞

发表评论

邮箱地址不会被公开。 必填项已用*标注