欢迎来到池州三陆五信息科技有限公司- 未来科技

微信
手机版
网站地图

这个波钉钉搞音频实验室,真的没有擦热点-量子比特,

2023-04-13 09:03:55 栏目 : 网络动态 围观 : 0次

前脚Facebook改名为Meta,后脚微软也用会议软件制作XR新花样。

这波元的宇宙热太旺盛了,其中的真假虚实实在难以分辨。

此时,国内也出现了新消息。

钉钉正式设立音视频事业部,并设有由技术发电机冯津伟直接负责的钉钉蜂鸣鸟音频实验室。

此时,国际大工厂瞄准了挂着“原宇宙”标签的在线会议场景,钉钉这一举动很快引发了这种说法。

诶?从这个意义上说,我以后不会落后于原宇宙啊。

其真相需要进一步查明。

不多说了,我们马上联系到了新闻上出现的新实验室一号声学大学的冯津伟博士。

来吧,真假虚实,我们问到底。

实验室为什么在钉钉?冯津伟博士首先向我们确认,钉钉确实单独设立了音视频事业部,并设置了音频实验室,网罗各路博士研究员那一套。

这项语音视频服务的意图显而易见。但是,在业务方面的钉钉设置研究型实验室,真是令人意外。

核心问题是:钉钉建立这个“实验室”,具体是研究什么?你关注哪个方向的尖端技术。

围绕这一点,冯津伟博士向我们阐明了他和团队的一些“小目标”:

第一,针对在线会议场景的最大痛点和难点,将相应的最先进音频技术论文算法在钉钉中落地,以提高音频视频产品的体验和竞争力。

比如用目前常用的会议软件在高铁上,地铁里紧急开会,信号非常不稳定,说话人就是卡顿,往往会离线。

目前,蜂鸟音频实验室针对这种情况设计了“高铁模式”音频方案,技术开发了从声学原理、信号处理到软件硬件产品的全过程我们正试图真正解决在线会议网络的不稳定问题,包括采用计算机自带的麦克风等通用集音硬件的情况。

二是通过钉钉向行业合作伙伴开放经过验证的成熟技术。

例如,开发自己的音视频模块,将钉钉音视频会议的产品技术、AI能力等封装在硬件化的SDK中,将硬件连接到模块,可实现设备的智能化升级。

第三,进行XR等的“下一代音视频形态研究”。

这样看来,这条“蜂鸣鸟实验室”的研究路径,其实已经显而易见:已有研究成果——转化为产品结果——向行业开放——深化研究。

因此,钉钉被邀请到冯津伟新实验室:

该负责人本科、硕士分别毕业于南京大学无线物理专业、声学研究所、还是南洋理工大学电子信号处理硕士、弗吉尼亚理工大学音响博士。

在加入阿里巴巴之前,冯津伟在公认的世界级视频会议装置黄埔军校——宝利通(Polycom)中担任首席工程师。以他为中心的贡献者团队成功开发了世界上第一个音视频会议行业的智能相机。

他在声学和信号处理方面的双重背景可以说是全球音频研究领域的热点。

2017年加入达摩院后,冯津伟博士仍在继续进行声学和信号处理方面的研究。另外,不仅是学术研究,实际上从2017年开始,冯津伟负责阿里内部音频和音响相关算法的结合应用。

最经典的落地案例是支持F1音视频一体机的构建,并将语音3A算法(主要负责语音降噪和增益)应用于智能硬件。

此外,远程教育的“特别课”项目,钉钉音视频一体机的“F2”项目……背后还有冯津伟团队音频技术方案的身影。

结合这两种信息,建立钉钉实验室这一看似不合常理的措施也得到了更明确的解释:

蜂鸣鸟音频实验室的主要应用型研究——研究方向与钉钉音视频场景结合更紧密。

冯津伟博士说,这也是云钉一体给钉钉带来的更深的价值,从横向支持到进入商业。

“钉钉这种独特的商业环境,任何技术都能被用户直接感知,因此蜂鸟音频实验室的风格介于技术的理想主义和现实主义之间。我们的定位是研究兼顾先进性和落地性的‘半步先'技术。”冯津伟进行调试。

而且具体到团队自身,研究的基础已经具备,实验室的建立也可以加速技术的集约和落地。

说到这里,关键问题也可以展开解答。

这个时间节点针对“下一代音视频形态研究”明确提出了与产品的结合是如此紧密,但是钉钉真的如外界推测的那样,在微软Meta之后,会加速进入元宇宙吗。

博士的回答很明确:不。

他指出,XR是蜂鸟音频实验室的研究方向,但实验室的核心目标还是以音频基础能力建设和创新为中心,最需要优先考虑的还是钉钉改进音视频软硬件体验。

进一步总结一下,钉钉蜂鸟语音实验室成立的真正原因是比想象中还要朴素——

音频是一种技术“仪表盘”,无论是从公司业务的角度还是从整个行业来看,都必须完善。

冯津伟从行业角度看,音频技术在会议场景下实际上还有很大发展空间。他还说:“音频技术开发的优先级应该大于视频技术。”。

他引用了音频视频行业的一句名言:

包括弱网场景、3D音频和个性化降噪的音频技术,其实是下一代交互技术(例如,与原宇宙紧密结合的XR)的核心体验点。

但就目前的现状而言,Meta这样的大型互联网公司在视频技术上有大量储备。相比之下,大多数会议软件在音频技术方面投入相对较少,总体上还没有做出很大的动作。

最常见的场景之一是会议,我们在开视频会议的时候,如果使用手机、电脑自带的麦克风,你会发现稍微远一点就听不到了。有几个人在讨论,AI速记软件太傻了分不清,出现了看不懂的文字纪要。如果会议室的余音太大,别说AI速记软件了,就是受回声的影响,人也听不懂。

这是音频研究中最基础的拾取问题。无论是视频会议还是语音识别,只要你不对着麦克风说话,你就会面临这个挑战。

事实上,异地拾音一直是行业的难点和痛点,挑战了封闭空间中的混响、噪音和回声。其中,消除混响曾被美国工学院列为“现代未解决的十大工程问题之一”,学术界和工业界已经研究了几十年,但目前仍没有完美的解决方案。

因此,蜂鸟音频实验室接下来重点做的是突破更基础的音频技术,从这个角度将钉钉、钉钉合作伙伴转变为产业现状。

背后的具体技术渠道也可以从团队的研发储备中推断出来。

例如,在上述针对远场拾音的麦克风阵列技术中,主要负责声音信号的定位和提取。仅去年一年,“冯津伟”团队就与“达摩院”语音实验室的其他合作者一起,在INTER-SPECH等国际音频峰会上,发表了系列6篇论文,均与自己研究的“定向差分麦克风阵列”技术有关。

该研究首次结合麦克风的声学特性和差分波束理论的优势,明显改善了语音低频收音的鲁棒性,明显提高了差分波束在低频段的白噪声增益,使远场收音的语音识别精度提高到行业领先水平。

另外,以差分阵列为载体,冯津伟团队与相关团队合作,利用行业第一个差分阵列计算空间方位信息,提出了角色分离的技术框架。他还积极参与构建业界第一个基于定向麦克风阵列的大规模远场语音开源数据集。

还有语音3A算法。

冯津伟团队让达摩院Fullband3A在钉钉中迅速落地,该算法深入优化了会议拾音的三个核心能力:

优化AGC。在实测3米处,10dBFS的声音增益到22dBFS,即使在离本体5米的地方说话,对方也能很好地听到。优化AEC。可有效去除99%扬声器外放音传播空间后产生的回声,人声失真控制在3%以内;适应房间,智能检测房间的混响,实现双重透明性。优化“噪波抑制”。演讲人旁边的人的声音和会议室里常见的空调、鼠标、键盘、翻页等,可以抑制特定的噪音,传递更清洁的声音。该算法目前也适用于钉钉F1视频会议复合机和合作伙伴产品。多亏了这个算法,声音的质量和主观的盲测试的MOS等的得分,压倒着同等级的视频会议机器。可以说在竞争产品中性价比很高。

技术准备明显到位,思路明确。从这个意义上来说,“钉钉”这一音频/视频技术的动向似乎值得重新评价。

说真的,元宇宙是现在最受欢迎的技术术语,钉钉的会议场景,正是大企业盛行元宇宙应用的地方。

配合技术和场景,背靠阿里这样的大集团,按照理念抢占生态学,听起来像是业界的常识。

但是,也许正是在概念纷飞的时候,你才应该冷静地思考什么是用现有技术直观地改变用户体验的东西,什么是业界最需要的技术进步。

钉钉不仅仅是音频视频,重点选择了音频这条“难看”的路线,这看似与趋势背道而驰,但反过来说,它明确了自己的站位,并没有显示出技术底气。

说到这里,吃瓜子已经结束了:钉钉确实增加了音频/视频。但是进入元宇宙——还没有到那种程度。

但是,虽然不是指元宇宙,但是音频等技术也是保证元宇宙交互体验的基础。[钉钉]声视视频重点放在开放建生态系统上,或许反过来可以在元宇宙未来的风向中站稳自己的生态位置。

同时,冯津伟作为音频实验室的中间阶段,强调着与钉钉和达摩院的语音,视频,视觉,XR等的关联实验室的联合更加加深的事。因为是同一个研究者,所以有共同的话题。

但是,钉钉的选择,唤起了新的思考。

乘着热潮,如果没有对行业本质的洞察力,就有可能在越来越拥挤的路线中迷失方向。

必须是stop doing list。

你觉得呢

在One More Thing最后的最后冯津伟博士给了我如下的信息

钉钉在建立蜂鸣鸟语音实验室阶段,人才需求旺盛。

有兴趣的人,请一定要投一下。

展开剩余内容

分享到:

猜你喜欢

  • b2b网站策划书_b2b策划案

    b2b网站策划书_b2b策划案大家好,今天我来给大家讲解一下关于b2b网站策划书的问题。为了让大家更好地理解这个问题,我将相关资料进行了整理,现在就让我们一起来看看吧。文章目录...

    2024-10-22 企业 网站
  • 浙江高端网站_浙江高端网站有哪些

    浙江高端网站_浙江高端网站有哪些好久不见了,今天我想和大家探讨一下关于“浙江高端网站”的话题。如果你对这个领域还不太了解,那么这篇文章就是为你准备的,让我们一看看吧。文章目录列...

    2024-10-22 网站 浙江
  • 做酒的网站_做酒的网站有哪些

    做酒的网站_做酒的网站有哪些希望我能够回答您有关做酒的网站的问题。我将根据我的知识库和研究成果回答您的问题。文章目录列表:1.酒仙网CEO郝鸿峰的电商百亿梦想2.有没有关于介绍...

    2024-10-22 中国 酒类 酒仙 网站
  • 索尼手机软件_索尼手机软件商店

    索尼手机软件_索尼手机软件商店下面,我将为大家展开关于索尼手机软件的讨论,希望我的回答能够解决大家的疑问。现在,让我们开始聊一聊索尼手机软件的问题。文章目录列表:1.索尼的手机...

    2024-10-22 手机 索尼
热门标签