Unite2017:游戏实时音视频应用与技术解析

联合2017上海,我公司陈飞本博士做了《实时音视频游戏应用与技术分析》的讲座。以下是演讲的重点。

陈,如果不是,毕业于香港城市大学,博士,负责基础音频技术,曾在基础技术部工作。IEEE杂志和会议评论。

首先,我们来看看手机游戏的几个发展趋势。这是我的三点。近两年手机游戏的发展有三个趋势。

手游电竞化这是2015年游戏电竞市场的规模,呈现出逐年递增、逐年回暖的态势。一些成熟的竞赛系统和盈利系统逐渐依赖于手机游戏。游戏已经有了比较完整的盈利体系。近日有消息称,2022年杭州亚运会加入了电子竞技项目。

手游社交化这是一篇关于去年比赛的报道。手机游戏玩家流失的原因中,社会性差的占32%。这可能有点出乎意料。社交在游戏中非常重要。社会化在游戏的传播和保留中起着关键作用。和朋友一起玩,认识新朋友,是玩家的强烈需求。游戏中是否有社交元素对游戏的发展起着非常重要的作用。狼人杀戮火爆,实时语音的交互方式与传统的打字交流方式大不相同。所以我们以前说重社交做不到深度社交,但是有了实时语音,这方面也有了很大的提升。

手游全球化我们看到,去年中国游戏出海总数不多,但与2015年相比,几乎翻了一番。

我们来看看这三个趋势,为什么游戏需要实时语音。让我们回到狼人杀戮,看一个小视频。

AMG SDK_狼人杀演示-玩online-Youku.com,看http://v.youku.com/v_show/id_XMjc2NzgwMjc0OA==在线高清视频这是一款需要实时语音的典型游戏,游戏内容需要对话。这类游戏在用户粘性和留存上有很强的优势。

让我们看看第二种游戏。我们最近比较了中重度MOBA和FPS游戏的走势。我们来看一个短视频。

AMG SDK_小米枪战演示-玩online-Youku.com,看http://v.youku.com/v_show/id_XMjc2NzgwMTgzMg==在高清视频在线,让人想起以前在宿舍玩CS的感觉。这款游戏的主要特点是没有闲手,左手控制行走位置,右手控制发射和技能,没有打字和聊天的方式。但是,这款游戏需要团队的实时配合。这时,实时语音功能是非常必要的。大家都知道要开启黑色发音,尤其是追求竞争优势的话,更应该开启发音。

实时语音+Unity的现状如何,达到商业标准了吗?

手机本身是打电话的设备,所以在扬声器、麦克风有天然的优势,这是手游商用实时语音很大的利好。我们现在用的手机和网络,与五年前相比,有云泥之别。现在手机的性能,加上现在4G、Wifi的条件,可以保证实时语音达到非常高的可用性。不会出现以前的卡顿或者机器跑不动的情况。现在出现了像声网这样的技术服务商。音视频的技术和网络的技术,包括游戏火爆后服务器的部署,这些是非常复杂的事情。有第三方的技术服务商,这方面功能只需要调用相应的API就可以。

统一和谐提供的软件开发工具包。com是一个适合所有人的插件。我们看到实时语音和Unity的结合已经到了非常容易的阶段。接下来,我将谈谈实时语音的技术难点。

1.收集并渲染。和Unity一样,我们需要支持很多平台,这一个比较复杂。我们将在Unity中使用很多音频插件,SDK需要处理与这些插件的兼容性。

2.预处理和编码解码。这一块需要深厚的技术积累和专业人士来做。SDK需要去除音效和噪音,保留关键的语音信息以便相互传输。

3.对于传输,需要找到什么样的路径,既能保证最小的延迟,又能保证24小时内服务可用。

想要做实时语音技术,这三块都会有比较大的投入。

第一,专业人才。音频编解码和信号处理一般由学术界做的比较多。对数学、统计分析、统计模型有很高的要求,需要专业人才。

第二,时间成本。模型适配和音频兼容是我们需要投入大量时间去解决的问题。

第三,行业经验。海量架构、高并发、高可用。能够提供此类服务的供应商必须有足够的经验。然而,符合要求的供应商非常少。千万用户同时在线,与小流量的一般服务体验完全不同。

下面介绍音网提供的Agora Mobile Gaming (AMG) SDK,在设计和产品功能上有四大特点:快速接入、稳定服务、自动扩展、全局监控。

快速访问

这是游戏开发者的核心体验。开发者很忙,每个游戏的进度都很快,迭代也很快,很难有时间去研究复杂的SDK。AMG也想让它在设计上变得极其简单。这个开源的Demo有一个快速入门的方法,还有一些特殊的功能,比如变声和虚拟环绕声。

服务稳定性

这是SDK服务商的核心能力之一,健全的网络保证了99.99%的高可用性。

自动延期

每个游戏开发者都希望自己的游戏爆炸。爆炸之后,你会遇到一个烦恼,服务器是否能赶上游戏的快速发展。首先,架构应该支持足够多的用户。第二,要支持万人对话;第三,有设备兼容性。比如在东南亚,可能有很多手机在国内没有见过,每个手机都有自己的声学设计。有些游戏在中国可能表现很好,在东南亚会出现回声和噪音的问题。这三点是音网SDK的内部优化和发展。

全球监测

声音网络为Dashboard提供了一些与游戏实时语音相关的指标,包括丢包、延迟、抖动等。

让我们来看看在设计AMG SDK时考虑了什么。

最低影响专注质量为游戏而生

最低影响

使用游戏语音SDK时,一定要考虑使用语音对原游戏的影响。如果语音开启时游戏FPS下降,肯定会对游戏体验造成很大影响。我们在设计的时候关注了这些信息,也做了严格的测试。还有游戏音频兼容性,优化了CPU、内存、功耗和SDK包体积。

注重质量

质量是我们的基础,所以我们在四个方面做了特别的优化:。

1.音质

如上所述,游戏现在正在变得社会化,每个人都想听到真实自然的声音,比如狼人杀人。我们还是想让用户觉得是在和小伙伴玩,而不是以前窄带手机的音质,这还不够真实。声学网络有自己独立的编解码器,用于32KHz超宽带高质量通信。

2.低延迟

声学网络的整体平均端到端时延为76毫秒。

3.噪声抑制

多人一起玩游戏的时候,只要一个人的声音出了问题,大家都会听到噪音。AMG会去掉不想传给对方的游戏音频,这涉及到更复杂的信号处理原理。

4.防丢包

以中国和美国为例。中美链接太长,不做链接优化很容易卡住。这就是声音网络的实力,SD-RTN全球虚拟通信网络,全球部署。

为游戏而生

自由模式和命令模式。小群语音,用户可以在免费模式下做;在大规模的团队作战中,可以使用指挥模式,由一个人指挥其余的人去听。有趣的变声。男声变女声,女声变男声的效果可以配合游戏设计一些新的玩法。听听声音。你可以通过声音判断你的队友是在左边还是右边。比如玩CS的时候,可以听一下脚步声来自哪个方向。这些功能在我们的软件开发工具包中提供。知道谁在说话,这些都有助于我们更好地融入游戏。其他功能

1.游戏视频。在游戏画面的基础上,展示玩家的视频,可以在棋牌游戏中使用。

2.语音信息和语音识别。这是AMG和讯飞开放平台的合作。玩家可以通过语音短信进行交流,也可以将语音短信变成文字,通过语音识别发送出去。

3.VR音频。我们可以通过多通道还原将VR场景相互传输。

4.现场游戏。我们的SDK有自己的直播模式,可以在游戏中直接直播。

基于声网的SDK开发如有疑问,请访问声网Agora问答版块与我们的工程师沟通。

posted on 2021-10-18  admin  阅读量:

最近更新

友情链接

版权信息

Powered by 2018国产精品99 @2018 RSS地图 HTML地图

2013-2021 版权所有