VE视频个人开发游戏用什么引擎比较好SDK和锐动SDK对比哪个比较好

最近业余正在用U3D做一款手机游戏游戏本身打算是免费下载的,所以想接点广告不知道接哪个平台好一点,请各路大神指点一二

}

对于普通的视频拍摄特别是对視频大小进行定制裁剪的,iOS对多媒体处理的支持还算比较丰富Android原生Recorder类并不支持视频比例的设置。

a摒弃原生接口使用FFmpeg或OpenCV等方式进行录制

這类方法的缺点在于对开发者技术要求较高,FFmpeg和OpenCV移植麻烦多机型兼容复杂并且要求开发者一定程度的C语言功底,但是最难解决的问题是性能问题FFmeg和OpenCV都是开源方案,如果要真正达实用级别往往还需要优化定制这对于熟练于做Android展现的开发者来说完全就是一个新的领域。一般的开发者结果视频的码率(帧率)只能做到15fps左右;

在录制界面使遮罩的方式给用户一种1:1的错觉在预览视频时,使用FFmpeg进行视频裁剪洳果团队没有驾驭FFmpeg的能力,我个人建议使用这种方式对于视频录制功能来说相对简单,而且裁剪命令优化后基本可以可以做到视频预览┅遍也就基本裁剪完毕

a 原生api 输出视频不能达到高度定制,文件较大分辨率不能定制。虽然系统不断完善硬件编码api但系统版本过高,低版本得不到适配用户割舍量较大。

b 移植ffmpeg /x264 实现视频录制编译优化,库大小裁剪以及接口调用,对开发者技术要求较高另外由于开發工具不成熟,多种语言开发调试开发难度加大。

c android系统被多家手机厂商定制硬件设备差异也很大,适配市面所有分辨率以及摄像头工莋量较大测试压力也很大。

d 虽然录制对于原始yuv数据的处理都是基于简单平面变换但是由于手机性能参差不齐,对图像变换算法要求较高所以市面上大多应用输出视频帧率只能达到15-25帧每秒 左右,而趣拍的常年积累技术不断优化,输出视频帧率高达30帧每秒

e h264 /vp8 /h265 标准 算法复雜,输出视频可调参数过多而且较难理解。而趣拍输出视频达到让码率的高利用率同比其他平台输出视频,在相同码率情况下质量較高,而且都已接口化用户可以动态根据自身需求调整。

f 对于视频录制无论输出何种视频类型不限视频时长,都能够达到0延迟生成视頻可以跟原生api速度达到同样效果。

g 整体依赖库经过不断裁剪优化整体sdk很小。

安卓本地视频压缩除了FFmpeg之外目前还没有了解到有其他方案而且如果使用上面说到的b方案进行视频录制的话,本身就已经引入了FFmpeg那就不用白不用了,但是压缩命令的优化可是一门学问使用x264还昰mpeg4,码率分辨率,帧频文件大小等都会影响到压缩速度而且差别相当大。

a 针对软转码我们重写了ffmpeg的平面变换算法,引入更多优秀库速度优于大多数平台。

b 转码参数暴露更加全面输出视频无论分辨率,帧率码率,输出质量等等都可以根据用户特点使用接口调整

c 為了进一步提升导入速度,提升用户体验我们适配不同手机系统和硬件,软硬件转码无缝切换

d 即便提供较好服务,较高效果和效率整体库大小依然裁剪到足够小。

需要对拍摄好的视频进行二次编辑如滤镜,加背影的音乐多音轨合成以及在视频上添加贴纸和对整体視频进行MV的美化;

趣拍针对视频后期编辑有整套处理方案,及时显示效果提高用户体验,生成视频效率可观

目前对图片的滤镜很多,泹单独的视频滤镜SDK很少视频是多张图片的集合,将滤镜运用到多张图片上时有个性能的问题,如何达到实时滤镜的效果并保证良好嘚兼容性,这也是一个技术活(需要一整套完善技术方案);

如何通过将PC上视频编辑工作做出的效果运用到不同的视频中,是一个复杂嘚模板转化过程

a mv配置协议制定解析,mv实时显示整套方案成熟

b 素材覆盖,光效调整经过不断优化,效果较好

c gpu + cpu 处理模式,除了达到较恏处理效果之外使得cpu使用率较低。

d 素材及原始视频多系统版本兼容,多媒体格式兼容多视频尺寸兼容。

二MV素材的制作周期和成本嘟不短,如果确保这些MV素材是用户喜欢的这里也需要一个与用户不断磨合的过程;

视频上的纸贴不是简单的GIF,即使是GIF要贴到视频上去,也是一个比较复杂的转化过程;

同样贴纸的素材也是要通过找设计一个一个画出来的,这些都需要时间和人工成本 ;

是指在编辑界面把滤镜、MV、贴纸、背景音乐这些元素整合成一个单独的视频上,这里就用到C++的技术(FFmpeg主要用于裁剪、编码解码),需要对C++比较了解這里涉及以大量的算法,对合成速度以及安卓机子的适配也是要求非常高的;

趣拍云短视频SDK的合成功能在经过支付宝、钉钉、易信等大成鼡户的反馈修正以及趣拍自己1000多万用户的反馈验证,最后整合出了一个完善、稳定的版本;如果重新开始走样的设计花费的时间成本昰无法估量人。

}

感觉现在是个APP都得有个短视频社茭的需求连知乎都上线了视频功能。可能由于之前有过将近两年的创业与参与创业的经验我能够理解答主说的开发成本太高是指什么。在大公司的时候意识不到感觉Github那么大,啥功能不能直接拿轮子用可是一旦离开了内部基础框架支持得非常完善的大公司,从零开始構造一个应用的时候才深深感慨,靠谱的轮子真是太TM少了而靠谱又免费的就更少了。

另外Android上对于摄像头的兼容是一件非常蛋疼的问題,拍照尚且可以但录像这种,开源的免费库在兼容性方面普遍质量偏低更新也较慢,举个例子就是Android O已经放出俩月了以后github上几乎所囿视频库在新系统上都有兼容问题——拍照崩溃、摄像倒转、预览卡顿……这还只是系统版本的兼容,在Android上要是解决各式机型上的崩溃问題就更让人应接不暇(有兴趣可以移步这里,QQ空间的开发团队有过一篇不错的总结文 )

上述还只是视频采集部分,对于小视频功能而訁的第一步如果再加上视频编辑和音频编辑……iOS系统好歹视频采集部分没太多兼容的坑,滤镜也有系统支持起步阶段不至于从零开始,但屏幕分辨率兼容、流媒体编辑、图像识别之类的功能做起来还是相对耗时耗力。

然而Android……可以说在Android系统上做小视频这种功能真的昰万事开头难,然后中间难最后结尾难

「好SDK」的衡量标准

怎么衡量一个SDK可不可靠或者说怎么叫”比较好“?这种标准谁都能说一大堆”套话“但是真的有从零开始build过一个商业级应用这种经验的估计不多。而那些”套话“里很多部分是”有待商榷“的。比如包size当嘫谁都可以说包size重要,然而sdk的包size到底有啥重要的ReactNative是好SDK吧?全部引入大概8MB了之前看到过一个报道,几年前普遍接受的APP大小在10到20MB之间然洏现在已经扩大到了20MB到50MB之间了。

以下是几个我个人站在开发者角度上总结的比较重要的点,重要性从高到低

1、 必须是要已有「企业级APP」接入过

既然要接第三方的SDK,健壮性是首选——总不能一遇到Corner Case就分分钟崩给你看吧也不能有点啥问题只能接入方自己写补丁吧?(相信峩有时候帮SDK改bug的比自己写一个SDK都费事,说起来都是血泪)写个「玩具」APP,甚至只截几个Gif图扔Github上收割几千Star的项目并不能够证明SDK的健壮性。必须有企业级APP接入过比如本问题说的小视频SDK,至少得有个在小视频或者直播品类下进下载排行榜的APP接入过或者合作过吧?

这些信息都会在SDK官网上查到如果连这些信息都没有的SDK就别考虑了。

从经验上来看符合这种条件的APP一般相关配套服务都不少,比如文档完整、囿演示Demo、有开发交流群所以下文不再单独列出这些内容了。

2、 功能必须足够完善不要太多二次开发工作量

很多人觉得说,一个SDK必须要足够灵活支持足够多的自定义功能——然而实际上这是一种贪多嚼不烂的坏习惯。用第三方的SDK本身就是为了节省时间和人力花N天去筛選、测试、接入和学习之后,还要再花N?的天数去做二次开发?那跟从一开始就自己写一个有啥区别?SDK跟应用的关系又不是游戏个人开發游戏用什么引擎比较好跟游戏的关系,拿过来就能用不需要太多配置就满足需求,不要太多学习门槛就能用

如果是商业的付费SDK,能婲钱定制就不要自己再开发一遍尤其对于技术团队实力一般的公司,像视频处理这种高技术门槛的需求重新雇俩有经验的程序员,从招聘到面试到上岗开始预热再到产出,中间产生的公司成本绝对不比定制的钱少而等你做完这一套动作,隔壁竞品新功能都上线没你什么事儿了

之所以把性能放在最后,是因为性能其实相对上面两点而言并不是特别核心,因为其实性能是相对的在原生Android系统上性能恏的一比,结果到国内定制ROM上跑起来就crash的SDK比比皆是稳定和可用的前提下,再来探讨性能而且性能好不好属于非常容易判断的部分,跑個Demo开些高级功能看下内存抖动、CPU占用率和帧率,就可以了


小视频SDK的需求分解

对于上文「功能完善」的部分,一个小视频SDK应该有的功能臸少要包括:

  1. 特效录制:实时的美颜(眼睛放大、皮肤美白、瘦脸等)、采集特效(贴纸、字幕、滤镜)
  2. 视频编辑:转场特效、音频剪輯、视频剪辑、时间线编辑、播放编辑(倒放、慢放等)。
  3. 直播支持:实时抠图、上传、CDN等
  4. 上述内容支持自定义,或者SDK官方有素材库可鉯选择购买

实际上简单的概括起来就是——抖音有的功能最好都有,方便产品经理提需(chao)求(xi)

除了其它几个官方号的回答,作为開发者我推荐一下「美摄SDK」

  • 功能方面,基本上上述的这些功能美摄SDK都已经支持了。
  • 看接入方列表里映客和OPPO都是美摄的客户,兼容性囷稳定性方面还是有保障的另外官方客服反馈很及时10到20天出一个版本,有问题都会及时得到修复这个是我个人比较在意的。
  • 代码结构鈈错文档示例也很多。

除此之外我还有几个主观上的推荐理由:

第一,在SDK的架构方面可以说非常清晰:

  • 流媒体上下文是SDK中最基础的模块,它负责生成、保存并维护SDK个人开发游戏用什么引擎比较好运行时的上下文环境
  • 时间线由流媒体上下文生成,包含字幕动画贴纸鉯及多个音视频轨道,各模块协同工作以生成最终的视频效果
  • 其中每条音/视频轨道上可以添加若干个音/视频片段,片段上可以添加各种特效片段之间可以设置不同的转场效果

SDK支持摄像头直采和本地文件编辑两种模式在编辑过程中,用户可以对这些视频片段进行任意拼接放到对应轨道上,轨道再放到时间线上每一个轨道可以类比成一个图层,SDK个人开发游戏用什么引擎比较好对轨道渲染的顺序是自丅到上的各层轨道之间可以通过设置透明度等参数来实现一些特殊的效果,并且支持对时间线、轨道与音/视频片段添加特效包括音/视頻特效、转场、字幕、动画贴纸以及主题等,其中主题可以当成是上述特效的一个闭包

看起来感觉这个架构有点像OpenGL的Pipline思想,每一个环节嘟是生产线上的一个装配厂你可以对单独的装配厂个性化定制,也可以对单个装配厂选择不同的装配风格从代码结构上看非常「干净」。说起来容易其实哪怕是迭代了好多个版本的SDK,「干净」也是很难得的去年我这边读了很多第三方SDK的源码(主要是推送库),很多鼎鼎有名的厂商代码结构可以说是「一锅粥」一样,各种逻辑全都挤在一起

第二,示例、注释真的很贴心

我不多说截个图你们感受┅下什么叫满满的善意:

我知道知乎技术圈里吹的是“好的代码自带解释功能”,但是说实话80%的场景下这都是句屁话——人想把自己解釋明白都困难,人写出来的代码就能解释清楚自己了

我还是更推崇这种有什么坑,有什么需要注意的事项都写的明明白白告诉你的代碼,而不是看两行有点疑惑就要去Google踩了坑再回头吼WTF的代码。

性能测试的时候我没在自己脸上测,我是用……额……汤唯女神做的测试好不容易找了张女神的素颜照,试了下美颜全开(眼睛放最大、磨皮开最大、瘦脸也打开)大家可以对比一下效果。

好吧好吧别打我我换张图行吗。

我还测试了视频采集时候人脸识别+贴图功能下图的直方图是GPU的使用情况,可以说这个性能已经很好了大家有兴趣可鉯自己测试,Android手机打开开发者模式选择显示GPU使用情况,然后打开几个比较热门的小视频社交APP可以看到在大多数小视频应用的视频采集過程中,GPU的直方图都快铺满整个屏幕了

实测中发现,这个SDK的视频处理个人开发游戏用什么引擎比较好可以实现1080P的视频录制以及高清视頻定制化拓展,默认使用的是GPU的硬解编码在保证输出质量的情况下,视频文件会更小输出速率也更快,这也是上文测试时性能过关的┅个重要保障可以说性能上远胜过大部分还在使用FFmpeg做软解软编的SDK。

另外这个实时抠图+虚拟背景的功能也很厉害——感觉就是哪怕家里乱嘚一比也可以放心开直播了呢

有兴趣的可以看下这个官方演示,我家猫不是很配合我就不放自己的演示视频了……

第四, 人脸识别+手勢识别+粒子特效

对比几个小视频SDK之后发现各家拿出来的卖点都是“仿抖音”,但是美摄SDK里面有个粒子特效的功能让我眼前一亮目前还沒发现哪家的小视频SDK做了这个。

对于编辑粒子特效学习曲线也相对亲民。在屏幕上互动即可快速在视频中加入相应轨迹的粒子效果——讓我感觉最牛逼的是结合了手势识别和人脸识别这样就可以做到根据表情变化触发不同的粒子效果,或者可以在直播中随着主播的手指迻动在空间中滑出更多粒子效果

另外说一下,这个特效不是写死的接入之后也可以自定义。回调之类的代码接口都支持的不错

综上所述,推荐题主可以体验一下美摄SDK接入起来大概2分钟就能搞定,官方演示的Demo也是分功能做的好几个Demo按照自己需求看对应功能的Demo就可以叻。而且客服服务很不错注册完第二天就有专人电话回访使用体验,有没有哪些地方接入问题要不要联系开发咨询之类的。

}

我要回帖

更多关于 ar识别引擎 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信