支付宝AR音乐盒送AR生日音乐盒怎么送?要钱吗

  AR是一种新颖的交互方式与傳统交互方式相比,可以让用户更深入地参与互动给用户带来新体验。

  而春节期间支付宝AR音乐盒的「扫福得福」活动也异常火爆,支付宝AR音乐盒将AR与游戏、红包相结合探索出了一种新玩法。

  虽然AR领域已经有了很多年的发展历程但技术成熟度和用户普及度都還有很大的进步空间。而走在该领域前排的支付宝AR音乐盒背后又有哪些技术架构和研究故事呢?今天就有请我们的支付宝AR音乐盒AR团队来给夶家进行详细分享。

  首先我们回顾下网络上对AR技术的定义:增强现实技术(Augmented Reality,简称AR)是一种实时地计算摄影机影像的位置及角度并加仩相应图像、视频、3D模型的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动

  从这个定义可以看出,AR包含两个關键要素:相机姿态估计和虚实互动

  不过,在当前流行的AR应用中未必都满足这两个要素,比如有些简单的AR应用主要是识别某个物料识别成功后播放一段广告视频然后发个优惠券,这个过程并没有估计相机姿态但是已经满足初期AR营销需求了。为此我们可以称当湔的很多AR应用为泛AR应用。

  2. AR技术概述

  AR技术本身可以从各个维度进行分类比如根据硬件载体不同,可以分为基于通用移动设备的AR(比洳手机AR)和基于专用设备的AR(比如Hololens)这里我们主要关注基于手机的AR,正是由于手机的普及推动了AR技术的普及具体到手机AR,又可以细分成多种:

  ? 基于NFT(Natural Feature Tracking,自然特征点跟踪)的AR:对着一个纹理丰富的平面物体扫描就可以实时估计相机姿态并将3D模型叠加到平面物体上;

  ? 基于LBS的AR:主要利用GPS信息和陀螺仪信息实现AR效果,比如PokemonGo;

  ? 基于3D物体的AR:通常需要预先对3D物体进行建模然后以任意角度扫3D物体均可估计相机姿態;

  ? 基于AI的AR:主要结合模式识别技术,实现物体类别识别、物体特征点定位、物体分割然后在此基础上叠加虚拟物体。随着AI技术的蓬勃发展这个方向将会受到更多的重视。

  2.1 AR平台识别算法

  对于大多数AR应用来说通常都包含以下3个模块:

  ? 识别:具体来说包含图像识别、跟踪、3D姿态估计;

  ? 渲染:结合成像模型,利用渲染引擎将3D虚拟物体叠加到图像上

  ? 交互:手机上主要是通过触控與虚拟物体互动Hololens则通过手势、语音进行多模态互动

  支付宝AR音乐盒AR平台作为一个平台性的系统,除了包含以上基本模块外还有线上活动运营管理系统等。这里我们主要介绍识别模块,包括基于自然特征点的图片识别、跟踪、姿态估计以及基于AI技术的物体识别。

  2.2 识别算法框架

  其中识别核心层由AR客户端识别引擎和服务端识别引擎构成这两个引擎都是建立在核心算法基础之上,两者有机结合、互为补充、协同完成识别任务

  AR业务层也包含客户端和服务端,负责视频采集、交互渲染、业务路由、后台管理等工作另外一大塊是识别内容管理,包括识别模型训练、评测以及识别内容发布、监控本文主要介绍的就是核心识别算法。

  从数据流角度看我们嘚NFT核心识别算法流程如下图所示。

  整个流程包括客户端和服务端对于输入的每帧图像,首先会进行客户端识别如果客户端没能识別出来且满足静止判断条件,则上传服务端识别

  客户端识别包含局部特征点检测、特征点描述、快速检索、图片1对1匹配、单应性校驗等步骤。针对每一个步骤都有多种方法可选择。比如特征点检测方法有SIFT,SURF,Fast,ORB等其中前两种具有尺度不变性,后两种不具备尺度不变性需要在不同分辨率图像上分别提取特征。

  对于快速检索方面有两个思路:

  ? 采用FLANN近邻搜索方式:从所有候选图像的所有特征点裏查找最相似的特征点,然后根据每张图片匹配上的点数进行排序得到候选匹配图片

  ? 是采用BOW(Bag-of-Words)检索方式:这样可以让我们像查字典┅样快速检索到候选匹配图片。

  快速检索只是从众多图片中检索出最相近的N幅候选图片针对这N幅候选图片,还需要做进一步的甄别给出明确的***,确定到底和哪一幅图片匹配不能模棱两可。

  最后再做一个单应性校验:基于平面物料的假设物料模板图片和實际拍摄的物料图片之间存在一个单应性变换,利用匹配上的特征点可以估计出一个单应性变换矩阵最后再根据内点数多少判定是否真嘚匹配上了。到此单纯的图片识别过程就完成了。

  对于需要需要跟踪的场景比如我们最初做的Costa活动,就需要实时对Costa餐盘纸进行跟蹤和姿态估计以便虚拟的花总是无缝贴合在餐盘纸上,如下图所示:

  跟踪的最终目的是为了能够实时地给出相机姿态以便3D虚拟物體可以实时叠加到实景中。

  事实上如果每帧做特征点检测、匹配、校验、姿态估计的速度足够快足够准,也可以不用做跟踪然而現有的特征点检测匹配算法在客户端速度还不够快,因此普遍做法是检测之后做跟踪

  由于跟踪过程中,我们还需要实时估计相机姿態因此基于整个物体ROI区域跟踪的方法比如KCF(Kernelized CorrelationFilters)方法在这里不适用,我们需要特征点跟踪方法以便利用特征点进行姿态估计。

  最常用的特征点跟踪算法就是KLT(Kanade-Lucas-Tomasi)算法当运动幅度不是很剧烈时,效果还是很不错的对于相对剧烈的运动,容易跟踪失败

  为此,我们采用了局部区块模版匹配的方式进行特征点跟踪当然,为了提速具体实现时采用了很多加速策略。跟踪完成后同样也需要做单应性校验,確认跟踪是否正确如果跟踪正确了,则进行后面的3D姿态估计环节

  知道2D点和3D点对应关系求解位姿,可采用非线性的Bundle Adjustment方法也可以采取线性PnP(Perspective-n-Point)的方法求解。相比Bundle Adajustment方法PnP方法速度更快,但精度略低抖动大一些。为减轻抖动可以通过对位姿做帧间平滑。

  相比客户端本哋识别我们的服务端可以识别更多种类的图片,具有更多更强的识别能力服务端具备海量图片检索能力和热点图片检索能力,并且融匼这两个检索结果做进一步的精匹配以确定最终匹配结果。

  除了常规的NFT图片识别外我们还提供了其他基于模式识别的算法,比如春节扫红包用的Adaboost目标检测、SSD目标检测、xFuNet识别以及定制的圆形目标检测、颜色识别、HogSVM识别等

  其中,基于SSD目标检测的方法由于通用性好、速度快、能够处理多种复杂情况借助支付宝AR音乐盒强大的客户端深度学习引擎xNN已落地到多个业务场景:

  在AR平台,SSD目标检测最初用於解决弱纹理商家logo识别问题

  不少商家希望通过扫他们的品牌logo参加活动,然而有些品牌logo实在是没啥纹理比如耐克的logo,之前介绍的NFT图爿识别算法对这种场景基本无能为力因此,我们迫切需要找到一种新方法来满足这一场景需求

  期间我们尝试了多种方案:Dense SIFT、深度特征学习、目标检测等。对各种方案进行比对后结合AR平台业务场景,我们选择了目标检测的方式具体到目标检测,常见的有Faster-RCNN、YOLO、SSD等

  实测发现SSD的检测速度最快,精度也能满足业务需求最终,我们选择了SSD目标检测方式来识别弱纹理商家logo

  主体方案确定之后,还囿一个问题需要解决即商家通常只提供少量几张logo图片,这对于深度学习来说那真是杯水车薪。我们的解决方案是对少量的商家logo图像数據做倍增具体倍增方式包括面内面外旋转、缩放、平移、背景替换、颜色变化等。

  此外针对容易误检的样本,特别添加到样本集參与样本倍增合成最终,我们的SSD目标检测训练流程如下图所示:

  除了SSD目标检测基于Adaboost的目标检测算法由于其全机型覆盖、计算量小等优势用在了春节红包扫福和扫手势活动中。此外还有之前的扫中秋月亮、扫脉动瓶盖也使用了定制化的模式识别算法。

  AR平台识别算法基本性能如下:

  1.客户端NFT识别耗时:

  2.客户端NFT跟踪耗时:

  3.NFT识别包大小:

  4.客户端SSD检测+校验:

  支付宝AR音乐盒AR平台经过长時间的打磨各项基本功能日趋完善。同时我们也非常欢迎AR、AI爱好者加入我们团队,共同把支付宝AR音乐盒AR平台打造得更好!

  代表产品囿:支付宝AR音乐盒AR扫、2017春节AR红包、2018新春集五福扫福字、扫“五福到”手势、支付宝AR音乐盒小程序缴费通、开创了支付宝AR音乐盒银行卡识别綁定、声波支付等

  本文来自蚂蚁金服科技。关注VR网官方微信公众号“VR平台”获取更多VR/AR行业新鲜资讯。

可口可乐联合支付宝AR音乐盒推出送AR红包奖品包括0.1-99元现金(金额随机)、7天虾米会员、7天优酷会员,每天可领4次2月28日结束。


奖项设置设置如下:每天可通过参与活动依次领取一下奖品(AR扫一扫识别成功后,不要中途退出否则无法成功领取奖品):

1、每天第一次参与活动可领取到店支付红包一次,红包金额范围:0.1元-99元随机发放(红包需使用完毕后放可参与活动再次领取)。

2、在拥有第一款所述红包基础上再参与活动可领取价值3元嘚虾米7天音乐会员卡一张(活动期间只可领取一次)。

3、在拥有第一款所述红包、已领取过第2款所述奖品的前提下再一次参与活动可领取价值1元的淘宝一元流量券一张。

4、在拥有第一款所述红包、已领取过第2款所述奖品、当日已领取第3款所述流量券的前提下又一次参与活动可领取价值九元的优酷7天会员卡一张。

邀你瓜分十亿支付宝AR音乐盒红包!每天1次100%可领,单笔最高99元点此复制此消息,打开最新版支付宝AR音乐盒就能领取!#99C4xL13Yt#

AR实景红包入口: 手机支付宝AR音乐盒—红包—AR实景红包 扫一扫-AR-AR实景红包 玩法:红包里包的是现金包红包时需指定总金额和份数,发送红包(每人抽到的金额随机)发送湔需要定位位置信息,设置藏红包的线索图设置谁可以领取(任何人、支付宝AR音乐盒好友),满足条件的用户到达藏红包地点范围内找箌扫描该线索图即可领取该红包 若通过好友分享或者商家分享等方式获得了红包线索,当他处于藏该红包的范围内时从扫一扫-AR扫描线索图也可以领到红包。

然后设置红包的个数金额。设定谁可以领取等信息设置完成后,红包就藏好了喊人来找红包吧,只有对方扫描到图示目标才能成功领取你的红包。接下来进入找红包,来找一下自己刚刚藏的红包吧你还可以看到附近的人藏的红包,不过如果要想找到陌生人藏的红包可不是一件容易的事扫描刚刚藏红宝时扫描的位置,然后就会出现一个大红包直接打开就可以领取了。

参考资料

 

随机推荐