新闻


Google新机将实现隔空操控,或终结触控时代?

日期:2019-07-31 浏览量:1892



正常来说,谷歌Pixel系列新机在今年9月发布,在未公开之前,应该会对自家产品严格保密才对。但是今年有点不一样,由于谷歌开始押注硬件和云服务市场,这一次,谷歌决定采取积极主动的方式提前自曝Pixel 4,宁可自己来爆料,也不让其他第三方赚眼球。谷歌首次宣布,Pixel 4将是该公司新一代旗舰级智能手机。

首先,谷歌发布了一个预告片,揭示了一个独特的相机阵列和基本设计。在视频中,首先显示Pixel 4的解锁功能,一位女性的脸部接近手机的正面,意欲面部解锁。不久之后,她退后一步,用手在手机前挥动来控制音乐播放界面。

与此同时,谷歌在其官方博客揭秘,Pixel 4新机将搭载两大全新功能:

1、人脸识别:支持亚毫秒级的人脸识别解锁,而非屏下指纹解锁。通过新的算法和感应器结合,并没有使用上3D结构光景深技术。

2、隔空手势操控:Pixel 4将有一项名为“Motion Sense”的功能,也就是手势识别,使用Project Soli毫米波雷达传感器,隔空手势控制手机。

如果说人脸识别功能难以让人兴奋,那手势操控绝对是一项噱头十足的黑科技。如今,这个技术概念即将首先在Pixel 4手机上部署。这对当下所有电子设备厂商和消费者发出的一个重要预警信号:手势操作感应,很可能是近在眼前的一项未来交互科技。

挥挥手就能操控手机

2015年,谷歌先进科技与计划部门(ATAP)宣布开展一个新项目,代号为Soli,也就是现在所了解的毫米波雷达传感器,当时该项目致力于打造一个基于60GHz毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势,对机器进行操作,其精度可达亚毫米级别。当时,它作为一个黑科技概念走入公众视野,人们并未对其有特别长远的期待。

但是经过近五年的研发之后,现在谷歌决定亮出这项技术的真面目。谷歌自家“亲儿子”手机Pixel 4将成为使用Soli雷达系统的首个设备。提供全新的体感识别功能,结合传感器和算法,通过雷达检测,让手机可识别手势动作,可以控制手机,用户挥挥手即可切换歌曲,控制闹钟,静音拨入电话。谷歌表示,随着Pixel的不断优化,这些手势控制也会随之优化。

与市面上的绝大部分手势和动作捕捉技术不同,Soli使用的是毫米波雷达技术,而非2D、3D摄像头或者红外光。它的工作原理与大众所熟悉的雷达原理相同:首先向一个区域发射电磁波,再接收物体反射回来的电波,加以处理、计算和分析。

当食指和拇指一张一合时,会模拟出按按钮的动作,向目标发射电波;而雷达接收器将会收到信号,阻拦来自该目标的反射能量,来回摩擦下,模拟出旋转旋钮等执行性动作,而这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后,系统就能够识别出特定的运动模式,进而确定用户所做的动作,发出响应控制指令。

雷达技术不是触摸设备上的屏幕,而是实时跟踪(捕捉)动作,并通过所做的动作来改变其信号。将手放在传感器前方,凭空做出特定动作,比如打个响指,就可以控制带雷达的智能设备。它的操作演示是这样的:

还有这样的:还有这样的:
和这样的:和这样的:

有一种科幻电影的即视感。

Soli雷达传感器的作用,其实是从一个雷达信号本身,形成设备对手势识别的闭环链条。其使用的频率极高,波长很短,60GHz的频率对应5毫米波长。因此Soli传感器能量较为集中,方向性强,抗环境干扰,可以集成在封装内,轻易地穿过塑料外壳,捕捉毫米级别的手部动作变化,同时保证回波强度。

2018年末,美国联邦通信委员会(FCC)批准了谷歌的手势操作感应系统,“Soli项目”所申请的频段,允许它的毫米波雷达使用57-64GHz,峰值等效全向辐射功率(EIRP)可达13dBm。

在安全方面,谷歌也表示,Soli传感器数据也会在用户手机上处理,不保存或与其他Google服务共享,通过TitanM安全芯片的加持,保护并储存于手机本地(而不是云端)。另外,手势识别功能只会向部分国家/地区提供,暗指如果雷达频段与谷歌手势不匹配,或者有部分地区监管部门不批准的话,这项技术很可能不会在手机上执行。

类似功能其实在此前的三星Galaxy手机上就存在,但非常难用,用户需要打开相关设置,识别场景非常少,只能识别一些简单动作,复杂得无法实现。后来由于系统简化,将其功能删除了。

目前,谷歌官方暂未说明这项功能的应用范围,以及是否会在Pixel 4上预装,还是后续进行软件更新才会搭载,或许这个谜底将在10月发售时才会揭晓。

手势操控+人脸识别=更快解锁手机

相比手势识别功能,面部识别已经不是什么新鲜事了。前有iPhone X,后有OPPO Find X 3D结构光识别的移动设备,这一项新技术已逐渐成为了很多用户的日常所需,解锁、支付、下载应用,“一看就成”。

但谷歌表示,Pixel 4与其他手机的面部识别解锁技术不太相同。首先就是Pixel 4将结合Soli传感器执行操作,当用户的手接近到拿手机的距离时,Soli会主动启动面容识别传感器,并默认解锁手机的界面。随后,当算法识别到用户面部信息后会立即解锁,并支持以任意角度拿着手机,即使手机是反向拿起的。谷歌表示,Pixel 4的面部解锁也可以用于安全支付和应用程序身份验证中。

比较而言,iPhone上的苹果Face ID面容识别功能仅在手机垂直方向对准人脸的时候才有效,而True Depth景深摄像头系统位于手机顶部,遮挡都无法正常识别解锁,将设备完全抬起,以某种方式摆姿势,等待它解锁,然后滑动以进入主屏幕,这一动作略显繁琐。苹果在iPad Pro中使用了相似的面容识别功能,仅多加了四个方向的解锁方式,并未出现以雷达感应器工作的情况,这对于谷歌来说,是一项独家的“黑科技”。

图|传感器和相机可在Pixel 4中实现Motion Sense和面部解锁(来源:谷歌官网)图|传感器和相机可在Pixel 4中实现Motion Sense和面部解锁(来源:谷歌官网)



除此以外,谷歌还发布了Pixel 4设备顶部各种传感器和组件的样图,说明如何利用Soli传感器进行面部解锁的。Pixel 4手机屏幕上方有两个用于面部解锁红外相机,一个环境光/接近传感器,一个Soli雷达传感器,一个点投影仪和一个面部解锁照明灯。根据谷歌的说法,用户的面部信息会保留在Pixel设备的TitanM安全芯片中,并且永远不会离开用户的手机。

非常有趣的是,科技网站9to5Google报道,谷歌正在通过外包形式,提供了5美元的奖励支持,换取街上的人脸的面部数据,以帮助训练Pixel 4面部识别系统的模型。街上的人被要求从口袋中取出“修改后的Pixel3XL”,这台手机是谷歌外包人员递给他的,既能看到通知,同时还能获取面部数据。当询问这是什么时,谷歌方面的员工只简单说明,它是一款“未来”的谷歌产品。

而谷歌公司发言人在今天证实,换取面部数据的目的是确保Pixel 4可以使用多种面孔。包括生物特征、面部识别等,减少具有性别和种族偏见的相关数据。此前亚马逊推出的匹配面部算法Rekognition,因其存在种族偏见而受到抨击。ACLU(美国公民自由联盟)去年进行的一项测试发现,在扫描国会议员的照片时,Rekognition错误地将28个人与警察的照片进行了对比。亚马逊将结果归咎于算法校准不佳。而最终导致美国很多州政府陆续拒绝这项技术的落地。

Pixel 4除了使用上Soli雷达传感器的面部识别,以及众多数据模型处理的识别精准之外,Pixel 4的面部识别速度和算法是非常关键的。

近日,谷歌发布了一款专为移动GPU推理量身定制的轻巧且性能卓越的人脸检测算法Blaze Face。能够在设备上以200~1000+FPS的速度运行,应用在多个人脸识别的场景中,这个算法主打的是“超实时性能”。

图|红色代表Blaze Face输出;绿色代表任务特定的模型输出(来源:谷歌论文)图|红色代表Blaze Face输出;绿色代表任务特定的模型输出(来源:谷歌论文)

谷歌在Arxiv网站上发表了相关论文,介绍了这项算法技术成果。据悉,这套算法将基于AR技术来进行人脸检测,由于人脸与设备之间拥有不同的焦距,提前通过前置和后置摄像头的AR拍摄,构建面部模型,及时捕获物体尺寸和大小。Blaze Face将生成6个面部关键点坐标,包括眼睛、耳朵、嘴的中心和鼻尖,通过锚点方式进行连接,以便估计人类面容的旋转角度。这样的设置可以使面部识别可以在各种方向上正常运行。

在算法层面,谷歌采用一种混合分辨率策略代替抑制算法,以重叠预测之间的加权平均值估计边界框的回归参数,提高人脸识别的准确度和速度,通过连续输入目标轻微偏移的图像来量化抖动量,提高每次输入识别数据的精准度,缩短整个面部识别时间过程。

虽然谷歌并未在论文中指明,该技术是否会在Pixel 4上应用,但可以预见的是,这种算法正在被谷歌进行不断测试,可能会在今年的Pixel产品中首次实现。

谷歌的MadebyGoogle战略

自Pixel系列诞生以来,谷歌CEO“劈柴哥”(桑达尔·皮查伊)愈加重视谷歌自研技术和落地效果,从云服务和硬件产品的投入力度可见一斑。在刚刚过去的谷歌母公司Alphabet第二季度财报中,“劈柴哥”表示,随着Pixel3A在5月的推出,第二季度的Pixel等硬件产品的销售额,同比增长超过两倍。

相比之前一年一新机的策略,今年这种6月发布性价比PixelA系列新机,9月发布Pixel数字旗舰手机的策略得以顺利实施。从市场和宣传反馈上来说,“一年两款新机”的确是谷歌非常不错的战略选择。此前罗永浩在接受罗振宇采访时表示,在手机这个红海市场中,三个月是一款安卓手机的宣传和发售结点。

(来源:谷歌官方)(来源:谷歌官方)

2015年,当“劈柴哥”担任谷歌公司CEO之后,提出了“MadebyGoogle”的口号,通过AI技术+硬件+软件操作系统,形成没有代工厂标示的Pixel手机、PixelC平板,并且发布VR、智能家居等多款自主研发的终端设备,开启了自主生产、研发之路。

过去四年,从市场反馈上来看,新的Pixel系列设备开始有了更多的意义,通过软硬件技术的一体化生产,给手机行业带来更多的发展前景,形成安卓设备的终极标准。比如谷歌Titan和TitanM安全芯片,就是一个非常典型的例子。

图|Titan(左)TitanM(右)(来源:谷歌官网)图|Titan(左)TitanM(右)(来源:谷歌官网)

TitanM安全芯片在硬件规格上,使用ArmCortex-M3内核,采用自研的算法,其前身Titan芯片应用在数据中心场景中,而后,通过写入最新版的安卓操作系统,搭载在Pixel系列手机上,防止受到恶意软件或黑客的硬件攻击,还可以保存用户的密钥,安全可靠。

在今天发布的官方声明中,谷歌强调,“安全和隐私是Pixel的核心原则”。

为了保护用户隐私和安全,数据都会安全地存储在Pixel的TitanM安全芯片中。这一个Google自主研发的软硬件产品,更灵活地使用在Pixel手机当中。

从MadebyGoogle战略中,大众可以明显感知到,谷歌对于技术的不断探索,软硬件结合已经形成了该公司发展的“护城河”。但与此同时,隐私、垄断等词语也伴随着谷歌公司的发展,这实在令人担心啊。

不管怎么说,这次Pixel 4新机在技术上的亮点颇多,非常值得期待。外媒预计,Pixel 4将于今年10月发布。在此之前,Note10、新iPhone都将陆续登场。

手势操控功能,能否帮助Pixel 4虏获更多消费者的心,需要市场检验;但Soli技术落地,带来的更大猜想就是,它会不会引领一波颠覆式更新,革了触摸屏的命呢?

本文转载于   创事记 微博 作者: 麻省理工科技评论    




推荐新闻

谷歌支持建跨太平洋光缆系统 中移动参与管理2015-10-24

8月12日,谷歌日前宣布,公司对“FASTER”跨太平洋高速互联网电缆系统表示支持,该系统将在2016年第二季度前完成建设并投入运营。

谷歌推出新日历应用 可根据邮件帮你安排日程2015-10-24

【环球科技综合报道】据国外媒体11月4日报道,谷歌在日前发布了Nexus 9平板电脑和Android 5.0 Lollipop(棒棒糖)操作系统,但还有一项新推出的产品值得你关注——那就是新版谷歌日历应用程序。 在该应用程序中,谷歌添加了许多新的特性。它能自动检测你的Gmail(Google 的免费网络邮件服务)里安排的事务,并将其添加到日历里。它还能让你快速滚动浏览记录的所有事务。 新版日历应用采用了Material Design设计元素。谷歌在一篇博客里解释道,新版日历自动检测添加Gmail里信息的功能给大家省去了许多麻烦。人们无需花时间复制粘贴邮件里有关飞机、演唱会等行程的信息。而且一旦有新邮件显示原有的行程发生变动,该日历应用也会相应的自动更新。 新版日历应用省去了你繁琐的操作过程和大笔的时间。但是目前还只能在有Lollipop操作系统的设施上使用。不过用不了几周,人们就可以在装载有Android 4.1及以上操作系统的设备上下载使用该应用了。适用于iOS系统的谷歌日历应用也在处于研发中。

谷歌进军运营商业务会如何变革互联网?2015-10-24

谷歌甚至可以让整个市场朝着新式无线网络的方向演进。这些新网络可以在你没有手机通信网与WiFi时提供连接——或是大幅提高手机网络的速度。

火狐与谷歌默认搜索引擎协议或再续三年,费用高达13.5亿美元2020-08-26

据著名科技媒体ZDNet报道,火狐浏览器开发商Mozilla和谷歌的搜索引擎协议有望将再次延长三年的时间,新的协议将确保谷歌在2023年之前仍然是火狐浏览器的默认搜索引擎提供商,其年度使用费约在4亿至4.5亿美元之间。

揭秘谷歌最神秘部门:X实验室,一年烧钱40亿,却诞生了全球最疯狂的2019-01-27

英国著名魔幻小说《哈利波特》中,曾多次提到一个叫“神秘事物司”的地方:这里专门负责处理魔法世界难以解释的力量,职责高度机密,没人知道里面的人具体在干什么。 到神秘事务司必须通过升降梯,出升降梯的栅栏后,一个简陋的走廊通向朴素的黑门;打开这扇纯黑色门后,进入圆形黑色房间。十二扇一模一样、没有标记、也没有把手的黑色房门彼此隔开一些距离嵌在四周黑色的墙壁上。 这是小说里对神秘事物司的描写。

Google Chrome浏览器将深色主题添加到阅读器模式2019-10-03

长期以来,Chromium团队努力让Google Chrome浏览器的阅读器模式更具定制化,让用户可以自己更改页面字体,文字大小和背景主题。目前,这些定制功能已可用于Android上的Chrome浏览器,而不会使页面混乱。 同时,Google正在努力将阅读器模 式引入桌面版Chrome浏览器。