自研多模态追踪算法，PICO 为「手柄小型化」找到新思路

9月21日,PICO展现最近被泄露的新摇杆,并对外发布了其自研的Centaur多模态融合跟踪优化算法。

如早期碟照所显示,PICO新摇杆去除了外场灯环设计方案,而且没有进一步增加感应器。据PICO官方网表露,相比上一代摇杆,新摇杆净重缓解了约15g,相对高度减少了50%,而且还改善了内部结构电池和马达的部位,使之重心点更接近手掌心,握持手感更强,且兼顾细致振感。

一般,除掉包括LED灯的跟踪灯环,必定会减少手柄的跟踪精度可靠性。而PICO全新升级自研的Centaur多模态融合优化算法,融入了电子光学跟踪算法和CV模态分析摇杆跟踪优化算法,让摇杆在LED灯或降低处在盲点的大环境下,也能实时、合理跟踪。

自主研发Centaur多模态融合跟踪优化算法

VR机器的轻量和微型化,一直是XR领域探索努力方向。

根据目前领域热门的“电子光学跟踪+惯性导航”跟踪计划方案,开发设计没灯环摇杆要面临两个技术难题:最先,降低LED灯的总数,会影响到电子光学跟踪的稳定;次之,更低的LED观察总数,会大大增加摇杆复位与跟踪校正难度系数。但如果在摇杆上增加更多的感应器,这到底会提高建造成本,并提高手柄的耗电量速度。

*PICO 4系列产品摇杆与PICO 全新研发的没灯环摇杆

PICO全新升级自研的Centaur多模态融合跟踪优化算法,将电子光学跟踪算法和CV模态分析摇杆跟踪算法进行了有效融合。这有效解决了没灯环摇杆「鉴别难」问题,同时也为XR行业跟踪互动提供了新的思路。头戴显示器既可以通过电子光学跟踪优化算法鉴别摇杆上LED灯发出来的红外线,还能够在LED灯遭手臂挡住时,根据CV模态分析跟踪优化算法鉴别裸手指的特点,进而精确还原出手柄控制器的6DoF信息内容。两个优化算法融合摇杆本身具备的惯性导航,促使新摇杆不用增加更多的感应器,也可以实现平稳、精确的跟踪。

自主创新项目研发构思

为了能率先开展Centaur跨模态跟踪算法实用化,PICO成立了跨部门的科技攻关工作组,包含摇杆跟踪优化算法精英团队、裸手跟踪优化算法工作团队互动数据团队。经过长时间的论述后,最终实现了一套基于神经网络的跨模态摇杆跟踪架构,其融入了惯性测量单元(IMU)、激光传感器和手臂图像数据。

* PICO Centaur多模态融合优化算法 实体模型

在框架设计中,摇杆跟踪优化算法团队负责提高电子光学跟踪的稳定,并构建算法框架;裸手跟踪优化算法精英团队制定了SOTA端到端的6DoF位姿估计实体模型,提高手臂跟踪的稳定;而互动数据团队也可通过自主研发全维三维数据采集设备与高精度重建算法,提供各种标注数据。

这种追踪系统,不但能根据红外线 LED 完成高精密跟踪,还可以利用裸手检验“法连”。为了验证实际效果,PICO还与我们玩家进行了极限测试,在音游、摆动运动健身对跟踪精密度要求极高的场景中,该算法的跟踪效果都可媲美PICO 4的HyperSense振感摇杆。

构建多方位自主研发管理体系

PICO Centuar跨模态跟踪算法发布,归功于PICO在两大核心优化算法上的技术积累。PICO Neo3和PICO 42代新产品的打磨抛光,协助PICO 在电子光学跟踪行业积攒了扎实的技术。此外,PICO 在裸手跟踪上都持续探索,有关技术已位列全球第一梯队。PICO根据逐步完善端到端的时钟频率实体模型、上千万高精度测试集及其MTP带宽测试计划方案,在算法延迟时间与跟踪丢失率层面完成科技突破,游戏中、活动等迅速左右摇摆摇杆的场景下,带给用户顺畅且稳定的感受。

但这些技术革新身后,是PICO单独自研的高精密大数据平台,以及专业的测试平台。

例如为了能生产制造更加符合研发需求高精度裸手姿势数据信息,PICO一方面使用了业内领先的根据照相机阵型的自主研发多角度手臂姿势标明技术性,另一方面对于该特殊每日任务进行预复建,进一步提升手臂姿势数据信息的精度。这无疑为算法练习,提供了强大的支撑助推。

*PICO跨模态同歩相机系统 收集高精密数据信息