抖店动销，抖店体验分提升。抖店任何业务可添加微信：ad07668
（映维网Nweon2022年09月21日）对于MR眼镜/头显，一个可以想象的功能是视频录制，亦即捕获从用户视角看到的混合现实画面。在名为”Gaze-drivenrecordingofvideo“的专利申请中，苹果就介绍了
（映维网Nweon 2022年09月21日）对于MR眼镜/头显，一个可以想象的功能是视频录制，亦即捕获从用户视角看到的混合现实画面。在名为”Gaze-driven recording of video“的专利申请中，苹果就介绍了与之相关的功能。
苹果指出，在MR视频录制中，系统可以记录用户所能看见的一切。其中，用于说明录制区域的方框可以称为录制框。在一个实施例中，用户可以一直静态地注视感兴趣的内容。在另一个实施例中，用户视线会不断游动。为了录制从用户视角看到的画面，录制框必须跟随用户视线移动。所以，可以根据眼动追踪来实现录制框的移动。
图1A是在静态感兴趣区域中记录视频的过程100。过程100将视频帧序列（110、112、114和116）作为输入，并记录视频帧的相应部分（120、122、124和126）。视频帧（110、112、114和116）可以包括使用一个或多个图像传感器捕获的视频数据，和/或显示给用户的虚拟环境的虚拟对象的图像。在这个示例中，视频帧的部分（120、122、124和126）对应于静态感兴趣区域，其中录制框每个都是位于相应视频帧（110、112、114和116）中心的像素矩形。
从视频（110、112、114和116）的帧中提取部分（120、122、124和126），并将所述部分（120122、124、126）记录为静态视图视频130。例如，静态视图视频可以是mp4文件，并且记录静态视图视频130可以包括将视频帧的部分（120、122、124和126）作为输入传递给编码器进行压缩。
然而，静态视图视频130在捕获和/或呈现视频的原始帧（110、112、114和116）期间可能无法考虑用户的视线或焦点的变化，所以可能无法准确地表示用户的混合现实或虚拟现实体验。
固定录制区域并不理想，因为用户感兴趣的内容可能发生在录制框之外。所以，可以使用眼动追踪传感器的视线数据动态地识别感兴趣区域，并且可以随着用户的视线移动而移动录制框。
在一个实施例中，可以确定感兴趣区域和录制框，使得视线始终处于录制框的中心，直到录制框包含在原始帧中。例如，如果视线偏离视频帧的边缘或更远，则可以将录制框设置在帧边缘上的最近位置，其中录制框依然是全尺寸。录制框可以具有一系列不同的形状，如椭圆形、六边形或矩形。
图1B是在注视驱动感兴趣区域中记录视频的过程140。过程140将视频帧序列（110、112、114和116）作为输入，并记录视频帧的相应部分（150、152、154和156）。在所述示例中，视频帧的部分（150、152、154和156）对应于不同时间的感兴趣区域，其中记录框每个都是像素的矩形，其中心位于视频帧（110、112、114和116）的捕获和/或呈现期间用户的注视方向的当前估计附近。
例如，在时间上对应于帧110的用户的注视数据可以指示用户在对应于视频110帧的左上部分的方向上注视。基于所述注视数据，可以选择视频110帧中的部分150进行记录。例如，对于在时间上与帧112相对应的用户的注视数据，其可以指示用户在与帧112的右上部分相对应的方向上注视。基于所述注视数据，可以选择视频112的帧的部分152进行记录。
又如，对于在时间上对应于帧114的用户的注视数据，其可以指示用户在与帧114的左下部分对应的方向上注视。基于所述注视数据，可以选择视频114的帧的部分154进行记录。
又如，对于在时间上与帧116相对应的用户的注视数据，其可以指示用户在与帧116的右下部分相对应的方向上注视。基于所述注视数据，可以选择视频116的帧的部分156进行记录。
在一个实施例中，基于注视数据确定的感兴趣区域以及相应的部分或记录框可以在视频帧序列（110、112、114和116）中的相邻帧之间显著地跳跃，并可能导致抖动地记录用户的混合现实或虚拟现实体验。
从视频（110、112、114和116）的帧中提取部分（150、152、154和156），并将所述部分（150、、152、、154和和156）记录为抖动视图视频160，并且记录抖动视图视频160可以包括将视频帧的部分（150、152、154和156）作为输入传递给编码器以进行压缩。抖动视图视频160可以说明在视频捕获的用户注视或焦点变化，但由于用户关于场景的精细快速眼睛运动和/或用户注视数据中的噪点所引起的抖动，后续的浏览体验可能并不愉快。
所以在一个实施例中，可以运行平滑或稳定算法来处理来自注视数据的注视中心点序列，以避免记录视频中的抖动，从而获得更令人愉快的记录。
图1C是用于在具有平滑注视驱动感兴趣区域的中记录视频的过程170。过程170将视频帧序列（110、112、114和116）作为输入，并记录视频帧的相应部分（180、182、184和186）。
在所述示例中，视频帧的部分（180、182、184和186）对应于不同时间的感兴趣区域，其中记录框每个都是像素的矩形，其中心位于视频帧（110、112、114和116）的捕获和/或呈现期间用户的注视方向的平滑估计附近。
例如，对于在时间上对应于帧110的用户的平滑注视估计，其可以指示用户在与帧110的左上部分对应的方向上注视。基于所述平滑注视估计，可以选择视频110的帧的部分180进行记录。
又如，对于在时间上对应于帧112的用户的平滑的注视估计，其可以指示用户在对应于部分182的方向上注视。其中，所述部分182稍微位于帧112的中心上方和左侧，这可以是在接近帧112的时间的时间窗口内从注视数据的注视位置的插值。基于所述平滑注视估计，可以选择视频112的帧的部分182进行记录。
又如，对于在时间上对应于帧114的用户的平滑注视估计，其可以指示用户在对应于部分184的方向上注视。其中，所述部分184稍微低于帧114的中心并位于帧114的中央的右侧，这可以是在接近帧114的时间的时间窗口的注视位置的插值。基于所述平滑注视估计，可以选择视频114的帧的部分184进行记录。
因此，基于平滑的注视估计确定的感兴趣区域，以及相应的部分或录制框序列，可以在视频帧（110、112、114和116）的不同区域之间视线平滑过渡，而感兴趣区域的这种平滑过渡可带来混合现实或虚拟现实体验的平滑记录，从而产生平滑的浏览体验。
苹果指出，从视频（110、112、114和116）的帧中提取部分（180、182、184和186），并将部分（180182、184和186）记录为平滑视图视频190，并且记录平滑视图视频190可以包括将视频帧的部分（180、182、184和186）作为输入传递到编码器以进行压缩。平滑视图视频190考虑了在捕获和/或呈现视频的原始帧（110、112、114和116）期间用户的注视或焦点变化，同时抑制注视数据中的噪点并提供用户混合现实或虚拟现实体验的有用表示。
图2是记录注视数据200的示例图。用注视中心与帧数绘制注视数据，以显示在混合现实或虚拟现实体验期间测量的注视点演变。为了简单起见，将注视中心表示为一维。实心黑点表示来自具有视线追踪算法的视线跟踪传感器的视线中心数据点。空心圆点表示已使用时间滤波来内插附近数据点，从而确定平滑注视估计的内插注视位置。图2示出了注视数据的线性插值。当帧的对应注视数据离附近时间或帧的数据太远时，插值的注视位置可用作帧的平滑注视估计。绘制在图上的曲线示出了一系列注视中心估计的示例，其可用于识别感兴趣的演变区域。
相关专利：Apple Patent | Gaze-driven recording of video
名为“Gaze-driven recording of video”的苹果专利申请最初在2022年5月提交，并在日前由美国专利商标局公布。
抖店动销，抖店体验分提升。抖店任何业务可添加微信：ad07668
如若转载，请注明出处：https://www.zg8899.cn/25114.html
相关推荐
-
关于我转生变成史莱姆这档事第二季（关于我转生变成史莱姆这档事游戏）
粽子飘香的五月，也是栀子花开的季节。期待五月，期待栀子花开。喜欢栀子花，是我在上小学三年级的时候。那时我家并没栽的有花，也不知道有种花叫栀子花。记得一次上学的早上，我的同桌带了几朵栀子花到学校，是放在书包里装来的。那时的书包都是用布自己手工缝制的，除开装书
-
Mac也能用，传输速度最高10Gbps，ORICO_M3U7-G2-G05分线器体验！mac_GPU能干什么？
接口不够用，应该是绝大多数笔记本电脑用户所遇见的共同问题。而想要解决这个问题，准备一个多口分线器无疑是最合适、也是最有效的办法。倘若需要的接口比较多，那么就直接选7口或者10口的分线器。这不，前两天我入手了
-
2022年中国男性光棍直逼4000万，YUU热热子二代带你揭示深层原因！百度热搜榜
曾经一度霸屏热搜的“中国3000万光棍找不到老婆”又双叒叕被刷新了，2022年将有近4000万光棍娶不到老婆。也就是说，平均5个适婚男性中就有一个要打光棍，中国男性婚恋形式极其严峻！除了众所周知的男女比例失衡外，导致目前困境的还有哪些深层次的原因呢？下面我们就来看一看：重男轻女的思想遗毒所致五千年男耕女织的封建社会造成了重男轻女的传统，因为当时男性是主要劳动力，而且有学识的还能入朝做官
-
中欧商业评论杂志社（中欧商业评论杂志总编）
“死亡”是一个人类不断追问的话题，中国人避讳谈及死亡，认为这是阴郁的、不吉利的事情。其实，我们对人的想象太过单一了。我们在谈论死亡问题的时候，不会只是失落和悲伤。讨论这个问题，会为人打开一个重要的生命面向。分享|袁长庚人类学家、南方科技大学助理教授石
-
明日运势_12月12日星期一_星座运势，天秤座女今日运势科技紫微网
白羊座白羊座，今天在面对一些障碍后，你将能看到舒适的环境，你会用很好的方式利用这一天，在工作里轻松完成任务。感情方面，你会很高兴与伴侣分享你的感受。财务上如果今天进行投资，将为将来带来丰厚的利润。今天是一个购物狂欢的
-
风险提示_全国本土新增104525！社区001为什么倒闭
少出门，多居家，外出旅游风险大9月19日0—24时，31个省（自治区、直辖市）和新疆生产建设兵团报告新增本土确诊病例104例（贵州41例，四川33例，西藏16例，天津3例，云南3例，黑龙江2例，山东2例，浙江1例，河南1例，湖南1例，重庆1例）；新
-
两个人老是吵架很累该怎么办（二个人总是吵架很累）
为什么夫妻经常会吵架呢？大部分都来自于沟通。今天我教大家几个避免争吵的沟通法则。其实沟通，大家不要把它想得很复杂，注意几个小方法就可以了，你想想它有你化妆复杂吗？又是涂粉底液又是擦粉，搞这个搞那个的。有
-
巩俐的过往情史，爱得深，恨得深，巩俐星座血型
巩俐一个最有骨感的东方美人胚子，在演艺事业上非常成功，但是在家庭生活上却没有那么美满。巩俐的第一段恋情是作为小三倒追有妇之夫张艺谋。当初张艺谋对妻子肖华说：我和巩俐爱得天雷地勾地火。在二人排除万难走到一起后，巩俐向张艺谋提出结婚，当巩俐对张
-
用户洞察的方法（用户研究的常见方法）
一个典型的用户洞察研究项目主要包括需求的沟通与评估，研究设计与执行，成果输出三个关键环节。需求的沟通与评估关系着研究命题的价值，毕竟一个没有太大价值的研究命题也不会产生有价值的用户洞察；研究设计与执行是用户信息的收集过
-
999感冒灵广告词暖暖的很贴心女孩（999感冒灵颗粒广告词暖暖的很贴心）
你一定听过，白天吃白片不瞌睡，晚上吃黑片睡得香！这句广告语，在白加黑问世之初，中国的感冒药被外资品牌占据了大部分市场，如康泰克，泰尔克，康德等等品牌，再加上999感冒灵等民族品牌的竭力厮杀，市场不可谓不是红海郎因四季而白瞎