HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能

迷南。 2022-12-11 15:21 685阅读 0赞

### 文章目录 ###

*  HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能
 *   *  引言
     *  基础环境
     *  安装DotNetWinRT包
     *  设置MRTK配置文件
     *  配置光标指示点
     *  效果图
     *  现在的中文博客很少，公司里面开发都是内部的开发手册，不往外出。自己踩坑很难受，在CSDN搬了两年砖，好歹能自己做个砖头了。 觉得能帮忙避坑的话帮忙点个赞吧，形成个闭环，还能有点心理安慰。光nuget就坑了我两天时间！！！！！！

# HoloLens2初入——Unity远程调试时启用眼动追踪和手势追踪功能 #

## 引言 ##

内容：

*  在Unity中设置眼动追踪的工程环境 ，
 *  实现在电脑端Unity 运行，并全息投影到HL2的情况下，可能返回眼动数据和相关的功能。  
    起点条件：
 *  在Unity中已经加载好了MRKT的包，并且导入了MRTK的场景  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center]

## 基础环境 ##

*  时间：2020-09-25 16.40
 *  PC系统版本： Win10 专业版 内部体验版
 *  VS版本： 2019社区版
 *  头盔机型：Hololens2
 *  HoloLens2系统版本： 内部体验版  
    \- Unity 版本：2019.3.4  
    **(这个版本在全息投影的时候对手数据的更新有bug问题，在2019.3.7版本、2018.4.19版本之后修复了这个问题) 建议还是使用最新的Unity，官方的文档有时候更新比较慢，很多问题没有描述到）**
 *  Unity 版本：2019.4.9 （2020-09-29 14.13修正)
 *  WIN SDK ：19041.1.191206
 *  MRTK版本：2.4
 *  CUDA版本：10.2
 *  参考来源  
    [MRKT文档][MRKT]

> PS: 更改了题目名称重新发布，因为发现百度搜索的仍然是旧的题目。（2020-10-03 21.40）

## 安装DotNetWinRT包 ##

*  安装NugetForUnity 需要用Nuget来下载DotNetWinRT包  
    **NugetForUnity是Unity的一个插件。可惜的是，在Unity中，国内的网无法访问NuGet包源，即便是更换包源也是没有效果，我更换了好几个包源，仍然会报访问超时，或者访问不存在等错误，建议大家不要在这个地方继续踩坑了。坑我两天，最后实在没办法只能求助国外的女朋友，在她的电脑上配置好了项目然后拷贝回来的。**

1.  [下载传送门][Link 1]
2.  选择最新的版本下载，如下图  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 1]

*  把下载后的包直接导入到工程里面，导入后，菜单栏上会多了一个NuGet选项  
    ![在这里插入图片描述][2020092915301739.png_pic_center]
 *  安装DotNetWinRT  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 2]
 *  安装好了之后，确认以下内容，如果发现这边没有定义的话，需要手动自己添加。 DOTNETWINRT\_PRESENT（2021/6/8 18:57更新）  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70]

## 设置MRTK配置文件 ##

*  克隆配置文件  
    这是为了保证原工具的文件的稳定性，所以不让在原始文件上修改。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 3]
 *  克隆后如下图所示。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 4]

在文件目录下会有复制出来的文件。 在选项中自动切换为自定义的文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 5]

*  克隆输入配置文件  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 6]
 *  添加新的数据提供器![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 7]
 *  配置新的数据提供器

1.  设置输入类型

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 8]

1.  设置平台为 WU  
    在这里插入![图片][20200925165601263.png_pic_center]
2.  配置好后可以发现这个数据提供器自动修改了名称

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 9]

## 配置光标指示点 ##

*  克隆文件
 *  勾选启动眼动追踪
 *  取消头部移动光标

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 10]

## 效果图 ##

*  连接全息投影，第一次启动将会提示是否打开眼动追踪的权限。 如果没有跳出这个提示，说明眼动没有被开启。
 *  运行的时候会发现眼睛看到的地方有一个小光标，在下面红色箭头所标的地方。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 11]

## 现在的中文博客很少，公司里面开发都是内部的开发手册，不往外出。自己踩坑很难受，在CSDN搬了两年砖，好歹能自己做个砖头了。 觉得能帮忙避坑的话帮忙点个赞吧，形成个闭环，还能有点心理安慰。光nuget就坑了我两天时间！！！！！！ ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/b9ebdcd7ee2e4905962ad51fc5298cc1.png
[MRKT]: https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_BasicSetup.html#testing-your-unity-app-on-a-hololens-2
[Link 1]: https://github.com/GlitchEnzo/NuGetForUnity/releases
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/97123eaab61842aaa85a152aca375d25.png
[2020092915301739.png_pic_center]: /images/20221123/5e801c42c9a84e6cb1167c911c75d5b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/d867976caf3744728bbb575db10f7c93.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70]: /images/20221123/44e662eda6674138a346e9a0e8f4a759.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/fda21306c6d147d4ab3e0a9ad322527c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/e4003e17768b4414b72965c7ca72e430.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/690ce74f96c4489db5663331282cd388.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/7f0824086ca34efb8cad7345c1bbbd31.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/3822159e468b453f9f2aca04a5b760fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/1b77bc7bb6cb48d78dc07b25e0773aab.png
[20200925165601263.png_pic_center]: /images/20221123/3ba1482790ed46a0ad0067de82cd5273.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/03afa5c1c5504745b3c1bd01b908f5a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/24acd27a53c24d84bc173819d6d9cb62.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NjeTI2MTk4MzYyNg_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/944edacf538c40aca1f754c166d30d52.png