对于生成人体肌肉骨骼表示的计算机应用程序，系统有必要知道用户身体的空间定位、方向和运动，以提供身体运动的真实表示。例如，通过在虚拟现实环境中追踪用户双手的空间位置，应用程序将能够表示虚拟双手的运动，从而允许用户与VR环境中的虚拟对象交互。
使用可穿戴传感器追踪运动的现有技术包括使用从附加到用户身体不同部位的多个惯性测量单元（IMU）获取的信息，以及使用外部成像设备（例如固定位置摄像头）重建用户身体部位的位置和方向。
在名为“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的专利申请中，Meta就介绍了一种利用可穿戴传感器来获取并预测位置的方法和装置。具体来说，在确定一个节段的位置和方法信息后，系统可以相应地预测其他铰接节段，从而建模完成的身体部位。
在运动学中，刚体是显示各种运动属性的对象，例如位置、方向、角速度、加速度。刚体的一个分段的运动属性可以根据分段连接方式中的约束确定刚体其他分段的运动属性。例如，手臂可建模为两段式铰接刚体，其上部对应于在肩关节处连接至躯干的上臂，下部对应于前臂，其中两段在肘关节处连接。作为另一个示例，手可以建模为多节铰接体，手腕中的关节和每个手指形成模型中多节之间的接口。在一个实施例中，刚体模型中的节段的运动可以模拟为铰接刚体系统，其中使用训练的统计模型预测模型中节段相对于其他节段的方向和位置信息。
人体肌肉骨骼系统可以建模为多节段铰接刚体系统，关节形成不同节段之间的接口，关节角度定义模型中连接节段之间的空间关系。对关节运动的限制取决于连接节段的关节类型和限制关节运动范围的生物结构，如肌肉、肌腱、韧带。例如，连接上臂与躯干的肩关节和连接大腿与躯干的髋关节是允许伸展和弯曲运动以及旋转运动的球窝关节。相比之下，连接上臂和前臂的肘关节和连接大腿和小腿的膝关节允许更有限的运动范围。如本文所述，多段铰接刚体系统可用于模拟人体肌肉骨骼系统。
图1是一个示例性系统100。所述系统包括多个自动传感器110，其配置成记录由人体各部分的运动产生的信号。这里的自动传感器是指配置为测量身体部分的运动，并且不需要使用外部传感器的传感器。自动传感器110可包括一个或多个惯性测量单元（IMU）。在一个实施例中，IMU可用于感测关于附着IMU的身体部分的移动的信息，并且可随着用户随时间移动而追踪从感测数据导出的信息，例如位置和/或方向信息。例如，一个或多个IMU可用于在用户随时间移动时追踪靠近用户躯干的用户身体部分的移动，例如手臂或双腿。
自动传感器110同时可包括多个神经肌肉传感器，其配置成记录由人体骨骼肌中的神经肌肉活动产生的信号。这里的神经肌肉活动是指支配肌肉的脊髓运动神经元的神经激活、肌肉激活、肌肉收缩或神经激活、肌肉激活和肌肉收缩的任何组合。神经肌肉传感器可包括一个或多个肌电图（EMG）传感器、一个或多个机械肌图（MMG）传感器、一个或多个超声肌图（SMG）传感器和/或配置为检测神经肌肉信号的任何合适类型的一个或多个传感器。在一个实施例中，多个神经肌肉传感器可用于感测与由肌肉控制的身体部分的运动相关的肌肉活动，其中神经肌肉传感器布置为感测肌肉活动。描述运动的空间信息可以基于用户随时间移动时感测到的神经肌肉信号来预测。
在包括至少一个IMU和多个神经肌肉传感器的实施例中，可以将IMU和神经肌肉传感器布置成检测人体不同部位的运动。例如，IMU可布置成检测靠近躯干的一个或多个身体节段的运动，而神经肌肉传感器可布置成检测远离躯干的一个或多个身体节段的运动。
不过，自动传感器110可以以任何合适的方式布置。例如在一个实施例中，至少一个IMU和多个神经肌肉传感器可共同位于身体节段上，以使用不同类型的测量来追踪身体节段的运动。置。
每个自动传感器110包括一个或多个运动感测组件，其配置为感测运动信息。在IMU的情况下，运动感测部件可包括一个或多个加速计、陀螺仪、磁强计或其任何组合。在神经肌肉传感器的情况下，运动传感部件可包括但不限于电极，电极配置用于检测身体表面上的电位，振动传感器配置用于测量皮肤表面振动，以及声学传感组件。
在一个实施例中，可以使用硬件信号处理电路处理一个或多个运动传感组件的输出。在其他实施例中，可以在软件中执行运动感测组件的输出的一定信号处理。
在一个实施例中，可对记录的传感器数据进行处理，以计算额外的衍生测量值，然后将其作为统计模型的输入提供。例如，可以对来自IMU传感器的记录信号进行处理，以导出指定刚体段随时间的方向的方向信号。可以使用自动传感器组件110的至少一个或多个传感组件与自主信号处理集成，但可以不与自动传感器组件110的一个或多个通信组件直接集成。
在一个实施例中，多个自动传感器110中可布置为可穿戴设备的一部分。例如在一个非限制性示例中，IMU传感器和多个神经肌肉传感器围绕可调节和/或弹性带周向布置。
在一个实施例中，16个肌电传感器沿周向布置在弹性带周围，而弹性带配置为佩戴在用户的下臂周围。例如，图2示出了围绕弹性带502周向布置的EMG传感器504。根据具体的位置，弹性带又可称为可穿戴臂带/腕带，腿带/踝带。可穿戴臂带或腕带可用于预测手部运动任务的肌肉骨骼位置信息，而可穿戴腿带或踝带可用于预测脚步运动任务的肌肉骨骼位置信息。
例如，如图3所示，手508佩戴弹性带502。这样，EMG传感器504可以配置成在用户使用手指540控制键盘530时记录EMG信号。在一个实施例中，弹性带502可包括一个或多个IMU（未示出）。
在一个实施例中，多个可穿戴设备可用于预测涉及身体多个部位的运动的肌肉骨骼位置信息。在实时运动追踪期间，从单个臂带/腕带可穿戴设备感测的信息用于重建身体运动，例如重建前臂、上臂和手臂的位置和方向。
在一个实施例中，可以提供用于预测肌肉骨骼位置信息的统计模型。如上所述，多节段铰接刚体模型中节段之间的关节类型约束刚体的运动。另外，不同的个体在执行任务时往往会以其特有的方式移动，而这可以通过个体用户行为的统计模式来捕获。根据一个实施例，可将对人体运动的约束并入用于预测的统计模型中。另外，可以利用传感器数据来训练学习约束。
在一个实施例中，可训练系统100以预测用户移动时的肌肉骨骼信息。在一个实施例中，系统100可以通过记录来自自动传感器110的信号和在用户执行一个或多个动作时从一个或多个用户佩戴的位置传感器记录的位置信息来进行训练。
在一个实施例中，在系统100经过训练以基于特定用户的自主传感器信号预测肌肉骨骼位置信息后，用户可利用系统100执行虚拟或物理动作而不使用位置传感器。例如，当系统100训练为以高精度）预测肌肉骨骼位置信息时，预测本身可用于确定用于生成用户身体的肌肉骨骼表示的肌肉骨骼位置信息。
图4描述了使用从一个或多个用户佩戴的自主传感器记录的信号生成统计模型的过程400。过程400可以由任何合适的计算设备执行。例如，过程400可以由参考图1描述的处理器112执行。作为另一示例，可以使用一个或多个服务器执行过程400的一个或多个动作。例如，可以使用云计算环境来执行动作410中与统计模型训练有关的至少一部分。
过程400从动作402开始，其中为执行一个或多个动作的一个或多个用户获得多个传感器信号。在一个实施例中，可将多个传感器信号记录为过程400的一部分。
在提供基于多种类型传感器（例如IMU传感器、EMG传感器、MMG传感器、SMG传感器）的预测中，可以针对每种类型的传感器训练单独的统计模型，并且可以组合传感器类型特定模型的输出以生成用户身体的肌肉骨骼表示。在其他实施例中，在动作402中从两个或多个不同类型的传感器获得的传感器信号可以提供给单个统计模型，并基于从不同类型的传感器记录的信号进行训练。在一个说明性实现中，IMU传感器和多个EMG传感器布置在配置成佩戴在用户前臂周围的可穿戴设备，并且由IMU和EMG传感器记录的信号被共同提供作为统计模型的输入。
在一个实施例中，可以指示用户多次执行任务，并且可以针对用户多次重复的任务记录传感器信号和位置信息。在以恶搞实施例中，可以基于与来自多个用户的记录信号相对应的训练数据生成跨用户统计模型，并且当用户使用系统时，基于记录的传感器数据对统计模型进行训练，以便统计模型学习依赖于用户的特征，从而改进系统对特定用户的预测能力。
如上所述，当一个或多个用户中的每个用户一次或多次执行一个或多个任务中的每个任务时，可通过记录传感器信号来获得在动作402处获得的传感器数据。当用户执行任务时，可在动作404中获得描述任务执行期间不同身体片段的空间位置的位置信息。在一个实施例中，使用在执行任务期间追踪身体上不同点的位置的一个或多个外部设备或系统来获得位置信息。
接下来，过程400进行到动作406，其中可选地处理在动作402中获得的自动传感器信号和/或在动作404中获得的位置信息。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理自主传感器信号或位置信息信号。
接下来，过程400进行到动作408，并基于位置信息确定肌肉骨骼位置特征。在一个实施例中，不是使用与位置传感器相对应的记录的空间坐标作为训练数据来训练统计模型，而是基于记录的位置信息来确定一组导出的肌肉骨骼位置特征值，并将导出的值用作训练统计模型的训练数据。例如，使用关于铰接刚体模型中连接的刚性段对之间的约束的信息，位置信息可用于确定关节角度。
接下来，过程400前进到动作410，并组件在动作402和408处获得的时间序列信息，从而创建用于在动作410处训练统计模型的训练数据。可以以任何合适的方式组合所获得的数据。
在动作412，可以从动作410生成的训练数据估计统计模型的参数值。例如，当统计模型是神经网络时，可以从训练数据估计神经网络的参数。
接下来，过程400前进到动作414，并存储训练的统计模型。训练后的统计模型可以使用任何合适的格式存储。
图5示出了基于来自多个自动传感器的记录信号和经过训练的统计模型预测肌肉骨骼位置信息的过程500。
过程500从动作510开始，其中从布置在用户身体表面上或附近的多个自动传感器记录信号，以记录执行任务期间与身体运动相关的活动。过程500然后进行到动作512，其中可选地处理由自主传感器记录的信号。例如，可以使用放大、滤波、整流或其他类型的信号处理来处理信号。
过程500接着进行到动作514。其中，自动传感器信号提供使用上文过程400描述的一种或多种技术训练的统计模型的输入。在连续记录信号的实施例中，可连续或周期性地将连续记录的信号作为输入提供给训练的统计模型，用于预测给定输入传感器数据集的肌肉骨骼位置信息（例如关节角度）。
在经过训练的统计模型接收到作为一组输入参数的传感器数据之后，过程500前进到动作516。其中，从经过训练的统计模型输出预测的肌肉骨骼位置信息。如上所述，在一个实施例中，预测的肌肉骨骼位置信息可包括表示用户身体至少一部分的多段铰接刚体模型的一组肌肉骨骼位置信息值（例如一组关节角度）。
在动作516中预测肌肉骨骼位置信息之后，过程500进入动作518，其中至少部分地基于训练的统计模型输出的肌肉骨骼位置信息生成用户身体的基于计算机的肌肉骨骼表示。可以以任何合适的方式生成基于计算机的肌肉骨骼表示。例如，基于计算机的人体肌肉骨骼模型可以包括多个刚体段，每个刚体段对应于身体中的一个或多个骨骼结构。例如，上臂可以表示为刚体，下臂可以表示为刚体，并且手上的每个手指可以由至少一个刚体段表示。
当统计模型测量和处理新的传感器数据以提供肌肉骨骼位置信息的新预测（例如一组更新的关节角度）时，基于计算机的肌肉骨骼表示可以基于根据统计模型输出确定的关节角度的更新集合来更新。通过这种方式，基于计算机的肌肉骨骼表示在连续记录自主传感器数据时实时动态更新。
基于计算机的肌肉骨骼表示可以任何合适的方式表示和存储。
除了用于预测肌肉骨骼位置信息之外，由神经肌肉传感器直接记录的神经肌肉活动可与生成的肌肉骨骼表征相结合，以提供更丰富的肌肉骨骼表征。
图6示出了用于将用神经肌肉传感器记录的神经肌肉活动与至少部分由神经肌肉活动生成的肌肉骨骼表示相结合的过程600。在动作602中，从布置在用户身体附近或表面上的多个神经肌肉传感器记录神经肌肉信号。在上述示例的一些实施例中，多个神经肌肉传感器与可穿戴设备集成，例如可佩戴在用户身体部分周围的柔性或可调节带。
过程600接着进行到动作604，其中至少部分地基于记录的神经肌肉信号或从神经肌肉信号导出的信号来预测肌肉骨骼位置信息。然后，过程600进入动作606，其中基于训练的统计模型输出的预测肌肉骨骼位置信息生成基于计算机的肌肉骨骼表示。
如图6所示，过程600包括使用神经肌肉信号预测肌肉活动的可选动作608。在一个实施例中，至少部分地基于动作608中记录的神经肌肉信号预测的肌肉活动与动作610中生成的肌肉骨骼表示相结合。
相关专利：Facebook Patent | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
名为“Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors”的Meta专利申请最初在2021年4月提交，并在日前由美国专利商标局公布。
