学术交流 | 融合可视与不可视地标的行人相对定位方法

摘 要

充分考虑不同数据源在变化场景下的数据差异性和行人在导航定位服务中的空间认知习惯，提出了一种融合可视地标与不可视地标的行人相对定位方法。

利用基于传感器复合证据理论的方法构建目标路径的不可视地标（如磁场变化、WiFi更新等），检测GoPro Fusion设备获取的全景影像中的视觉显著的可视地标及其与采样点间的相对空间方位属性；根据行人实时获取的传感器数据和地标方位信息分别推估行人在目标路径中可能停留的路段区域；采用贝叶斯概率融合方法融合可视地标与不可视地标数据进行行人定位结果推估。

实验结果表明，融合多源数据可以解决单一场景下行人定位精度不足的问题。在传感器特征较少的单一场景下，与基于不可视地标的行人定位方法相比，该方法的精度提升了12.78%。

当人们处于陌生或不熟悉的环境时，往往需要依靠导航服务提供导航决策，行人导航服务主要包括行人的实时定位、路径规划与行人引导。其中，行人定位是行人导航的关键和基础。

目前，行人通过移动设备进行定位的方法主要依赖GPS系统。然而，在建筑、树木等干扰物密集的城市环境中，GPS信号易受干扰，定位精度无法满足行人导航的需求。

随着移动通讯设备和微电子传感器的发展，多种定位技术出现，如借助辅助信标和构建指纹地图定位技术，包括利用雷达、WiFi、超声波、蓝牙、基站或图像等辅助信号实现实时定位，此类方法依赖辅助定位设施，成本较高，适用于室内环境。

基于惯性传感器的定位方法中，行人航位推算（pedestrian dead-reckoning，PDR）法根据当前定位位置和传感器所探测到的运动和姿态信息（步数、步长、方位等）预估下一时刻的位置。由于行人方位和步长估计存在误差，连续的计算会造成误差值累加，许多学者针对此问题开展了大量研究。

例如，文献[11]采用精确估计步长算法来提升步长估计准确度；文献[12]使用机器学习算法来区别行人行走时的不同状态，以降低行人定位时的方向角误差。

此外，智能手机中的多类型传感器对外部环境有很好的感知能力，利用这些传感器可以实时监测到行为和环境特征，如陀螺仪传感器可灵敏地监测到转向行为，光线传感器可以感知环境的光线强弱特征等。

通过将用户的实时特征与预先设定路段中的特征进行相似度匹配可实现行人定位。此类方法在PDR方法基础上进一步考虑多传感器与行人所处环境之间的相关性。

这种依靠传感器感知周围环境突变的位置点被称为不可视地标点。实际上，行人在不同环境中，往往通过辨别周围环境中熟悉的可视性地标和可视范围内地标与自身之间的空间方位关系来估计实时位置。这种在特定环境中具有突出和可识别特征，长期固定并可以被肉眼察觉的对象或区域被称为可视地标。

相关学者[15-16]在他们的研究中指出，使用地标辅助导航是贴合行人实际的导航方式中最有效的定位和导航手段。

文献[17-18]提出将地标信息引入行人导航，以地标影像提供路径指引信息，生成面向行人导航的地标链生成方法与导航模型，为行人提供辅助引导信号，降低行人导航寻路难度。

综上所述，基于通讯设备的定位方法依靠辅助定位设施，成本较高，适用范围受到限制。基于PDR的定位方法需要明确得到行人的初始位置等信息，且惯性传感器存在累积误差的影响。上述方法基于绝对定位技术，为用户提供目标的绝对坐标信息，但未考虑到行人在执行导航任务时需要在二维导航电子地图与真实场景中对定位和规划路径进行二次空间转换和分析，以及人的空间认知能力有限的制约。

有研究表明，行人在不同环境下对自身位置的认知往往依靠周围环境中的可视地标的视觉信号，并通过对地标与自身距离、相对方位角度的分析辨别自身的位置。

与绝对空间坐标系下的二维电子地图相比，行人对以自身为参考坐标系的对象相对空间描述信息，如地标空间参考、地标相对距离的远近、地标的相对方位、通视等信息更易理解。

因此，本文在借助多源传感器探测目标环境中的不可视地标信号进行定位的基础上，充分考虑行人的空间认知行为习惯和空间转换压力，引入从城市街景（全景）影像中获取的视觉显著地标集及其相对方位属性信息，提出了一种融合可视地标与不可视地标的行人定位方法，辅助行人完成较高精度的行人定位。

实验结果表明，在传感器特征较少的单一场景下，与基于不可视地标的行人定位方法相比，该方法的精度得到了提升。

基于传感器复合证据理论的不可视地标行人定位原理

智能移动设备搭载了多种能灵敏感知外部环境信号（地磁、WiFi、可见光等）和行人运动状态的微型传感器。这些传感器可实时感知当前环境中的信号和行人的运动姿态变化。

在经过一些特殊区域时，可以根据多组数据的波动状态来对路径中的特殊位置进行判定与记录，如根据磁力计得到磁强度的突变位置，根据陀螺仪得到行人转弯位置等。

基于传感器复合证据理论的行人定位方法，即针对一条固定导航路线，利用智能手机中的多种传感器多次探测该目标路径中不同位置发生的明显的数据波动特征，将目标路径进行差异性分割，形成路径分段，并构建目标路径上的传感器特征地标。

当新的访客出现在目标路径中时，智能手机中的传感器会获取到新的访客的实时传感器数据，利用其传感器数据的特征，在预先特征分割好的路段中进行相似性概率赋值，得到每种传感器对行人位置的决策结果，根据D-S（Dempster-Shafer）证据理论方法对每种传感器的决策结果进行加权融合，计算得到与访客实时位置最为相似的目标路径中的路段，得到定位的结果路段。

当行人处于传感器特征变化多样的场景下，该方法具有很好的定位结果。然而，当应用于传感器特征变化较少的场景时（如交叉口较少的商业街），目标路段上采集到的传感器数据的特征较少，导致每组特征对应的路段长度过长，对行人位置的估计不能精确缩短至小区间范围内，定位误差较大。

融合可视与不可视地标的行人定位方法

在行人进行自定位时，地标是最有效的引导信号之一，可视地标可辅助行人进行高效的空间理解和导航决策。地标与行人之间的相对方位关系可以准确地为行人的主动定位和路径引导提供决策辅助。

本文方法结合可视地标在行人自定位、导航过程中的优势，融合了目标路径中可视地标的相对方位信息，消除了基于传感器复合证据理论行人定位方法在部分场景中的应用局限性。

首先借助目标路径中的显著性地标与对应路径下的全景影像集构建的相对方位关系数据，与访客实时与显著地标的相对方位关系进行行人区间位置判断；

然后利用贝叶斯概率融合的方法得到行人区间定位结果，与基于不可视地标得到的结果进行融合，进一步缩小行人定位的范围，并弥补定位场景的限制性。

1

基于传感器复合证据理论的行人定位方法

搭载在智能手机上种类多样的传感器可以灵敏地感知用户周围的环境变化，如光线传感器可以根据环境光线的强度自动调节手机屏幕亮度，磁力计可以敏锐地感知并记录设备所处磁场强度或方向改变的时刻，WiFi可以记录周围环境中不同的WiFi信号，GPS可以实时反馈用户坐标信息，加速计可以感知行人的移动行为变化，陀螺仪可以精确感知行人的方位改变状态，进而可以精确地对行人的位移进行推测等。

综合这些传感器可以辅助推测用户自身姿态的变化，让手机具有了感知外部环境的能力。

本文在利用多源传感器进行行人定位时主要利用磁力计、陀螺仪、光线传感器、WiFi和GPS。地球上的任意位置受地球磁场的影响，磁场强度的大小可以由磁力计获取。因为磁场强度是一个矢量，当磁力计的空间位置或摆放姿态不同时，在3个互相垂直的坐标方向上的数据也会受到影响，磁力计能观测和记录磁力数值和方向的变化。

陀螺仪主要用来测量手机在不同方向上旋转或转向的幅度值，若设备向逆时针方向旋转，陀螺仪获取值为正，反之则为负。

可以通过陀螺仪记录设备的角度变化信息。光线传感器通过光电效应可以敏锐地感受环境中的光线强度变化，并记录每个时刻的光线强度信息。

通过WiFi模块可以获取环境中探测到的WiFi信号的物理地址（media access control，MAC），由于每个MAC具有唯一性，因此可用来区分不同的接入点（access point，AP）。

GPS是一种以卫星作为基础的无线电导航定位系统，可以将接收到的卫星信号精确转换为经纬度信息、速度信息、方向信息等，本文主要用到经纬度信息。

根据各传感器感应到的环境中不同数据的特征，本文多次采集目标路径中的传感器数据，按照各传感器特征的变化，分别将路径分割成多个路段。

如图 1中所示，根据磁力计x轴特征进行路径分段的分段结果记为{L1Magx，L2Magx…L5Magx}，根据陀螺仪得到的分段结果为{L1Gyrz，L2Gyrz…L5Gyrz}等。将5种传感器的路段分段结果做并集，构成目标路径分段的先验数据。

当行人处于该目标路径时，可以实时获取行人的多种传感器信号，将该传感器信号与先验数据进行特征匹配，为相似度高的路段区间进行概率的分配，每种传感器有各自对应的相似性衡量方法。

磁力计的数据变化有数据平稳段和数据突变段这两种特征，如图 1（a）所示，在现实情况中分别对应行人行走方向不变且周围没有强磁干扰物体存在的路段和行人行走方向发生变化或周围存在强磁干扰物体的路段。

陀螺仪数据存在3种变化特征，如图 1（b）所示，数据的波峰、波谷对应行人左、右转弯的时间节点，在水平轴附近波动的数据对应行人直线行走的路段。

光线数据依据光线强度值一阶差分结果将行人在室内外的路段进行分割，如图 1（c）所示，室外路段光线强度值较高，室内路段光线强度值很低。

通过比较WiFi数据MAC信息，将WiFi接入点信息完全相同的路段划分为同一路段，如图 1（d）所示，在L1WiFi路段中，设备只接收到WF1一种信号，在L2WiFi路段中没有接收到WiFi信号，在L3WiFi路段中，接收到WF1、WF2、WF3等3种WiFi信号。

GPS与WiFi类似，将经纬度差值在阈值内变化的路段划分为相同路段，如图 1（e）所示。

当新访客出现在目标路段中时，获取访客实时磁力计数据，判断访客所处的磁力计特征状态。当访客磁力计特征为平稳段时，将访客在较短时间内的磁力强度均值与先验数据中所有平稳段的磁力强度均值进行对比，利用等级法将访客磁力强度均值相差较小的路段值赋予较高相似度值，反之则赋予较低相似度值。

在数据突变段，以最大值、最小值和数据突变斜率方向作为相似度对比参数，当先验数据中所有突变特征路段满足这三大参数时，赋予这些满足参数的路段相同的高相似度值，反之其余剩下路段赋予低相似度值。

图1 传感器数据变化示例

根据上述原理，得到5种传感器在每个路段区间上的概率分布结果。由于利用不同传感器的实时感知数据与先验数据的匹配结果存在不同的误差，即每种传感器的路段定位精度存在差异，各传感器存在可靠性差异，因此采用历史数据集的方法计算权值，衡量每种传感器。

设共有NS个传感器，q为目标路段上采集数据的次数，θ为目标路径中的分段总数，u为路径中进行精度衡量的基准点，Djτi为传感器i在第τ次采集数据时对应的基准点位置为j时的匹配结果，通过基准点实际位置与匹配结果位置之间的距离估算匹配误差。传感器权重的计算公式为：

采用DS证据理论方法对每种传感器得到的路段概率进行加权融合，得到基于不可视地标的行人定位结果。公式如下：

式中，K为归一化常数；mi表示第i个传感器在第个Ai子路段上的相似度概率值；n为分段路段的总个数；A为目标路段。

2

街景数据获取与显著地标库构建

本文利用GoPro Fusion全景相机沿实验路径采集全景影像数据。GoPro Fusion全景相机由两个180°拍摄范围的鱼眼镜头组成，根据单位球面投影模型[23]成像。

利用墨卡托球面投影模型将全景影像进行平面展开。路径中使用到的可视地标由熟悉路径的志愿者进行选取。由于全景影像展开图存在较大畸变，为了保持地标形变最小，在地标选择时遵循两个原则：优先选取靠近拍摄高度中心位置的地标，优先选取结构明显、显著程度高、易于观察的地标。

在完成目标路径中的地标选取后，计算目标路径下实景图集中的全景影像与显著地标之间的可视关系以及相对方位关系，并构建显著地标库。

本文将全景影像中可以看到的地标定义为可视地标，即在全景影像j中可以看到地标i，则认为地标i对于全景影像j是可见的，如图 2所示。

地标i代表路径中的第i个显著地标，并且路径中共选择出了N个高显著性地标，全景j代表在路径中第j个全景影像，在整个采集过程中共采集了n幅全景影像数据用于行人定位。1代表该对应列的全景影像可以观测到对应的地标，无法观测到对应的地标则记为0。

图 2横轴为目标路段中采集的10幅全景影像，纵轴为路段中筛选的55个高显著地标，地标与全景影像存在可视关系即对应图 2中的紫色位置，其余则为地标与影像之间是不可视关系。

图2 全景影像与地标的可视性关系

图3 地标方位计算示例

全景展开影像的方位标尺如图 3所示。其中，0°位置为展开影像的图像中央竖线位置，指向正北方向，红色三角为获取的地标位置。由于获取到的是像点坐标位置集合，通过求像点x方向均值对地标相对方位进行近似估计，并利用影像距离与角度之间的位置关系进行地标空间位置估算，计算公式为：

式中，s表示影像中地标点与正北方向之间的横向距离；R表示影像1/2长度。

通过上述计算得到目标路径中显著性地标的空间方位关系表，以45°等间隔将全景影像与地标的空间角度关系从0°~360°进行展示，如图 4所示。

图4 地标与全景影像的方位关系

3

基于可视地标的行人定位方法

借助显著地标的基于可视地标的行人相对定位方法，主要分为粗定位和区间定位两个过程。

在粗定位过程中，依靠GPS与地标可视性进行行人对地标的可视范围确定。首先，获取行人实时拍摄的影像，识别该影像中是否包含显著地表库预先筛选中的显著地标。

为提高地标查询、识别的时间效率，首先寻找与实时影像的GPS坐标差满足距离阈值T的街景影像，对满足T条件的街景影像中出现的地标进行选择，得到影像集P1={Ii+1，Ii+2…Ii+ε}，其中i≥0，i+ε≤l(I)，ε，其中，为P1中影像的总数量，为整个路段中街景数据集的总量。

然后，结合地标可视性数据筛选出出现与实时影像中相同地标的街景影像集，其中P2⊂ P1，以P2确定的数据集作为粗定位的结果区域。

在区间定位过程中，首先根据行人实时拍摄的影像确定行人实时位置的可见地标集L = { L1，L2…Lδ}，其中，δ为行人可视地标的总量。

根据粗定位街景影像集P2与§2.2中得到的地标空间方位角数据，利用地标的连续形态对行人实时位置进行逐步逼近，得到行人的区间定位结果。相同地标在连续全景影像中出现时，容易产生形态和平面位置的变化。

这些变化主要分为两大类，如图 5所示。图 5中，纵轴为地标的水平高度，横轴可看作影像中的空间方位角度。地标形态在多数情况下呈现较为单调的变化，如①、②、③；少数情况存在非单调变化，如④。

从图 5中可发现呈单调变化的①、②、③主要为正方向内部的单调、负方向内部的单调与图幅中间跨方向的单调，而④可明显看出该地标的空间方位关系为正方向单调突变为负方向单调，例如正递增突变为负递增。

图5 地标连续形态

区间定位主要步骤为：

1）逐个获取行人实时拍摄全景影像所得到的地标集L中的地标lm与拍摄该影像时的拍摄空间方位角度值Auser，从中筛选出含有地标lm的方位信息，构成地标lm的空间方位矩阵。

2）计算Alm中地标的个数，若地标数量小于2，无法进行区间判断比较，返回步骤1），否则执行步骤3）。

3）对Alm中的地标进行地标连续形态状态判断，若为单调变化，则执行步骤4），若非单调变化，则执行步骤5）。

4）对相同地标，将粗定位筛选出的Alm与行人观测结果Auser进行空间方位角度比较，按照单调规律进行插入，将靠近路径起始位置的全景影像记为区间上限，靠近终止点的影像记为区间下限。若无法得到区间上限或下限，则将第一张或最后一张全景影像作为区间上、下限。

5）非单调情况下，将空间方位角[－180°，180°]的关系转换为[0°，360°]的关系，再执行步骤4）。按上述步骤即可得到行人区间定位结果。

4

融合方法

传感器数据，即不可视地标数据是一种采样频率高、易受环境和行人状态影响的高空间分辨率、低准确度数据源，而全景影像数据是采集频率受采集者控制的低空间分辨率、高准确度的数据源。

本文将采用贝叶斯融合方法将这两种数据进行融合。首先，在不可视地标定位方法利用D-S证据理论方法融合传感器特征匹配结果之前，采用基于可视地标的全景影像行人定位结果，对仅通过传感器数据得到的证据框架下的相似度概率值进行优化更新。

然后，根据精确化的概率分配结果利用加权的D-S证据理论方法进行融合，提升定位结果精度。该融合方法主要包括路段分段更新与基于贝叶斯的概率分配函数重构两个方面。

同一目标路段的两类数据的采集本来是分开进行的，为了使两类数据产生相互交叉关系，需要对基于传感器得到的路段分段结果，即对原始路段框架与全景影像采集点的位置进行求交集操作。

借助基于可视地标的行人定位方法，计算得到行人在每个子路段区间上停留的概率。根据可视地标定位方法同样可以推测行人所处的路段范围，为了与推断范围外区域进行区分，本文对推测范围内与推测范围外的路段分别以{{0.6，0.4}，{0.7，0.3}，{0.8，0.2}，{0.9，0.1}}的概率值进行分配，分别用于后续的贝叶斯融合。

将可视地标定位结果分配的概率值作为先验概率，对不可视地标定位概率值进行更新计算：

式中，S(LMagx|LI) 表示在全景影像证据支持的情况下对不可视地标磁力计传感器得到的概率分配函数进行重新计算。

图 6为以磁力计数据得到的分段路段上的概率分布函数与全景影像定位结果示例。图 6中，mI表示全景影像数据在该路段的概率，反之为1－mI；{m1Magx，m2Magx …m6Magx}；为由磁力计数据得到的行人在路段起讫点上的概率分布情况；竖直虚线为证据框架更新后，两种证据共有的分段点位置，虚线左、右侧的融合概率计算公式分别如式（5）、式（6）所示。

图6 磁力计与全景数据融合示例

融合可视地标与不可视地标的行人定位实验与分析

1

实验环境和数据

实验区域为湖北省武汉市楚河汉街步行街，在步行街模拟一条由武汉旅游信息咨询中心至汉街甜蜜驿站的路线，实验路线如图 7所示。该路线长度约400 m。

全景影像数据集由GoPro Fusion全景相机和Lenove Tango智能手机获取。全景影像数据采集路段地标较多，平均采样间隔为6 m，共获得全景影像71幅，包括目标路段起始点和终止点。

为了消除数据采集过程中朝向信息对地标与采样点之间空间相对方位的干扰，采集全景影像数据时借助电子指南针保持正北方向拍摄，并在数据处理时借助电子指南针数据进行方向校正。采用墨卡托投影进行展开，得到71幅二维平面展开全景影像（5 760×2 880像素）。

使用VIVO X6智能手机采集传感器数据，实时记录目标路径上的磁力计、陀螺仪、光线、WiFi、GPS等传感器数据，采样频率为20 Hz。标记全景影像数据采样点位置，将两种数据源进行关联。

本文在实验路径上采集并记录5次传感器数据，沿途选择6个固定位置作为实验的固定标记点用于实验精度评估。在融合可视地标证据阶段，由电子罗盘数据获取实时的朝向信息，校正当前行人位置和可视地标间的实时相对方位关系，以消除行人朝向等姿态信息对定位的影响。在Matlab上进行数据操作与分析。

图7 实验区域

2

结果分析

选取61个对行人有视觉引导帮助的高显著性地标。根据采集的全景影像数据（部分），对61个可视地标构建地标可视表与地标-全景影像空间方位表，两表均为61×71的矩阵。

分别进行不可视地标定位方法的行人定位实验、融合可视地标与不可视地标定位方法的行人定位实验。本文定义一个百分比R，用来计算融合可视地标与不可视地标定位方法相较不可视地标定位方法的精度提升比例。其计算公式为：

式中，EDS、EFusion分别为不可视地标定位方法、融合可视地标与不可视地标定位方法的定位误差。共进行5次实验（4种概率分配得到相同结果），实验结果如表 1所示。

表1 不可视地标定位方法与融合可视地标定位与不可视地标定位方法误差对比

由于实验区域为步行街，街道宽度有限，通过后期对全景图像序列中的高显著性地标及其相对方位属性的分析，发现每10幅全景图作为标记点的条件下，全景图中的显著地标相对方位变化程度较为适中，设定为定位参考较为合适，因此在71幅全景图中选择6个标记点，分别是第10、20、30、40、50、60幅全景图采集点。

对6个定位点5次定位的平均误差进行比较，结果如表 1所示。由表 1可知，融合可视地标与不可视地标定位方法的精度相较不可视地标定位方法的行人定位结果精度有明显提升，融合方法的平均定位精度约为3.71 m，精度提升12.78%。

结 语

本文提出了一种融合可视地标与不可视地标的行人定位方法，通过全景影像中显著地标和拍摄位置空间相对方位关系的计算获取行人可能的停留路段区间，将该区间定位结果与通过传感器特征判别得到的路段概率结果，利用贝叶斯概率融合方法进行融合，解决传感器不稳定性与路径中传感器特征较少的问题，提升行人定位精度。下一步工作是考虑地标间的组合特征，增加路段中概率分布情况，提升算法的鲁棒性和定位精度。

END

引用格式：方志祥, 姜宇昕, 管昉立. 融合可视与不可视地标的行人相对定位方法. 武汉大学学报·信息科学版, 2021, 46(5): 601-609. doi: 10.13203/j.whugis20190411

作者简介：方志祥，博士，教授，主要研究方向为行人导航理论与方法、时空GIS和人类活动大数据时空建模与分析

来源：武汉大学学报信息科学版

原标题：《学术交流 | 融合可视与不可视地标的行人相对定位方法》

阅读原文