基于头肩部检测的过线客流统计

摘要：通过本教程，我们学习了另一类客流统计应用——过线客流统计，通常用于室内出入口，摄像头会架设在高处俯拍，使用头肩部检测可以减少人与人之间的遮挡。

本文分享自华为云社区《客流分析之基于头肩部检测的过线客流统计》，作者：HiLens_feige 。

1.基于头肩部检测的过线客流统计

除了划区域客流统计之外，另一类常见的客流统计场景是过线客流统计，本文介绍基于头肩部检测的过线客流统计技能：采用头肩部检测人形并进行跟踪，当头肩部中心点跨过事先划定的线段时，增加客流计数；过线前后的人形将使用不同颜色的框表示，画面中也会实时显示客流数量。

准备工作

本文将使用华为云ModelArts进行人形检测模型的训练，并使用ModelBox框架进行应用开发，使用前开发者需要完成如下准备工作：

1. 参考 此教程 完成设备的注册；
2. 参考 此教程 完成ModelBox SDK的安装。

 

2.技能开发

这个应用对应的ModelBox版本已经做成模板放在华为云OBS中，可以用sdk中的solution.bat工具下载，接下来我们给出该应用在ModelBox中的完整开发过程：

1）下载模板

执行.solution.bat -l可看到当前公开的技能模板：

PS ███> .solution.bat -l ... Solutions name: mask_det_yolo3 ... passenger_flow_head_det_yolo7

结果中的passenger_flow_head_det_yolo7即为基于头肩部检测的过线客流统计应用模板，可使用如下命令下载模板：

PS ███> .solution.bat -s passenger_flow_head_det_yolo7 ...

solution.bat工具的参数中，-l 代表list，即列出当前已有的模板名称；-s 代表solution-name，即下载对应名称的模板。下载下来的模板资源，将存放在ModelBox核心库的solution目录下。

2）创建工程

在ModelBox sdk目录下使用create.bat创建passenger_flow工程

PS ███> .create.bat -t server -n passenger_flow -s passenger_flow_head_det_yolo7 sdk version is modelbox-xxx success: create passenger_flow in ███modelboxworkspace

create.bat工具的参数中，-t 表示创建事务的类别，包括工程(server)、Python功能单元(Python)、推理功能单元(infer)等；-n 代表name，即创建事务的名称；-s 代表solution-name，表示将使用后面参数值代表的模板创建工程，而不是创建空的工程。

workspace目录下将创建出passenger_flow工程，工程内容如下所示：

passenger_flow |--bin │  |--main.bat：应用执行入口 │  |--mock_task.toml：应用在本地执行时的输入输出配置，此应用默认使用本地视频文件为输入源，最终结果输出到另一本地视频文件，可根据需要修改 |--CMake：存放一些自定义CMake函数 |--data：存放应用运行所需要的图片、视频、文本、配置等数据 │  |--passenger_flow.mp4：客流统计测试用视频文件 │  |--simsun.ttc：中文字体库 |--dependence │  |--modelbox_requirements.txt：应用运行依赖的外部库在此文件定义，本应用依赖pillow工具包 |--etc │  |--flowunit：应用所需的功能单元存放在此目录 │  │  |--cpp：存放C++功能单元编译后的动态链接库，此应用没有C++功能单元 │  │  |--draw_passenger_bbox：客流画图功能单元 │  │  |--object_tracker：目标跟踪功能单元 │  │  |--yolov7_post：头肩部检测使用的是YOLO7模型，此处即为后处理功能单元 |--flowunit_cpp：存放C++功能单元的源代码，此应用没有C++功能单元 |--graph：存放流程图 │  |--passenger_flow.toml：默认流程图，使用本地视频文件作为输入源 │  |--modelbox.conf：modelbox相关配置 |--hilens_data_dir：存放应用输出的结果文件、日志、性能统计信息 |--model：推理功能单元目录 │  |--head_detection：头肩部检测推理功能单元 │  │  |--head_detection.toml：头肩部检测推理功能单元的配置文件 │  │  |--head_det_yolo7_lite_224x352.onnx：头肩部检测onnx模型 |--build_project.sh：应用构建脚本 |--CMakeLists.txt |--rpm：打包rpm时生成的目录，将存放rpm包所需数据 |--rpm_copyothers.sh：rpm打包时的辅助脚本

3）查看流程图

passenger_flow工程graph目录下存放流程图，默认的流程图passenger_flow.toml与工程同名，其内容为（以Windows版ModelBox为例）：

[driver] # 功能单元的扫描路径，包含在[]中，多个路径使用,分隔 # ${HILENS_APP_ROOT} 表示当前应用的实际路径 # ${HILENS_MB_SDK_PATH} 表示ModelBox核心库的实际路径 dir = [  "${HILENS_APP_ROOT}/etc/flowunit",  "${HILENS_APP_ROOT}/etc/flowunit/cpp",  "${HILENS_APP_ROOT}/model",  "${HILENS_MB_SDK_PATH}/flowunit", ] skip-default = true [profile] # 通过配置profile和trace开关启用应用的性能统计 profile = false                       # 是否记录profile信息，每隔60s记录一次统计信息 trace = false                         # 是否记录trace信息，在任务执行过程中和结束时，输出统计信息 dir = "${HILENS_DATA_DIR}/mb_profile" # profile/trace信息的保存位置 [flow] desc = "passenger detection using head-shoulder detection with yolov7 for local video or rtsp video stream" # 应用的简单描述 [graph] format = "graphviz" # 流程图的格式，当前仅支持graphviz graphconf = """digraph passenger_flow {     node [shape=Mrecord]  queue_size = 4  batch_size = 1     # 定义节点，即功能单元及其属性     input1[type=input,flowunit=input,device=cpu,deviceid=0]  data_source_parser[type=flowunit, flowunit=data_source_parser, device=cpu, deviceid=0]  video_demuxer[type=flowunit, flowunit=video_demuxer, device=cpu, deviceid=0]  video_decoder[type=flowunit, flowunit=video_decoder, device=cpu, deviceid=0, pix_fmt="rgb"]  resize[type=flowunit flowunit=resize device=cpu deviceid="0" image_width=352, image_height=224]  color_transpose[type=flowunit flowunit=packed_planar_transpose device=cpu deviceid="0"]  normalize[type=flowunit flowunit=normalize device=cpu deviceid="0" standard_deviation_inverse="0.0039215686,0.0039215686,0.0039215686"]  head_detection[type=flowunit flowunit=head_detection device=cpu deviceid="0"]     yolov7_post[type=flowunit flowunit=yolov7_post device=cpu deviceid="0"]  object_tracker[type=flowunit, flowunit=object_tracker, device=cpu, deviceid=0]  draw_passenger_bbox[type=flowunit, flowunit=draw_passenger_bbox, device=cpu, deviceid=0]  video_out[type=flowunit flowunit=video_out device=cpu deviceid="0"]     # 定义边，即功能间的数据传递关系     input1:input -> data_source_parser:in_data  data_source_parser:out_video_url -> video_demuxer:in_video_url  video_demuxer:out_video_packet -> video_decoder:in_video_packet  video_decoder:out_video_frame -> resize:in_image  resize:out_image -> color_transpose:in_image  color_transpose:out_image -> normalize:in_data  normalize:out_data -> head_detection:input  head_detection:output -> yolov7_post:in_feat     yolov7_post:out_data -> object_tracker:in_bbox  object_tracker:out_track -> draw_passenger_bbox:in_track  video_decoder:out_video_frame -> draw_passenger_bbox:in_image  draw_passenger_bbox:out_image -> video_out:in_video_frame }"""

整个应用逻辑比较简单，视频解码后做图像预处理，接着是头肩部检测，模型后处理得到头肩框，送入跟踪算法进行实时跟踪与过线判断，最后将跟踪信息画到图像输出到视频中。

4）核心逻辑

本应用的核心逻辑是跟踪与过线判断，体现在 object_tracker 功能单元中，它是一个Stream功能单元，Stream功能单元的概念和案例可以参考 ModelBox AI应用开发——Stream功能单元 。

object_tracker 功能单元的实现代码在object_tracker.py和easy_tracker.py文件中，目标跟踪算法 EasyTracker 根据IoU使用贪心法进行匹配，过线判断逻辑在object_tracker.py的 get_tracking_objects 函数中：

  def get_tracking_objects(self, line_y):  '''从跟踪器中获取跟踪目标，保存到结构化数据中'''         def _is_pass_line(bbox, line_y):  '''根据检测框的中心点与线段的水平位置关系判断是否过线'''  center_y = (bbox[1] + bbox[3]) / 2  return center_y > line_y  tracking_objects = []  # 所有跟踪目标  for track in self.tracker.tracks:             # 只记录CONFIRMED状态的跟踪目标  if track.state != EasyTracker.TrackingState.CONFIRMED:  continue  tracking_obj = {}  # 使用字典保存跟踪目标  tracking_obj["id"] = track.track_id  # 跟踪id  tracking_obj["bbox"] = track.det  # 跟踪框  if not track.passline and _is_pass_line(track.det, line_y):  # 刚好过线  track.passline = True  self.flow_count += 1  tracking_obj["passline"] = track.passline  # 记录过线信息  tracking_objects.append(tracking_obj)  return tracking_objects

可以看到，应用做了简化处理，假设过线统计的线段为水平线段，使用检测框的中心点y坐标与线段的y坐标比较判断是否过线。此处开发者可以进行修改扩展，使得应用可以支持非水平线段的过线判断。

5）三方依赖库

本应用中的画图功能单元以来 pillow 工具包以实现中文输出，ModelBox应用不需要手动安装三方依赖库，只需要配置在 dependencemodelbox_requirements.txt ，应用在编译时会自动安装。另外，中文输出还需要对应的字体库，存放在 data 目录下，画图功能单元初始化时将从此目录加载资源。

6）查看输入输出配置

查看任务配置文件bin/mock_task.toml，可以看到其中的任务输入和任务输出配置为如下内容：：

[input] type = "url" url = "${HILENS_APP_ROOT}/data/passenger_flow.mp4"  # 表示输入源为本地视频文件 [output] type = "local" url = "${HILENS_APP_ROOT}/hilens_data_dir/passenger_flow_result.mp4"  # 表示输出为本地视频文件

即，使用本地视频文件data/passenger_flow.mp4作为输入，统计过线客流后，画图输出到本地视频文件data/passenger_flow_result.mp4中。

7）用启动脚本执行应用

启动应用前执行.build_project.sh进行工程构建，该脚本将编译自定义的C++功能单元（本应用不涉及）、将应用运行时会用到的配置文件转码为Unix格式（防止执行过程中的格式错误）、安装第三方依赖库：

PS ███> .build_project.sh ... PS ███>

然后执行.binmain.bat运行应用：

PS ███> .binmain.bat ...

运行结束后在hilens_data_dir目录下生成了passenger_flow_result.mp4文件，可以打开查看：

可以看到，黄色线段即为过线统计的水平线段，未过线的人使用灰色框标记其头肩部，已过线的使用蓝色框，画面左上角实时显示总的过线客流数量。

3.小结

通过本教程，我们学习了另一类客流统计应用——过线客流统计，通常用于室内出入口，摄像头会架设在高处俯拍，使用头肩部检测可以减少人与人之间的遮挡。

 

点击关注，第一时间了解华为云新鲜技术~