HOT3D 构建 GT

01 · 数据从哪里来

当前候选池取自固定版本 HOT3D-Clips 的 train_quest3 清单。官方清单含 1,288 段，本地已完整保存并校验其中 1,281 段，覆盖 7 位参与者、133 段录制、192,150 帧。Test200 是在这些候选中构建的平台评测集合，并非 HOT3D 官方 test split。

候选池中的 annotations/*.tar.gz 只是从原 TAR 逐字节抽取的 JSON 成员，不包含图像，也不是重新标注的 GT。解码使用已同步的 MANO 资产及固定 toolkit；不通过模型预测反推 GT。

官方背景：HOT3D Toolkit · 固定版本 Hand Tracking Toolkit。本报告的筛选阈值和 Test200 规则以平台冻结证据为准。

02 · GT 如何筛选

筛选只依赖 GT 参数、相机投影与人工图像检查。预测误差、预测缺手、榜单分数均不参与筛选或候补排序。

第一层：MANO 与 UmeTrack 的指尖一致性

在同一帧、同一只手、同一坐标系内，计算两种参数化手模型对应五个指尖的绝对欧氏距离，单位 mm。不做刚体对齐，腕点不纳入这层筛选。

d(h, finger, t) = 1000 × ‖MANO_official_tip − UmeTrack_tip‖₂
D = max(h, finger) median_t d(h, finger, t)
T = max(h, finger) P95_t d(h, finger, t)

第二层：小手与低活动同时命中

每只手独立检查 60 帧窗口，步长 15 帧，起点为 0、15、…、90。窗口至少包含 48 个 eligible 手帧，以下两个条件同时成立时命中；任一只手任一窗口命中，剔除整个 Case。

origin = P[5]                              # 腕点
x = normalize(P[8] − P[17])               # 食指 MCP − 小指 MCP
v = P[11] − P[5]                          # 中指 MCP − 腕点
y = normalize(v − dot(v, x) × x)
z = cross(x, y)
local = (P − P[5]) @ stack(x, y, z)
center = coordinatewise_median(local over eligible frames)
shape_t = mean_j ‖local[t,j] − center[j]‖₂ × 1000
shape_P95 = percentile(shape_t, 95, method="linear")

原 Test200 的复筛中，这条规则命中 31 个 Case、183 个窗口。这是对原 200 个 Case 的结果，不是对全候选池的统计。最新 200 个 Case 的同规则扫描未命中。

第三层：人工可见性审核与候补

逐段查看双目原图、四个手部特写和三维骨架，记录遮挡、不可见、出画、贴合异常等问题。官方 crop 条目表示手帧可计分，不能替代真实可见性判断；数值门槛通过后仍可能被人工剔除。

保留通过审核的原 Case。候补在满足相同数值门槛和既有剔除清单后，按当前参与者数量、参与者 ID、当前 sequence 数量、拇指 P95、D、T、clip ID 确定性排序；每段 sequence 最多 5 个 Case。候补还须经过图像预检及人工确认。

03 · 参数如何转换为冻结 GT

MANO 解码

读取个体 10 维手形、逐帧 15 维 PCA 姿态及腕部旋转/平移，使用对应左右手 MANO 模型做前向计算。沿用 toolkit 的左手 shapedirs 修正及非 flat hand mean 配置，得到每只手的 778 个顶点与原生关节。这里是 GT 参数解码，不是运行 ScaleHP 预测模型。

保留前 16 个 MANO 关节，追加五个 ScaleHP 指尖顶点，再按下节的明确顺序重排。左右手使用相同语义索引，不通过预测匹配交换左右手。

世界坐标 → 左相机 native 坐标

P_ref = inverse(T_world_from_cam0) × P_world
P_cam1 = inverse(T_world_from_cam1) × T_world_from_cam0 × P_ref

最终 points_scalehp21 固定为逐帧左相机 1201-1 的 native 坐标，单位 米。右相机投影使用该帧外参变换。3D 不因为图像旋转而旋转坐标轴，显示误差时才从米转为毫米。

双目投影与图像方向

使用原生相机模型投影（保留畸变模型），每路分别从世界点得到 native 像素，再对像素和原图做顺时针 90° 旋转。若 native 图像为 W×H：

(u_upright, v_upright) = (H − 1 − v_native, u_native)
(W_upright, H_upright) = (H, W)

只做 CW90，不额外缩放、裁剪、拉伸或去畸变。二维点使用 upright 像素坐标；越界/不可投影点保留可用性语义，不能把它们拉回图像内以制造可见性。

可计分与时间同步

每手帧的 eligible 由官方 hand_crops 目标条目确定，并核对 MANO 参数是否可解码。缺少官方目标的手帧可有几何数据，但不据此升级为 eligible。逐帧保留 ref_timestamp_ns；视频、标定、GT 和播放帧编号共用 0…149 的身份。

04 · ScaleHP 的 21 点取点规则

此处“ScaleHP”指平台冻结的 scalehp-mano21-tips-v1 点定义。索引从 0 开始。五个指尖在前，腕点是 5，拇指 CMC 是 20。

tips = [744, 333, 444, 555, 672]   # 拇指、食指、中指、无名指、小指
raw = concat(J_mano[:16], V_mano[tips])
order = [16,17,18,19,20,0,14,15,1,2,3,4,5,6,10,11,12,7,8,9,13]
points_scalehp21 = raw[order]

05 · 如何冻结、验证与评分

先在独立开发数据根构建，再发布新版本目录。对于沿用 Case，保留 GT、标定、时间戳、视频输入及预览的原始字节；新增 Case 从同一来源解码 GT、旋转原 JPG 并编码为 FFV1 无损 MKV。PNG 精确帧通过按帧号解码该 MKV 获得。

参数重建支持 --verify-against：核对 150 帧身份、eligible 和坐标，XYZ 最大差异要求 ≤10⁻⁷ m；独立投影核对要求 <0.02 px。冻结/发布验证绑定来源、标定、时间戳、清单和文件身份，拒绝覆写已有版本。

Abs-MPJPE21 不做对齐；RR-MPJPE21 分别减去 GT/预测的腕点 5，仍对全部 21 点求均值，包含归零的腕点。当前报告只在 GT、输入、标定和时间戳完全一致的 199 个 Case 上对照历史 v2 预测；新增 clip-000607 无预测。

06 · 当前题集与版本边界

当前参与者分布：P0002 17、P0003 53、P0010 22、P0013 50、P0017 24、P0018 14、P0021 20。每 sequence 最多 5 个 Case。

新题集改变的是样本集合及其冻结身份，不改变 ScaleHP 21 点定义、米制 native 坐标或原八项评分口径。199 个重叠 Case 的历史分数不合成为“新 200 Case 成绩”；完整 v3 成绩应来自新的完整提交。

Test200 的选样不是随机抽样，也不保证与模型训练参与者隔离。解读结果时应同时报告题集版本与来源；MANO/UmeTrack 一致性和人工可见性审核均有各自局限。

07 · 实现入口与复现路径

PYTHONPATH=src python -B scripts/decode_hot3d_gt.py \
  --pool /path/to/hot3d-gt-candidate-pool \
  --clip-id clip-000607 \
  --output /path/to/own-dev-root/tmp/clip-000607.jsonl \
  --verify-against /path/to/frozen/clip-000607/gt.jsonl

PYTHONPATH=src python scripts/screen_hot3d_gt.py \
  --gt /path/to/own-dev-root/tmp/clip-000607.jsonl \
  --calibration /path/to/frozen/clip-000607/calibration.json

来源校验保留已有参数、GT 与冻结证据身份检查。已有大输入的校验回执可以在满足冻结发布工具的复用条件时显式复用；不把复用回执描述成重新计算了 SHA，也不为展示报告反复扫描原 TAR/MKV。

固定版本 GT 解码实现 · 固定版本小手筛选实现 · 题集规范与版本记录（内部仓库链接需相应访问权限）