SDK 文档 / 07 · 输入(触摸)

07 · 输入(触摸)

这台机器没有 wl_seat,wayland 客户端收不到任何输入。SDK 直接打开 evdev 设备读struct input_event,用 EVIOCGRAB 独占,再把面板坐标换算成画布坐标。

7.1 一个设备上其实有两块屏、两套触摸

实测的输入设备(/proc/bus/input/devices):

设备名 面板量程 对应屏 备注
fts_ts_3269 X 0..400 / Y 0..712 后屏(主屏) 我们要的那个
fts_ts X 0..341 / Y 0..341 前屏(副屏 342×342) 选错就"点哪儿都偏"
...pen —— 手写笔 不处理

SDK 的选择逻辑(pick_target()):

  1. 扫 /dev/input/event0..63,只保留支持 ABS_MT_POSITION_X 的设备;
  2. 读每个设备的 EVIOCGABS 拿到量程;
  3. 用量程去匹配某个 output 的 mode(允许宽高互换,容差 4px):匹配上的加 1000 分;
  4. BBAPP_TOUCH(指定设备路径)加 100000 分,BBAPP_OUTPUT(指定 output 名)用来过滤候选;
  5. 取最高分;没匹配上就取面积最大的 output 兜底。

日志里能直接看到决策过程:

[bbapp] touch /dev/input/event1 'fts_ts' MT 342x342 (无匹配) score=2
[bbapp] touch /dev/input/event2 'fts_ts_3269' MT 400x712 -> 有匹配屏 score=1000
[bbapp] 主屏 712x400(面板 400x712, 输出 'DSI-1' mode 400x712, rot=0)

7.2 独占(EVIOCGRAB)

ioctl(ev_fd, EVIOCGRAB, 1);   /* SDK 在设置完 surface、全屏之后做 */

日志里的两种结果:

[bbapp] 触摸独占成功 (0..399, 0..711)
[bbapp] EVIOCGRAB 失败: Device or resource busy(触摸会和 DJI 抢)

7.3 坐标映射

面板是竖的(400 宽 × 712 高),画布是横的(712 宽 × 400 高),所以必须换轴 + 翻转:

/* 先归一化到 mode 空间 */
u = (raw_x - minX) * (mode_w - 1) / (maxX - minX);   /* 0..399 */
v = (raw_y - minY) * (mode_h - 1) / (maxY - minY);   /* 0..711 */

/* 再按 rot 映射到画布 */
rot 0   : x = v,               y = (mode_w - 1) - u
rot 180 : x = (mode_h - 1) - v, y = u
rot 90  : x = u,               y = v
rot 270 : x = (mode_w - 1) - u, y = (mode_h - 1) - v

最后把结果夹到 0..SW-1 / 0..SH-1,四舍五入取整。

你不需要抄这段——tap(x, y) 收到的已经是画布坐标(0..711, 0..399)。写下来是为了两点:

  1. 坐标看起来"镜像"了(上下反)、像 bug,其实这是和 bbui 一致的正确行为;
  2. 自己写调试工具注入事件时,要用面板原始坐标,别用画布坐标。

快速换算表(rot=0,本机量程正好 0..399 / 0..711):

画布 (x, y) 面板 (raw_x, raw_y)
左上 (0, 0) (399, 0)
右上 (711, 0) (399, 711)
左下 (0, 399) (0, 0)
右下 (711, 399) (0, 711)
中间 (356, 200) (199, 356)

公式:raw_x = 399 - y,raw_y = x。

7.4 点击是怎么判定的

SDK 维护一个只有 4 个状态变量的状态机:

static int down, moved, have_start;
static int cur_x, cur_y, start_x, start_y;

处理流程(handle_touch()):

事件 动作
ABS_MT_TRACKING_ID >= 0 down = 1; moved = 0; have_start = 0(按下,但暂不算起点)
ABS_MT_POSITION_X/Y 更新 raw_x/raw_y
SYN_REPORT(且 down) 映射坐标 → cur_x/cur_y;若 have_start==0 则把当前点记为起点,否则判断位移是否 > 12px
ABS_MT_TRACKING_ID < 0 或 BTN_TOUCH 0 down = 0;若 !moved && have_start → 触发 tap(cur_x, cur_y)

为什么起点要推迟到第一个 SYN_REPORT(这是踩过的坑,注释里写了):真实手指和注入工具常常先发 TRACKING_ID 再发 POSITION,那一刻raw_x/raw_y 还是上一次的残留值。如果当场记起点,起点就落在上一个按下的位置,之后每次抬起都被判成"拖动了很远" → 表现就是"点不到"。

于是 tap 的语义是:

按下 → 抬起 之间,位移从未超过 12 px(任意方向),且在「返回」区域之外。

因此:

手势 结果
轻点 tap
按住 3 秒再抬起(没移动) tap(没有长按事件,自己用时间差判断)
拖 30 px 再抬起 不触发 tap(也没有滑动回调,见 7.6)
按下后移出屏幕再抬起 位移超阈值,不触发
两指同时按 见 7.6,行为未定义

7.5 返回键优先

static void tap_at(int x, int y) {
    if (x >= 6 && x < 6+72 && y >= 4 && y < 4+26) { bbapp_quit(); return; }
    if (g_app->tap && g_app->tap(x, y)) need_draw = 1;
}

返回键的判定在你的 tap 之前,所以:

禁区:(6,4) 起 72×26,实际按 78×34 留白。

7.6 明确的限制

限制 原因 变通
没有多点触控 只跟踪一组 raw_x/raw_y,第二根手指会覆盖第一根 需要双指缩放就别做
没有滑动/拖拽事件 位移只用于"取消点击",不动超过 12px 就不会给你任何回调 做不了真正的拖拽,见下面
没有长按事件 只有抬起时的一次 tap,按下时刻没有暴露 无法可靠实现;tap 里只能拿到抬起时间
没有双击判定 没有事件队列 自己记"上次 tap 的时间与坐标",间隔 < 300 ms 且距离 < 20 px 视为双击
触摸期间不区分手指/笔 pen 设备被排除 ——

想实现拖拽?现在只能这样

tap 只在抬起时给一次坐标,所以"拖动选择进度"这类交互当前做不了。如果必须做,有两个临时办法:

  1. 在 tick 里周期性地读取——不行,SDK 没暴露 cur_x/cur_y;
  2. 自己开触摸设备——不行,SDK 已经 EVIOCGRAB 独占了。

结论:拖拽/滑动要等 SDK 加 move 回调(已在路线图里)。当前设计把应用限制在"点按驱动"的交互上,这不是疏漏,是为了先把最稳的一条路走通。

7.7 调试点击

看日志

每次成功触发 tap 都会记一行(在 tap_at 里,返回键那次不记):

adb shell tail -f /blackbox/apps/com.example.hello/app.log
# [bbapp] tap 356,314

坐标不对先看这行:是 0..711/0..399 说明映射正常;是 0..399/0..711 说明你拿到的是别人的日志或旧版本 SDK。

注入点击(自动化/无手指时)

仓库里的 tools/tapinj:

# 编到设备上(一次即可)
zig cc -target aarch64-linux-gnu.2.28 -O2 tools/tapinj.c -o tools/tapinj.aarch64
adb push tools/tapinj.aarch64 /blackbox/tmp/tapinj

# 注入一次点击(**面板坐标**:raw_x = 399 - y, raw_y = x)
adb shell "/blackbox/tmp/tapinj /dev/input/event2 200 356 40"

第三个参数是按住时长(ms),默认很短。用它就能在没有真手指的情况下验证"应用到底能不能收到点击"。

三个常见症状

症状 先看什么
完全没反应,日志也没有 tap 日志里有没有 触摸独占成功;有没有 没有 MT 触摸设备
点 A 处触发 B 处坐标 是不是选中了 fts_ts(342×342);用 BBAPP_TOUCH=/dev/input/eventN 指定
偶发点不到(十次缺一次) 位移阈值 12 px 太敏感,点的时候手别抖;或确认走的是最新 SDK(旧版起点 bug 已修)

下一步 → 08 运行时环境:目录、环境变量、cgroup、权限边界。

bbui 第三方应用 SDK · API 1 · 本文档随仓库 docs/sdk 自动生成