从插上数据线,
到任务自动跑完
这是一份完整的产品能力地图:设备怎么接、画面怎么来、控制怎么下发、批量怎么做、AI 怎么证明结果。 每一项都附上了实际参数与已知边界。
四种接入方式,
同一套设备身份
设备识别以硬件标识为基准,而不是临时端口。同一台手机无论通过 USB 还是无线接入,都保持同一编号与分组,不会产生重复卡片。
USB 延迟最低,适合精细操作;无线把设备数量做起来;OTG 与云手机补齐特殊网络环境。连接异常时,软件分别处理无线调试被关闭、ADB 服务异常与网络抖动。
- 无线重连分阶段退避:1.5 / 3 / 5 / 8 秒,之后固定 12 秒,最多 20 次
- 启动时先轻量探测历史地址,确认可达才进入完整重连
- USB 与无线会话并存时,插回数据线不抢当前会话
- 一键连接修复会重启 ADB,并明确告知“原有投屏已恢复 n/m 台”
- 云手机订阅每 10 秒检查,失败按 5 / 15 / 45 / 120 / 300 秒退避
- 手动断开的云手机在订阅刷新前不会被自动拉起
连接方式 CONNECT
- USB
- 数据线直连 · 延迟最低
- Wi-Fi
- 局域网无线调试 / adb connect
- OTG
- USB 网络共享 / USB 网卡
- 云手机
- 订阅清单 + 网络 ADB
- 身份
- 硬件标识,端口变化不换号
- 默认
- USB 优先,可手动切换
先把画面做稳,
再谈规模
投屏协议、视频解码与图像识别采用成熟的开源实现;设备编排、渲染路径与业务逻辑全部自研,确保高设备数下仍然可控。
DEVICE WALL基于 scrcpy 4.1 固定协议,逐帧剥离传输头;手机旋转时会话信息再次出现,软件会识别并更新画面尺寸。解码走 FFmpeg 单线程低延迟模式,配置包前置到下一帧。
- 零拷贝路径:硬解后的帧直接在显卡上做色彩空间转换并显示
- 按可见性分档:焦点 / 可见 / 保活 / 不推流
- 可见档按卡片尺寸从 720 逐级降到 540 / 360 / 240 / 180
- CPU 持续超过 70% 自动降档,低于 60% 后带防抖回升
- 独立副屏拥有独立会话与显示标识,主屏与副屏可同时操作
| 档位 / 预设 | 触发条件 | 典型参数 |
|---|---|---|
| 流畅 | 手动选择,资源优先 | 480 边长 / 20fps / 4Mbps |
| 均衡 | 默认推荐 | 720 边长 / 30fps / 8Mbps |
| 清晰 | 大屏与精细操作 | 1080 边长 / 60fps / 12Mbps |
| 保活档 | 不可见但仍需保持连接 | 约 144p / 4fps / 1Mbps |
| 不推流 | 明确不需要画面 | 停止视频流,仅保留控制通道 |
一动作,多机跟随
同步控制不是把所有设备接到同一个鼠标事件上。它要按设备分辨率换算坐标、管理主控与跟随角色,并在异常时及时停下。
主控手机收到一次输入后,群控模块把事件按每台跟随设备的画面比例换算,再逐台下发,并按策略加入错峰延迟。语义一致——点的是同一个按钮,而不是同一个像素。
一次选择,按组执行
文件、文字、APK 与 ADB 指令都以分组为作用域。每个文件、每台手机都有独立状态,失败可以单独重试,不必重传已完成部分。
文件传输先写随机命名的临时文件,核验大小一致后才改名为最终文件名;同名文件自动加编号,保留两份。默认保存到手机内部存储的 Download/NuochengCast。
文件分发支持逐个分配、每台都发、按文件名编号三种模式。文字分发会先检测输入焦点:有焦点直接填入,没有焦点则写入手机剪贴板,并明确显示本次采用的方式。
- 多余文字、缺少文字、锁屏或离线目标会在预览中明确列出
- 发送中冻结分配,结果只读;失败重试保留原失败对象与内容
- APK 支持覆盖安装并保留应用数据,适合升级自有应用
- 应用可批量启动、停止、提取安装包或卸载
- ADB 只执行手机端 shell 命令,不接受 adb connect / install 等电脑端命令
限额与默认值 BATCH
- 源文件
- 最多 2000 个
- 传输份数
- 最多 5000 份
- 发送间隔
- 默认 1 秒
- 保存目录
- /sdcard/Download/NuochengCast
- 我的 ADB 指令
- 最多 200 条
- 话术
- 最多 500 条 / 50 分类
录一次,后面交给机器
把你在电脑上对手机的操作实时转换为可读步骤:点击、长按、滑动、按键、等待。回放时按同样的顺序在目标设备上重放。
位置录制不依赖界面模块识别,因此对任何应用都可用;代价是抗变化能力弱——界面布局改变后需要重录。可以在步骤里插入等待、删除某步,或从某一步重新录制。
- 多台手机并行执行,同一任务每台独立记录进度与结果
- 每台可设置 1–10000 遍执行,支持每遍等待与逐台启动间隔
- 支持最多提前 7 天定时开始;运行中可暂停、继续、停止或结束本次
- 可收起为小窗或最小化后台执行,设备墙照常可用
- 中止时释放未完成的触摸手势,避免手机停在“按住”状态
- 删除的任务进入回收目录,可撤销;已完成批次保留最近 100 个
在设备墙或大屏窗口操作一次,动作与时间关系被记录为步骤。
修改等待、删除步骤、从该步重录;输入类步骤可启用文字定位增强。
选择一台或多台手机,设定遍数与节奏,开始执行并查看逐台进度。
历史批次一键再跑,自动跳过离线设备;成功流程可继续保存为模板。
通知,就是触发器
持续读取被监听手机的通知栏内容,按你配置的关键词规则判断;命中后,在收到通知的那台手机上运行指定任务。
NOTIFICATION规则支持同一台手机、同一关键词的冷却时间,避免同一条通知反复触发任务。监听范围可以单台,也可以整组;新增设备可以“把组内还没监听的加进来”。
- 轮询周期在界面上以“每 N 秒读一次”的形式给出
- 关键词会匹配通知的标题、正文与应用名
- “发一条测试通知”验证从手机通知到软件识别的整条通道
- 随时停止监听;停止后不再读取通知栏内容
- 命中规则后调用已有的自动操作任务,不需要写脚本
规划、执行、验证,
一个闭环
AI 要同时满足三件事:理解意图、真正操作手机、证明做对了。这决定了架构必须是“规划 + 执行 + 验证”,而不是单纯的对话模型。
AI WORKBENCH入口层接收自然语言、语音或多选设备指令;总控低频规划,把需求拆成设备级任务;持久队列负责优先级、并发与模型配额;每台设备独立观察画面、决定动作、执行并留存证据。
- 任务与状态写入本地数据库,关闭窗口或重启程序不丢失
- 每台设备同一时刻只有一个执行主体,避免任务互相争抢
- 长任务在节点边界保存检查点,中断后可续接
- 全局模型调用配额默认 5 路,防止多设备同时请求造成限流
- 验证成功的行为可保存为可复用脚本或任务模板
| 层级 | 职责 | 关键点 |
|---|---|---|
| 入口层 | 接收自然语言、语音或多选设备指令 | AI 智控、卡片 AI 按钮、批量与整组入口、AI 助手面板 |
| 规划层(总控) | 把需求拆解为设备级任务,决定先后与优先级 | 低频决策;一次规划输出有限动作;不直接操作手机 |
| 调度层 | 持久队列、优先级、并发与模型配额 | 重启不丢;每台设备只有一个执行主体 |
| 执行层(设备智能体) | 每台设备独立观察、决定、执行并记录 | 画面采样、动作下发、结果断言、证据留存 |
| 执行器 | 按场景选择最合适的手段 | 未知界面交给模型;固定界面走快速技能与本地视觉检测 |
| 控制通道 | 最终把动作落地到手机 | 复用投屏控制通道,无需额外手机端组件 |
说一句话,安排任务
语音链路包含唤醒、识别、理解与播报。界面上的语音球实时显示状态,并支持在软件播报时立即打断、继续聆听。
云手机与真机,
同一张墙
云手机通过订阅方式接入:软件定期读取订阅地址返回的设备清单,逐台建立网络 ADB 连接。连接建立后,云手机在设备墙上的行为与真机一致。
数据留在本机,
授权跟着机器
授权采用“机器码 + 签名令牌”:机器码由本机硬件信息生成,令牌带数字签名并包含授权单号、到期时间、投屏设备数与能力项。
软件用内置公钥验证签名,令牌无法伪造;额度与能力是否放行以服务端确认为准。激活后需联网完成一次确认,之后每 10 分钟心跳一次。
- 未授权时最多 2 台设备同时投屏,超出弹出激活引导
- 授权状态可读:已授权 / 未授权 / 已过期 / 未生效 / 绑定其他机器 / 令牌无效 / 已停用
- 断网时沿用上次确认,最多 7 天;联网后自动恢复
- 对系统时间异常回拨有专门处理
- 发布版本对关键程序文件做完整性校验,校验不通过会退出
- 模型密钥、机器码与授权令牌由 Windows 用户级 DPAPI 加密
数据与出网 PRIVACY
- 设备台账
- 本地数据库
- 任务与录制
- 本地数据库 / 任务目录
- 偏好设置
- 本地 JSON
- 密钥
- DPAPI,仅当前 Windows 用户
- 出网范围
- 模型服务 / 云订阅 / 更新 / 市场 / 授权
- 上传云端
- 设备台账与任务记录不上传
界面、主题与升级
界面支持 20 种语言与 24 个语言入口,提供深色与浅色主题。客户端更新由版本清单驱动,安装包经长度与 SHA-256 校验后才启动安装。
了解边界,
比了解功能更重要
以下是当前版本明确的能力边界,建议在方案评估阶段就纳入考量。参数与默认值可能随版本演进调整,以软件界面与设置为准。
| 范围 | 边界说明 |
|---|---|
| 投屏协议 | 基于 scrcpy 4.1 固定协议,选项不随版本演进;手机端需能推流,绝大多数现代安卓机支持。 |
| 独立副屏 | 需要 Android 10 及以上;显示密度等参数修改后需重启副屏生效。 |
| 自动操作 | 基于位置与时间录制,不具备找图/识字/条件判断能力;界面布局变化后需重录;电脑端回放不支持文字输入。 |
| AI 任务 | 成功率受界面复杂度影响;首次执行建议单台验证;最终页面需要人工确认,未确认不会标记为“已验证”。 |
| AI 运行组件 | 依赖本地运行组件与模型服务;组件缺失或未配置时,AI 功能会明确拒绝执行,其余功能正常。 |
| 语音交互 | 默认外放半双工,自然插话能力在部分场景下仍在完善。 |
| 云手机 | 仅支持订阅服务商提供的协议;云手机通常共享授权投屏额度。 |
| ADB 指令 | 只执行手机端 shell 命令;实际效果受手机型号、系统版本与权限限制。 |
| 批量规模 | 单批任务与文件分发有明确上限(任务引擎 256 台、源文件 2000 个 / 传输份数 5000);达到上限时拒绝提交并提示。 |
| 多语言 | 界面支持 20 种语言与 24 个语言入口;部分内部提示、脚本内容与原始日志保持中文。 |
| 脚本市场 | 当前版本处于开发中状态,暂不可用。 |
| 平台 | 仅提供 Windows 10 / 11 64 位客户端;暂不支持 macOS 或 Linux。 |