直接白嫖腾讯搞机神器!PhoneHarness 开源大礼包:全套工作流+顶级安全评测集免费领

导语:直接上干货!腾讯联合港中文等高校开源了手机 Agent 执行与评测框架 PhoneHarness,全套核心资源开放免密下载。

别再瞎猜 AI 手机到底行不行了!腾讯混元联合香港中文大学、清华大学等顶尖机构,直接把全新研发的 PhoneHarness 手机 Agent 混合动作空间执行框架与评测基准全套开源了!

这次官方不仅大手笔开源了底层执行框架,连带核心的 Benchmark 真实测试数据集也同步挂在 Github 和 HuggingFace 上,全套核心资产无需门槛直接白嫖。废话不多说,我们直接上资源链接和极简保姆级使用步骤!

一、 零门槛核心资源一键直达

二、 实操拆解:手机 Agent 执行三大 workflow 演示

传统的手机 Agent 评测往往偏向于让模型在屏幕上“瞎点”(GUI)。而 PhoneHarness 引进了 Mixed-action(混合动作空间),支持 CLI 命令行、GUI 视觉界面和 MCP(模型上下文协议)工具的三维协同,实机搞机爽感直接拉满:

  • Demo 1|CLI-first 极速执行:Agent 启动后先走系统底层命令读取运行状态,在静默状态下秒判断是否跳转 GUI。[IMG_1]
  • Demo 2|Mixed workflow 混合流:调用 MCP 工具完成跨源检索,无缝配合后台 GUI 进行输入,最后通过 Verifier 进行结果确认。[IMG_2]
  • Demo 3|Virtual display 后台静默:直接开启虚拟后台显示和执行,不占屏幕,保留最完整的操作链路和安全审计证据。[IMG_3]

三、 PhoneHarness 混合动作空间优势深析

相比单纯在屏幕上划来滑去的传统方案,这套框架让智能体在执行过程中有了极佳的应变策略:

[IMG_4]

  • 系统级 CLI 命令:涉及手机状态查询、本地文件创建等确定性高的场景,直接发底层命令,操作成功率几乎 100%。
  • 原生 GUI 代理:当进入复杂的第三方 App 内部交互时,灵活切换至视觉识别机制进行精准点击与跨页流转。
  • MCP 辅助协议:一键调度 Host-side tools 进行快速检索、文本转化、甚至发送系统级邮件和日程。[IMG_5]

四、 怎么严评安全与执行结果?

很多评测只看 “UI 看起来对不对”,PhoneHarness Bench 则是看副作用执行证据链。它能够全面分析智能体的多项表现:

[IMG_6]

  • 副作用验证(Verifier):文件是否生成、设置是否被更改、邮件是否真的发出,拒绝模型在回答中“画饼”。
  • 失败自动归因:详细记录 CLI 命令、MCP 记录以及 GUI 点击的全轨迹,失败分析一步到位。[IMG_7]
  • 执行步数和空间拆解:清晰判断 Agent 是否走了弯路,科学拆解每一项子目标的计算损耗。[IMG_8][IMG_9]

想要马上体验超强手机智能评测框架的开发者,赶紧点击上方的 GitHub 进行 clone,并导入 HuggingFace 数据集跑通你的第一个实机 workflow 吧!

© 版权声明

相关文章