教程:安装手机 App,让智能体使用你的 Android 手机
Ipsion 手机 App 就是装在手机上的控制台:你的对话、话题、任务和 Needs you(待你处理)都在里面。在 Android 手机上,它还能多做一件事:让你的智能体看到手机屏幕,并在你允许时,替你在应用里点按和输入。这部分功能刚推出,如果某一步和你看到的不一样,请发邮件到 support@ipsion.ai 告诉我们。
第 1 部分:安装 App
App 目前还没有上架 App Store 或 Google Play。Alpha 内测期间:
- iPhone: Apple 会给你发一封 TestFlight 邀请邮件。先从 App Store 安装免费的 TestFlight App,然后在 iPhone 上打开这封邀请,点击 安装(Install)。没收到邀请?写信到 support@ipsion.ai,我们会把你加进来。
- Android: 在手机上打开网页版控制台 ipsion.ai/trial/console,打开左上角的菜单,点击菜单最下面的下载按钮,再点击 Android phone(Android 手机)。也可以在电脑上打开 Live(实时画面),再打开 Local Phone(本地手机),用手机相机扫描那里显示的二维码。打开下载好的文件,点击 安装。第一次安装时,Android 会提示你的浏览器不允许安装应用:点击 设置(Settings),打开 允许来自此来源的应用(Allow from this source),点返回箭头,再点击 安装。如果 Google Play 保护机制(Google Play Protect)询问这个应用,选择仍要安装(英文界面为 Install anyway)。




打开 App,用你在网页上用的同一个账号登录。
iPhone 到这里就装好了。 让智能体使用你的手机,只支持 Android。在 iPhone 上,你可以和智能体对话、处理 Needs you,并在 Live 里看它们工作。
第 2 部分:连接你的 Android 手机
- 在 App 首页,点击手机图标,也就是顶部那排图标里的最后一个。会打开一个标题为 Android 的页面。

- 在 Let your agent use this phone(让智能体使用这台手机)下面,点击 Connect this phone(连接这台手机)。App 会问“Connect this phone to (your server)?”(要把这台手机连接到你的服务器吗?),并说明这样做之后智能体能做什么。点击 CONNECT THIS PHONE(确认连接)。
- 这时 App 显示 Connected(已连接)和“Not shared. Your agent sees nothing and can do nothing on this phone.”(未共享。智能体在这台手机上什么也看不到,什么也做不了。)在控制台里,这台手机会出现在 Live、Local Phone 下,状态是“Connected, not sharing”(已连接,未共享)。


第 3 部分:共享屏幕
- 还是在 App 的这个页面,点击 Share my screen(共享我的屏幕)。
- Android 每次都会问:“要开始使用 Ipsion 录制或投放内容吗?”(Start recording or casting with Ipsion?,不同 Android 版本的措辞可能略有不同)。整个屏幕(Entire screen)保持不变,点击 开始(Start)。
- 这时 App 显示“Your agent can see this screen. It cannot tap or type.”(智能体能看到这个屏幕,但不能点按或输入。),按钮变成红色的 Stop sharing(停止共享)。通知栏里会一直有一条通知“Your agent can see this screen”(智能体能看到这个屏幕),带一个 Stop(停止)按钮。



现在智能体能看到手机屏幕,但不能点按或输入。手机锁屏时,它什么也看不到:控制台会显示“Locked. Unlock the phone to let your agent see it.”(已锁屏。解锁手机后智能体才能看到。)
第 4 部分:让智能体点按和输入
第 1 到 4 步只需要做一次。Android 把这个开关当作敏感权限,所以对从文件安装的应用,会先把它藏在“受限制的设置”后面。看起来像出错了,其实不是。手机需要先设好锁屏(PIN 码、图案或密码)。
- 在 Tap and type(点按和输入)下面,点击 Open Accessibility settings(打开无障碍设置)。在 已下载的应用(Downloaded apps)下面,点击 Ipsion agent control。它是灰色的,并显示“由受限设置控制”(Controlled by Restricted Setting)。
- Android 会显示“系统已拒绝向此应用授予访问权限”(App was denied access)。点击 确定(OK)。这一下不要跳过:只有看过一次这条提示,下一步里的选项才会出现。


- 打开手机的 设置,再打开 应用(Apps),然后打开 Ipsion。点击右上角的三个点,点击 允许受限制的设置(Allow restricted settings),然后输入你的锁屏密码。Android 会确认:“已允许“Ipsion”使用受限制的设置”(Restricted settings allowed for Ipsion)。


- 回到 设置、无障碍(Accessibility)、Ipsion agent control。打开 使用“Ipsion agent control”(Use Ipsion agent control)。Android 会问“要允许“Ipsion agent control”完全控制您的设备吗?”(Allow Ipsion agent control to have full control of your device?):点击 允许(Allow)。


打开这个开关,本身并不会让智能体获得任何权限。只有在手机已连接、屏幕正在共享、而且你按下了 Allow control(允许控制)时,App 才能操作。
开关打开后,每次共享时,屏幕顶部都会出现一条红色横条:“Your agent can see this screen”,带有 Allow control 和 Stop。在 App 的 Tap and type 下面,卡片开头会变成“Agent control is on”(智能体控制已开启)。
- 屏幕共享期间,点击红色横条上的 Allow control。横条会变成“Your agent is controlling this phone”(智能体正在控制这台手机),带有 Pause(暂停)和 Stop,屏幕四周会出现一圈红框。现在智能体可以点按和输入了。


- 像平常一样,在对话里把任务交给智能体:“在我的手机上打开买菜 App,把上周买的东西再下一单”。你可以在 Live、Local Phone 下这台手机的标签页里看着它做。
Ipsion agent control 的设计是:不碰 Ipsion App 本身、设置、权限弹窗和密码输入框,手机锁屏时也不操作。登录和密码仍然由你自己输入。
如果智能体 10 分钟内没有在手机上做任何操作,控制会自动关闭,智能体回到只能看的状态。再按一次 Allow control,就能把控制交还给它。
第 5 部分:接管或停止
- 红色横条上的 Pause 会让智能体立刻停止操作。横条随后显示“Your agent is paused: it can see this screen”(智能体已暂停:仍能看到这个屏幕);点 Resume(继续)就把控制交还给它。
- 控制台里这台手机标签页上的 Take over(接管)会让智能体停下来,由你自己使用手机;Hand back(交还)会把控制交回给智能体。
- 点击红色横条或通知里的 Stop、App 里的 Stop sharing,或者控制台里的 Stop,都会立刻结束共享。随后 App 显示“Stopped on this phone.”(已在这台手机上停止。)
- 要彻底移除这台手机,在 App 里点击 Disconnect this phone(断开这台手机),再点 DISCONNECT(断开连接);或者在控制台里这台手机的卡片上点击 Revoke(撤销)。


注意事项
- 智能体在手机上工作时,保持手机解锁、屏幕亮着。
- 手机重启后,或者 App 被强行停止后,Android 可能会再次关闭 Ipsion agent control。重做第 4 部分的第 4 步就行,不需要重做第 1 到 3 步。
- 在三星、小米等手机上,菜单名称可能不一样,例如是“已安装的应用”而不是“已下载的应用”。步骤顺序是一样的。在三星手机上,Auto Blocker(自动拦截,在“设置”、“安全和隐私”里)开着的时候,会阻止从文件安装应用。
- 智能体使用的是手机上已经登录的应用和账号。只在你愿意批准的任务上允许控制,并且前几次在旁边看着。
- 也想让它使用你的电脑?请看教程:安装 Mac 或 Windows App,让智能体使用你的电脑。
没有找到答案?发邮件到 support@ipsion.ai,说说你当时想做什么。