帮助中心 · 入门

EN中文

教程:安装手机 App,让智能体使用你的 Android 手机

Ipsion 手机 App 就是装在手机上的控制台:你的对话、话题、任务和 Needs you(待你处理)都在里面。在 Android 手机上,它还能多做一件事:让你的智能体看到手机屏幕,并在你允许时,替你在应用里点按和输入。这部分功能刚推出,如果某一步和你看到的不一样,请发邮件到 support@ipsion.ai 告诉我们。

大约一分钟看完整个 Android 部分:安装、连接、共享屏幕、允许控制、暂停和停止。

第 1 部分:安装 App

App 目前还没有上架 App Store 或 Google Play。Alpha 内测期间:

在电脑上:Live,Local Phone。用手机相机扫描二维码。
在电脑上:Live,Local Phone。用手机相机扫描二维码。
Android:下载箭头在网页版控制台菜单的最下面。
Android:下载箭头在网页版控制台菜单的最下面。
Android,仅第一次需要:允许从浏览器安装应用,再点击安装。Android,仅第一次需要:允许从浏览器安装应用,再点击安装。
Android,仅第一次需要:允许从浏览器安装应用,再点击安装。

打开 App,用你在网页上用的同一个账号登录。

iPhone 到这里就装好了。 让智能体使用你的手机,只支持 Android。在 iPhone 上,你可以和智能体对话、处理 Needs you,并在 Live 里看它们工作。

第 2 部分:连接你的 Android 手机

  1. 在 App 首页,点击手机图标,也就是顶部那排图标里的最后一个。会打开一个标题为 Android 的页面。
手机图标是顶部那排图标里的最后一个。
手机图标是顶部那排图标里的最后一个。
  1. 在 Let your agent use this phone(让智能体使用这台手机)下面,点击 Connect this phone(连接这台手机)。App 会问“Connect this phone to (your server)?”(要把这台手机连接到你的服务器吗?),并说明这样做之后智能体能做什么。点击 CONNECT THIS PHONE(确认连接)。
  2. 这时 App 显示 Connected(已连接)和“Not shared. Your agent sees nothing and can do nothing on this phone.”(未共享。智能体在这台手机上什么也看不到,什么也做不了。)在控制台里,这台手机会出现在 Live、Local Phone 下,状态是“Connected, not sharing”(已连接,未共享)。
第 2 步:确认连接。第 3 步:已连接,还没有共享任何内容。第 2 步:确认连接。第 3 步:已连接,还没有共享任何内容。
第 2 步:确认连接。第 3 步:已连接,还没有共享任何内容。

第 3 部分:共享屏幕

  1. 还是在 App 的这个页面,点击 Share my screen(共享我的屏幕)。
  2. Android 每次都会问:“要开始使用 Ipsion 录制或投放内容吗?”(Start recording or casting with Ipsion?,不同 Android 版本的措辞可能略有不同)。整个屏幕(Entire screen)保持不变,点击 开始(Start)。
  3. 这时 App 显示“Your agent can see this screen. It cannot tap or type.”(智能体能看到这个屏幕,但不能点按或输入。),按钮变成红色的 Stop sharing(停止共享)。通知栏里会一直有一条通知“Your agent can see this screen”(智能体能看到这个屏幕),带一个 Stop(停止)按钮。
第 2 步:保持“整个屏幕”,点击“开始”。第 3 步:智能体能看,但不能动。第 2 步:保持“整个屏幕”,点击“开始”。第 3 步:智能体能看,但不能动。
第 2 步:保持“整个屏幕”,点击“开始”。第 3 步:智能体能看,但不能动。
共享期间这条通知一直都在。点这里的 Stop 会立刻结束共享。
共享期间这条通知一直都在。点这里的 Stop 会立刻结束共享。

现在智能体能看到手机屏幕,但不能点按或输入。手机锁屏时,它什么也看不到:控制台会显示“Locked. Unlock the phone to let your agent see it.”(已锁屏。解锁手机后智能体才能看到。)

第 4 部分:让智能体点按和输入

第 1 到 4 步只需要做一次。Android 把这个开关当作敏感权限,所以对从文件安装的应用,会先把它藏在“受限制的设置”后面。看起来像出错了,其实不是。手机需要先设好锁屏(PIN 码、图案或密码)。

  1. 在 Tap and type(点按和输入)下面,点击 Open Accessibility settings(打开无障碍设置)。在 已下载的应用(Downloaded apps)下面,点击 Ipsion agent control。它是灰色的,并显示“由受限设置控制”(Controlled by Restricted Setting)。
  2. Android 会显示“系统已拒绝向此应用授予访问权限”(App was denied access)。点击 确定(OK)。这一下不要跳过:只有看过一次这条提示,下一步里的选项才会出现。
第 1、2 步:开关一开始是灰色的。点它一次,再点确定。第 1、2 步:开关一开始是灰色的。点它一次,再点确定。
第 1、2 步:开关一开始是灰色的。点它一次,再点确定。
  1. 打开手机的 设置,再打开 应用(Apps),然后打开 Ipsion。点击右上角的三个点,点击 允许受限制的设置(Allow restricted settings),然后输入你的锁屏密码。Android 会确认:“已允许“Ipsion”使用受限制的设置”(Restricted settings allowed for Ipsion)。
第 3 步:Ipsion 的应用信息,三个点,允许受限制的设置。第 3 步:Ipsion 的应用信息,三个点,允许受限制的设置。
第 3 步:Ipsion 的应用信息,三个点,允许受限制的设置。
  1. 回到 设置、无障碍(Accessibility)、Ipsion agent control。打开 使用“Ipsion agent control”(Use Ipsion agent control)。Android 会问“要允许“Ipsion agent control”完全控制您的设备吗?”(Allow Ipsion agent control to have full control of your device?):点击 允许(Allow)。
第 4 步:Android 自己的提示,之后开关就打开了。第 4 步:Android 自己的提示,之后开关就打开了。
第 4 步:Android 自己的提示,之后开关就打开了。

打开这个开关,本身并不会让智能体获得任何权限。只有在手机已连接、屏幕正在共享、而且你按下了 Allow control(允许控制)时,App 才能操作。

开关打开后,每次共享时,屏幕顶部都会出现一条红色横条:“Your agent can see this screen”,带有 Allow control 和 Stop。在 App 的 Tap and type 下面,卡片开头会变成“Agent control is on”(智能体控制已开启)。

  1. 屏幕共享期间,点击红色横条上的 Allow control。横条会变成“Your agent is controlling this phone”(智能体正在控制这台手机),带有 Pause(暂停)和 Stop,屏幕四周会出现一圈红框。现在智能体可以点按和输入了。
左:允许控制之前的红色横条。右:智能体在红框里输入。左:允许控制之前的红色横条。右:智能体在红框里输入。
左:允许控制之前的红色横条。右:智能体在红框里输入。
  1. 像平常一样,在对话里把任务交给智能体:“在我的手机上打开买菜 App,把上周买的东西再下一单”。你可以在 Live、Local Phone 下这台手机的标签页里看着它做。

Ipsion agent control 的设计是:不碰 Ipsion App 本身、设置、权限弹窗和密码输入框,手机锁屏时也不操作。登录和密码仍然由你自己输入。

如果智能体 10 分钟内没有在手机上做任何操作,控制会自动关闭,智能体回到只能看的状态。再按一次 Allow control,就能把控制交还给它。

第 5 部分:接管或停止

左:已暂停,智能体只能看。右:彻底移除这台手机。左:已暂停,智能体只能看。右:彻底移除这台手机。
左:已暂停,智能体只能看。右:彻底移除这台手机。

注意事项

没有找到答案?发邮件到 support@ipsion.ai,说说你当时想做什么。