首页核心能力浏览器操作与验证

浏览器操作与验证

内置浏览器默认启用:智能体写完页面后自己打开、点击、输入、滚动、截图,亲眼核对渲染效果,发现问题立即修正——「生成 → 截图自检 → 发现问题 → 修正」的闭环基础。

Browser UseGUI 黑盒测试截图核对node_repl
Closed Loop

自己检查自己的产出

传统 AI 编码工具改完代码就交付,页面渲染对不对全靠人看。Mougen Code 把「看」这一步交还给智能体自身。

1

生成页面,起本地服务

代码写完即起 localhost 服务,进入可预览状态。

2

打开内置浏览器截图

按桌面 / 移动视口截图,检查布局、间距、配色与交互反应。

3

发现问题,定位代码

视觉异常映射回具体组件与样式,智能体直接修正。

4

回归自检,直至通过

再次截图核对;也可交视觉验收子智能体逐页判定。

内置浏览器 · 自检
发现 2 处问题
localhost:3000/pricing 375×
card overflow
定价卡片在 375px 视口下横向溢出
grid-template-columns 固定三列 → 改为 minmax 自适应
CTA 按钮与背景对比度不足
--color-brand 在暗底上对比度 3.1:1 → 提升 token 亮度
↑ 代码渲染:视口截图 + 圈选问题 + 修正建议
Capabilities

两组技能,覆盖「操作」与「测试」

control-browser · 受控浏览器操作

面向智能体的浏览器自动化:导航、点击、填表、滚动、截图、抓取内容,每一步动作可观察、可复现。

navigateclicktypescreenshot

web-gui-tester · GUI 黑盒测试

让智能体扮演真实用户:按场景点击、输入、滚动,逐屏截图核对预期,输出带截图证据的结构化问题清单。

用户视角截图核对问题清单
浏览器操作能力依赖内置的 node_repl JS 执行宿主;该能力默认启用,无需额外配置。配合视觉验收子智能体,可对多页面交付物做逐页判定。
Desktop Control

延伸到整个桌面 · 电脑控制(macOS)

官方「电脑控制」插件默认启用:智能体不止能操作网页,还能直接操作 macOS 桌面应用——辅助功能(Accessibility)语义操作优先,覆盖不到的目标回退到像素级视觉操作。

  • 语义操作优先 — 读取应用 AX 元素树,直接定位按钮、输入框与窗口元素,原生助手秒级响应,不靠猜坐标。
  • 视觉回退兜底 — 语义不可达时截图 + 像素级点击、拖拽、滚动,Retina 与缩放坐标系自动换算。
  • 17 个能力方法 — 应用发现、窗口列表、元素状态、截图缩放,到点击、输入、按键、拖拽、等待与停止,每一步可观察。
  • 权限门禁 — 首次使用需在系统设置给宿主 App 授予「辅助功能 + 屏幕录制」;变更前确认的权限模式照常生效。
request_accesslist_appsget_app_statescreenshotclick / type / keyscroll / draglist_windowsopen_application
当前版本支持 macOS(Apple Silicon / Intel)。执行后端内嵌宿主进程,无需安装独立 Helper 应用。
电脑控制 · 桌面任务
AX 已授权
$ 把这套品牌字体装进系统,再在设计工具里替换缺失字体
● open_application 字体册 · AX 语义操作
✓ 拖入字体文件 → 点击「安装」(元素定位,非猜坐标)
✓ list_windows → 聚焦设计工具 → 逐一替换缺失字体
✓ screenshot 复核 · 任务完成
↑ 代码渲染:桌面任务回执
Real UI

产品真实界面 · 浏览器控制

内置浏览器能力在设置中心「浏览器控制」一键开启,实际运行截图如下。

真实截图 · 设置 · 浏览器控制
真实界面:设置中心浏览器控制页(开启内置浏览器控制、导入 Chrome 登录状态、浏览器数据管理)
↑ 开启内置浏览器控制(Browser Use 官方插件)后,新会话即可通过内置浏览器访问和操作网页;支持一次性导入 Chrome 登录状态,AI 直接打开已登录网站;缓存与站点数据可按需清除。
GUI 测试报告片段结果
首页 Hero 在 1440 / 768 / 375 视口渲染正常PASS
导航菜单移动端展开 / 收起交互PASS
表单空值提交缺少错误提示FAIL
定价区块横向溢出(375px)FAIL
图片懒加载与占位表现WARN
Deliverable

测试结论,直接可执行

GUI 测试不是一份「看起来很全」的报告:每条问题都带复现步骤、截图证据与定位线索,智能体可立即按清单逐项修复,修完自动回归。

  • 可复现 — 每条问题附操作路径与触发条件。
  • 有证据 — 截图对照预期,避免主观描述。
  • 可闭环 — 修复 → 回归 → 通过,全部在同一会话完成。