疯狂，太疯狂了 ~
大神卡帕西预测的「下一代 GUI 系统」这就水灵灵地实现了？！
玩法相当 easy，当你移动鼠标、点击图标或敲键盘时，这个完全由神经网络驱动的操作系统就和咱们平时的电脑一样，能在屏幕上实时显示对应的图形界面。
就是说，AI 现在能完全模拟 Windows，直接预测下一帧屏幕图像。
事实上，卡帕西在今年 5 月就预言了一波" AI 时代的图形用户界面长啥样"。
在他看来，如今和大语言模型（LLM）聊天就像在使用 80 年代的电脑终端，还没有用上图形用户界面（GUI）。
而在未来，随着 AI 能力逐渐扩展，GUI 将是为每个用户量身打造的流动（fluid）、魔幻（magical）、可交互（ephemeral）的 2D 画布，就像你专属的操作系统，实时重绘、实时响应。
受此启发，5 位来自滑铁卢大学和加拿大国家研究委员会的研究人员提出NeuralOS，并打造出了一个可试玩的初版演示 demo。
这一最新成果为构建完全自适应的生成式神经接口迈出了重要一步，有望应用于下一代人机交互系统。
那么问题来了——
NeuralOS 是靠什么模拟 Windows 的呢？
关键法宝：RNN+ 渲染器
据论文介绍，NeuralOS 能模拟操作系统界面，靠的是两个核心"技能模块"：
循环神经网络（RNN）：用于跟踪计算机的状态变化
基于扩散的神经渲染器（Renderer）：负责生成屏幕图像
具体而言，不管用户操作多复杂（如现在打开了哪些软件、鼠标停在哪个位置、光标是箭头还是输入状态等），RNN 模块都能跟着"记"下来，保证后续反应不脱节。
然后 Renderer 渲染器根据前面记下的状态和用户操作（如点击了"浏览器"图标），直接生成对应的屏幕画面（包括窗口弹出、图标变色、菜单展开这些视觉变化）。
原理听起来是不是很简单？但为了训练 NeuralOS，团队可是下了一番功夫。
为了让它学会模拟操作系统，他们给它准备了一大份"学习材料"——全是 Ubuntu XFCE 系统（Linux 轻量级桌面系统）的操作录像。
内容主要分为两类：
一类是随机生成的用户交互。比如乱点鼠标、随便拖动窗口、无规律敲击键盘，相当于让 AI 见识"各种可能性"，避免只认固定操作。
另一类是由 AI Agent 生成的真实交互。这里让 AI Agent 来模拟人类的正常行为，比如打开浏览器、输入文字、关闭窗口等，让 AI 学习"符合常理的操作逻辑"。
然后经过RNN 预训练—— RNN+Renderer 联合训练——计划采样——将 RNN 输入的上下文序列加长这一训练流程后，NeuralOS 终于学会了根据之前的帧和用户输入（鼠标、键盘）来预测下一帧屏幕图像。
最后，为了检验 NeuralOS 真实效果如何，团队选择通过模拟用户操作来测试模型。
得出的结论如下：
画面逼真：连续操作时，它生成的界面变化（如从桌面到打开文件夹，再到关闭窗口）看起来和真系统几乎一样。
鼠标响应准：不管是移动鼠标让光标跟着动，还是点击图标触发反应（如点"关机"按钮出现确认窗口），它都能准确对应。
状态转换稳：像启动应用、切换窗口这类"系统状态变化"，它也能可靠模拟（如点"计算器" 图标，就会出现计算器窗口，不会乱出别的东西）。
但它目前对键盘的精细操作处理不好，尤其是快速打字时，它可能跟不上每个按键的实时显示，或者出现字母顺序错乱的情况。
下图展示了模型预测状态与真实状态之间的对应关系，主对角线区域有明显高亮，说明模型大多数预测是准确的；但也存在一定比例的偏移预测，说明个别状态存在混淆。
背后团队
NeuralOS 论文作者一共 5 人，其中 4 位均为华人面孔。
Luke Rivard，目前正在滑铁卢大学计算机科学系读研，研究方向为自然语言处理（NLP）。
这次研究是跟着他导师 Yuntian Deng 一起合作的。
Sun Sun，目前是加拿大国家研究委员会研究员，同时也是滑铁卢大学兼职教授。
其研究方向为优化、机器学习以及深度学习应用。
Hongyu Guo，本科毕业于上海交大，目前是加拿大国家研究委员会数字技术研究中心的高级研究员。
他曾在渥太华大学获得 CS 博士学位，目前任该校电气工程与计算机科学学院兼职教授。
其论文多发表于 ICML、ICLR、AAAI、IJCAI、ACL、EMNLP、IEEE 等顶会期刊，谷歌学术论文总引用量达 5000+。
陈文虎（Wenhu Chen），目前是滑铁卢大学计算机科学助理教授。
其研究方向为推理、信息检索、基准与评估等，2022 年获得了加拿大的 CIFAR AI 主席奖，该奖主要由加拿大政府授予在 AI 领域表现突出的世界顶尖人才。
从 2021 年起，他还兼职 Google Deepmind 的研究科学家。
Yuntian Deng，目前是滑铁卢大学助理教授，也是英伟达客座教授。
曾获得哈佛大学博士学位，研究兴趣为自然语言处理和机器学习。
自 NeuralOS 论文发表后，他们还提供了一个在线体验版本，不过每个用户的操作演示（session）运行时，后台要专门分配一块 H100 显卡才能跑起来。
从使用指南来看，具体操作手法如下：
将鼠标移入蓝色框内，以与 NeuralOS 进行交互；
点击（左键或右键），可执行点击操作；
使用键盘输入，可在模拟环境中打字；
调整采样步数，以平衡画面质量与生成速度；
切换" Use RNN "开关，在 RNN 模式与扩散模式之间切换；
切换" Auto Input "开关，启用自动帧生成功能，即当你将鼠标移入画布并保持静止 2 秒后自动开始，每 0.5 秒生成一帧。
连作者本人都表示，本来以为只是一个小 demo，但没想到来了太多用户，以至于系统运行缓慢。
不过随着代码开源，一切都还有进一步优化的空间。
虽然现在看起来很粗糙，但它展示了一个新可能——未来的"操作系统"不一定是死板的按钮，而是可以被 AI 动态"生成"的。
在线体验：
https://neural-os.com/
论文：
https://arxiv.org/abs/2507.08800
参考链接：
[ 1 ] https://x.com/_akhaliq/status/1944594891075404150
[ 2 ] https://news.ycombinator.com/item?id=44564531
[ 3 ] https://huggingface.co/papers/2507.08800
[ 4 ] https://x.com/yuntiandeng/status/1944802154314916331?s=46&t=iVNn_4xtitgDnUVVPSMN5w
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
� � 最新最专业的 AI 产品信息及分析 � �
� � 不定期发放的热门产品内测码 � �
� � 内部专属内容与专业讨论 � �
� � 点亮星标 � �
科技前沿进展每日见
专业股票配资知识论坛提示：文章来自网络，不代表本站观点。
