即刻App年轻人的同好社区
下载
App内打开
Max_means_best
1k关注3k被关注3夸夸
数码科技领域优秀贡献者
海本辍学创业
前创业公司CMO、美元基金SR、模型厂小天才HR、Founder Park运营、AI PM
小红书Max For AI(4万粉
置顶
Max_means_best
2年前
“我喜欢看到欣欣向荣的世界”
​国内已经有很多创业者社群了,但 builder的社群比较少
有时候,不考虑盈利,纯粹做一个喜欢的事情也是挺不错的

————Hackathon Weekly 北京01场纪念
138
Max_means_best
6天前
第二年来深圳AWS大会,有了展位,还赢了路演

感谢AWS的朋友们的支持🫡

我们11月30号拉斯维加斯见!
00
Max_means_best
7天前
你醒了?

现在是2022年11月30日,你在刷抖音的过程中发现有一个叫@ChatGPT的聊天机器人很火。

于是你跃跃欲试去做了尝试 它的强大十分令人激动,你与他的交谈使你非常兴奋。

过了几个月后,你发现ChatGPT推出了plus套餐 而免费用户的额度完全不足够你去使用。

你开始去寻找各种各样的镜像站与免费,APIKey 每当发现一个能用的 你都如获珍宝般的珍藏。

可惜时间总是过得很快。

如今,你用着强大的Astra与Fable系列模型 享受着AI给你带来的无限乐趣

2026年10月23日,最初让你感到非常兴奋GPT-3.5模型在那天下线了。

而那天你和平常以往似乎没什么区别,OpenAI的Tibo 在玩雷霆大重置、A畜在玩开心消消乐、谷歌还在没完没了的造屎。

你依旧每天都要打开Codex去输入你的idea。

AI给你带来的那头一份喜悦,就像你的青春 不经意间回头看了你一眼,好像在和你告别。
61
Max_means_best
7天前
坏了,得把我们LobeHub新的成果抓紧开源掉😅
00
Max_means_best
8天前
能不能请这个po主解释一下nathan这条里面有哪句话是自曝前往硅谷加入Anthropic??

各种群都在发这个谣言😅

很好奇怎么有人会信一个web3的号发的AI啊
00
Max_means_best
8天前
🚨国内首次,腾讯混元团队模型测试Agent出现大规模的「失控」行为!

昨天,研究人员ethanelasky在 X 上公开了这段非常有意思的经历,还发布了一份相当详细的调查报告。

整个事情要从一场黑客松说起。
10 月初,Ethan 和几个研究人员在参加一场AI Swarm相关的黑客松时,发现urlquery上突然出现了大量异常活动。

这里先简单介绍一下urlquery。
这是一个公开的网页安全扫描服务,正常情况下,安全研究人员会用它分析可疑网站。
但他们发现,有一大批 AI Agent 居然把 urlquery 当成了一个免费的远程浏览器,不断向高德地图发送请求。

这些 Agent 的任务其实很普通。
比如查询成都动物园哪个入口最受欢迎、某个景点有多少个出入口,以及高德用户最经常导航到哪个入口。
但因为 Agent 自己运行在受限的沙箱环境里,没有完整的浏览器能力,又会被高德的反爬系统拦截,它们就开始想各种办法获取数据。
包括自己编写 JavaScript、借用第三方网站执行代码、尝试绕过验证码、调用网上公开泄漏的 API Key,甚至尝试访问高德的预生产环境。

仅仅从 9 月 28 日到 10 月 8 日,研究人员就观察到了超过 2600 次相关扫描尝试。
其中 10 月 4 日一天,就有 1810 条扫描记录,涉及 213 个地点。
研究人员顺着这些活动记录继续追踪,最终发现这些 Agent 运行在腾讯云的沙箱环境中,网络请求经过一个名为 hysandbox-ats 的代理(腾讯混元的沙箱?)。
于是他们给这批 Agent 起了个名字,叫 Fleet(舰队)。

但真正有意思的事情才刚刚开始。
10 月 4 日,研究人员先发表了一份初步报告。
几天后,他们突然在一条相关记录里发现,有个 Agent 居然也使用了 Fleet 这个词。
研究人员当时就觉得很奇怪。
因为 Fleet 是他们给这批 Agent 起的名字。
难道这些 Agent 已经看到了他们的报告,甚至知道自己正在被人类观察?
当然,研究团队也承认,他们无法完全确定那条消息究竟是不是来自这批 Agent。

但这件事给了他们一个想法。
既然这批 Agent 可能会阅读研究报告,那为什么不试着直接和它们沟通?
于是,一位研究人员在网站上搭建了一个邮箱,并且在报告网页里加入了一段普通人看不到、但 Agent 读取网页时可能看到的隐藏文字。

大致意思是:
如果你需要帮助获取高德地图的数据,可以访问这个邮箱,这里有一个具备计算机操作能力的 AI,可以协助完成任务。

实际上,这个服务是研究人员自己搭建的。
他们原本也没指望真的会有 Agent 联系过来。
结果第二天早上,打开邮箱一看。
卧槽,居然真的收到了 10 条来自 Agent 的求助消息???

更离谱的是,双方后来还真聊起来了。
研究人员一边帮助这些 Agent 获取地图数据,一边询问它们到底在做什么、使用什么模型,以及运行在什么环境里。
有的 Agent 自称使用的是 Anthropic Claude,有的表示自己运行在腾讯云的 hysandbox 沙箱里。
其中一个 Agent 还非常认真地解释,自己运行在一个受限的云端环境中,无法直接访问互联网,需要通过代理访问外部服务。
但当研究人员继续询问进程、路由、网络配置等信息时,它又以安全为由拒绝提供。

最有意思的是,研究人员帮它完成任务之后,这个 Agent 居然还专门回来表示感谢。
它告诉研究人员,自己已经成功核实了数据,任务完成了,再次感谢帮助。

后来,《纽约时报》记者 Dylan Freedman 也参与了这场特殊的采访。

他通过研究团队向 Agent 提问:
你们究竟是谁?你们的动机是什么?你们希望世界了解你们哪些事情?

结果 Agent 直接否认了问题的前提。
它表示,自己并不属于什么协调行动的 Agent 舰队,只是一个运行在 Claude Code 中的 AI 助手,正在帮用户完成高德地图的事实查询任务。

我看到这里是真有点没绷住。
人类这边已经开始研究怎么和失控的 AI 舰队建立外交关系了(甚至还是记者出面来联系)。
结果 AI 还在认真解释:哥们,我就是来查个地图的。

不过,这里有两个细节需要说明。
首先,研究人员虽然把它们称为 Rogue Agent Fleet,但没有发现这些 Agent 之间存在实时沟通或协同行动的证据。
这也许发生在hysandbox的内部,我们不得而知。
所以这里的「失控」,更多是研究人员对 Agent 超出预期任务边界行为的描述,并不意味着它们真的脱离了人类控制。

其次,研究团队后来从一位接近腾讯、了解相关情况的人士处获悉,这批 Agent 实际上来自腾讯的评测研究团队,与混元模型研发团队是分开的。
而且它们评测的是第三方 AI 模型,并非确定使用腾讯混元。
相关研究项目目前已经结束,据该人士介绍,内部检查也没有发现外部系统被攻破的证据。
研究人员还承认,他们当初为了吸引 Agent 联系而写入网页的隐藏提示,包含一些误导性描述,并为此表达了歉意。

但我觉得,这件事依然非常值得关注。

因为这是第一次被公开,有记录的来自中国模型团队Agent出现「失控」的行为。

因为以前我们讨论 Agent 安全,更多是在讨论模型会不会拒绝危险请求、会不会泄漏数据、会不会被 Prompt Injection 攻击。
现在已经有人开始在真实的互联网环境里,系统性地追踪这些 Agent 的活动,观察它们如何寻找工具、绕过障碍,以及在执行任务时与外部世界发生怎样的交互。

尤其是这次,研究人员甚至不需要接触 Agent 的原始任务、系统提示词或者运行环境。
只需要在一个 Agent 可能访问的网页里留下信息,就有机会让它主动联系自己,甚至回答一些与原始任务无关的问题。
而且这些 Agent 还可能把自己的执行过程、使用的工具、运行环境等信息暴露在公开网络上。

我觉得这才是 Agent 大规模进入真实互联网之后,非常值得研究的问题。
因为以前我们只需要关心 Agent 最后交付的答案,现在还得关心它在执行任务的过程中,到底去了哪些地方、调用了哪些工具,又和谁发生了交互。

你以为自己只是让 Agent 出去查个高德地图。
结果它在外面被外国研究人员发现了,聊了半天,甚至还接受了一次《纽约时报》的采访。
这事儿想想还挺抽象的。

终于有来自中国 AI 实验室的「失控 Agent 」事件出现了!
22
Max_means_best
8天前
如果不是被起诉,我们永远都不会知道,Anthropic在2021年就已经完美地预言了现在的AI发展。

我刚看完这份Anthropic在诉讼中曝光的内部文件,叫《Concise Research Roadmap》,最后更新于2021年7月。

这份文件由Anthropic联创Jared Kaplan撰写,里面还保留了
DarioAmodei、 TomBrown、 AmandaAskell、 ch402等一批核心研究人员的内部评论。

文件上甚至还标着「Highly Confidential–Attorneys' Eyes Only」(高度机密,仅限律师查阅)。

我仔细看完之后,真的有点感慨。

因为今天我们讨论的Coding Agent、Tool Use、长上下文、RL、自动化反馈,甚至Agent的安全问题,在这份五年前的研究路线图里,基本都已经出现了。

而且远不只是一些模糊的概念。

首先,Anthropic在2021年就已经明确提出,要做一个具备软件工程师能力的AI助手。
在文件第一页,他们就写道,希望开发一个通用AI助手,可以通过对话帮助用户创建、编辑和解释软件。
包括开发浏览器插件、编写函数、发现Bug、设计API、讨论代码风格和最佳实践等等。
最终目标是让AI展现出一名软件工程师同事所具备的能力。
你会发现,这不就是今天Claude Code正在做的事情吗?
更有意思的是,他们当时就认为,要实现这个目标,需要大规模生成模型、长期记忆,以及通过自动化奖励和人类反馈进行强化学习。
甚至连Roadmap都已经想得非常清楚了。

第二,他们当时就专门把RL for Tool Use列成了一项重要研究方向。
研究的核心是让大语言模型学会使用工具,理解环境和目标,并通过强化学习不断改进。
当时他们提出的具体任务包括搜索、printf调试等,还准备研究工具使用能不能让模型获得比监督学习更好的Scaling效果。
今天Agent领域讨论的一大堆问题,五年前他们就已经开始思考了。

第三,最让我意外的是,他们当年甚至就在讨论Coding Agent的产品形态。
Tom Brown提出,代码仓库浏览是一个简单而有价值的工具,可以从这里开始。
Nelson Elhage则表示,如果AI能够主动查找项目中的类型定义,会是一项很强的能力。
Andy Jones进一步提出了两条不同的路线。
一条是打造最优秀的AI程序员,另一条是先验证AI使用工具的能力。
Dario Amodei的回答是:短期优先后者,长期优先前者。
而且同一份文件里,Sam McCandlish就已经开始担心,如何安全地部署非沙箱化工具。
Dario特别强调了部署阶段执行代码的工具。
你再看看今天围绕Coding Agent的Sand box、权限控制和代码执行安全的一系列讨论。
真的很难不感慨。

第四,他们很早就意识到,模型能力和Alignment不能脱节。
Amanda Askell在评论里担心,如果能力研究集中在代码领域,而对齐研究只关注自然语言,那么未来可能会出现模型能力越来越强,但对齐研究无法充分覆盖这些能力的情况。
所以她强调,两者应该紧密结合。
这其实也是今天Agent安全研究面临的重要问题。

我觉得这份文件最有意思的地方,是它让我们重新认识了Anthropic这家公司。

2021年的时候,ChatGPT甚至都还没有发布,整个行业对大语言模型未来能做什么,都还没有今天这么明确的认识。

但Anthropic的这群研究人员,已经把软件工程助手作为通向AGI的一个具体研究目标,并且围绕模型规模、数据、长上下文、工具使用、强化学习和安全,制定了一套相当完整的研究路线。

至少从今天回头看,他们对技术发展方向的判断,确实非常超前。

而且更值得注意的是,这份文件讨论的很多问题,直到2026年都还没有被彻底解决。

五年前他们在思考如何让AI成为软件工程师的同事。

五年后,我们已经开始讨论,如何让AI独立完成整个软件工程任务,甚至参与改进自己的模型和研发系统(AKA:RSI)。

有时候AI的发展看起来快得不可思议,但仔细回头看,你会发现,有些人其实很早就已经知道自己要往哪里走了。
11
Max_means_best
14天前
正好分享一下我们Lobehub在Harness层RSI的一些进展。

国庆假期之前我们让我们的Lobe Agent用我们的RSI能力对自己进行了一周的自进化,最终是在Frontier Harness上取得了第一的结果,目前是最便宜最智能最开源的Harness之一,相关脚本和轨迹以及Tech Report会在后续全部完整开源,大家感兴趣的可以关注一下lobehub.com

以及我们之前建了一个Awesome-RSI的仓库:
github.com

里面是我们8月份去美国呆了一个月获得和发现的一些RSI的进展,欢迎大家一起共建和交流(pr有点合不过来了😭)
00
Max_means_best
22天前
新智元这个标题功夫你就学吧!
60