即刻App年轻人的同好社区
下载
App内打开
OrangeCLK
591关注7k被关注14夸夸
互联网话题优秀贡献者
www.orangeclk.com
不用「您」字
不用「她」字
置顶
OrangeCLK
2月前
最近余承东重提盘古,让我想起机器之心当时的报道,摘录几段:
> 如果你是一位 NLP 从业者,你可能发现,最近的中文 NLP 社区有点热闹:「中文版 T5」、「中文版 GPT-3」以及各种大规模中文版预训练模型陆续问世,似乎要带领中文 NLP 社区跑步进入「练大模型」时代。
> 在此背景下,中文语言理解测评基准「CLUE」也经历了它的前辈「GLUE」所经历过的盛况:一个模型的冠军宝座还没坐热,就被一个更新的模型挤了下去。
> 这次刷榜的,是一个叫「盘古」的 NLP 模型。

换言之,在盘古之前,模型竞赛已经开始了,从当时的榜单图片中可以看到,参与者至少有美团、阿里、搜狗。盘古不是第一个。其实,当时GLM、CPM等也已发布,发布在悟道旗下。

可以看到,盘古的研究机构是“华为云-循环智能”,这个“循环智能”是什么公司呢?就是杨植麟的上一家公司,也就是引发投资人提起仲裁的那家公司。

机器之心这篇文章,主体就是对杨植麟的采访。而且那个时候,Moonshot的名字就已经出现了:

> 在最近的一次访谈中,循环智能 NLP Moonshot 团队向机器之心介绍了这个项目的初衷、挑战和具体的解决方案。

所以,如果想尝试原盘古团队的新作,也许可以试试Kimi Moonshot的产品。

这篇文章结尾,还记录了目前一段预言:

> 清华大学计算机科学与技术系教授唐杰在前段时间接受机器之心采访时曾表示,「超大规模预训练模型的出现,很可能改变信息产业格局。继基于数据的互联网时代、基于算力的云计算时代之后,接下来可能将进入基于模型的 AI 时代。」杨植麟也同意这一观点。在他看来,这个新时代将有两大特征。

> 一是 AI 生产效率的变革。随着标注数据需求大幅降低,AI 生产效率将迎来两到三个数量级的提升,摆脱原来依靠大量样本的落后生产方式,进入规模化量产时代。

> 二是 AI 场景的指数级增加。技术的突破往往带来新市场,而目前 AI 商业化的现状就是需求很多但技术不一定满足。AI 预训练技术突破之后,马上可以解锁很多新场景,从数字化程度比较高的行业走向传统行业,从大型企业走向中小企业。

前述提到的比盘古更早发布的GLM模型,论文署名最后两位就是杨植麟和唐杰。

www.orangeclk.com
12
OrangeCLK
16:42
00
OrangeCLK
1天前
原来吃海带防辐射的故事是这样建立的。【【碘】与生命间三十亿年的爱恨情仇】 www.bilibili.com
00
OrangeCLK
1天前
《AI帝国》开头有一个作者手记,就跟词典的凡例一样,写了本书的信息来源。书中所引用的所有电子邮件、文件材料或者 Slack 消息,均来自于邮件与通信的副本或截图,或者公开诉讼文件。
如果没有副本,作者会在不使用引号的情况下转述相应内容。
所有的对话都根据受访者的记忆和当时的记录来还原,都有录音或者笔录。大多数情况下,作者本人和事实核查团队会邀请回忆对话的受访者,在相隔数月之后复述或再次确认内容,以检验其一致性。这也是事实核查的常见做法。
书里写到的每一个场景、每个数字、每个名字或者代号,以及关于OpenAI模型的每一个技术细节(包括训练所需要的数据构成或者芯片数量),都有至少两个信息源为佐证,辅以同期的记录或文件,或者是少数尾注当中标识的其他媒体报道。书中关于OpenAI的绝大多数细节都遵循此标准。

当书中提及某人时,并不意味着作者与他们曾直接交谈;而提及任何人的想法或感受,则是因为他们向作者(或者作者曾访谈过的对象)描述过这些想法或感受,或者这些内容出现在作者获取的电子邮件、录音当中,亦或是在公开访谈中。

最近有3本关于OpenAI的书出版,Sam Altman推荐了其中的两本。于是就有人去问他们为什么这本没有推荐,导致这本书的销量提高了不少。这是作者本人说的。

作者郝珂灵,本人是 MIT 工科的底子,曾经在科技公司上班,后来转行做新闻业。他的父母都是华人计算机从业者。

这本书基于对约 260 人的 300 余次采访,以及大量信件与文件材料。大多数材料都是专门为本书而做的,还有一些是过去七年为《MIT Tech Review》、《华尔街日报》和《大西洋月刊》做的报道。

其中,150 余次访谈的对象包括:
1. OpenAI 90 多名现任或前任高管和员工;
2. 少数几名接触到 OpenAI 模型实际开发工作详细文档的外包人员;
3. 部分来自微软、Anthropic、Meta、Google、DeepMind Scale 的采访对象;
4. 一些与 Sam Altman 关系密切的人士。

我觉得这本书肯定是新闻界关于 AI 产业报道的一部非常重要的作品,因为郝珂灵在OpenAI声名大噪之前就一直在跟这件事。作者在手记中介绍的写作方式,其实也向普通读者传达了新闻作品的制造方式。比如,怎么样的才算信源?怎么样才算信源交叉验证?怎么样才算事实核查?

这就让我想到了自己听播客的一些偏好。我听播客时最不喜欢听的就是对谈类,因为会觉得半小时的这种对谈在文字作品里大概率只有一行字。所以我个人可能更倾向于听讲座性质的播客,去上课学习。而大部分对谈,我会觉得跟新闻作品相比,工作量太低,信息密度也太低,还没有经过交叉信源的挑战。

#AI帝国
55
OrangeCLK
2天前
感觉最近鸟叫蝉鸣都变多了
10
OrangeCLK
3天前
Claude Code ➡️ DOS
Codex ➡️ Windows
OpenCode ➡️ Ubuntu
Pi ➡️ ArchLinux
dsh ➡️ Gentoo
混乱比喻👆
10
OrangeCLK
4天前
OrangeCLK
4天前
如果要修改自己,也许最简单的办法还是直接改代码,而不是设计一套积木机制——意味着不通用,以及自由度仍然受限——应该是在模型和 harness 联合训练的时候让 AI 自己发现哪些适合做成什么积木?
00