即刻App年轻人的同好社区
下载
朋友：市场热到，但凡有个还不错的候选人，拿的都不是 Offer 而是 TS
王慧文: 这市场热到我有点中暑的感觉😰
4 00
老罗这是做了个要你命3000么。。。
龙哥终于又出新东西了❗️内测版详细体验～ - 小红书
2 01
21 年油管博主 sentdex 上传了一个视频，使用 AI 而非 3D 渲染，实现连续帧输出，玩了一段模拟GTA
当时，和朋友们比较务虚的进行了以下讨论：
「如果将人类的视觉需求分为两类：一类是信息需求，例如查看报表、地图和书籍；另一类是感官需求，如游戏和电影（并非指它们没有信息，而是指它们选择以视觉图像代替文字的部分，主要为了提供感官刺激）
对于信息类图像，必需要确保信息的准确呈现。在这种情况下，利用 AI 生成图像所消耗的算力永远大于使用基于规则的、非AI的程序进行渲染。
然而，感官类需求与此不同，其核心在于欺骗感官而非信息的绝对还原。尽管传统的 3D 渲染技术也在利用这一点（如烘焙贴图等），但整体上还是在通过引入更多的物理计算（如光追）来提高真实感，也就是说目标是再造一个真实世界。这种方案下（不考虑优化）每提高一点真实感，算力消耗都会成倍增加。导致许多算力并未直接呈现在视觉效果上，被“浪费”了
相较之下，AI 视觉生成在实现感官欺骗这个目标上更为直接。虽然在 sentdex 的示例中，AI 消耗的算力足以让传统 3D 引擎渲染出更好的画面，但未来某一天可能会反过来」
时间回到现在，相同硬件下 Stable Diffusion 之类的模型已经能比传统光追 3D 渲染器更快地生成具有相同真实感的单帧图片。尽管在可控性和视频抖动等方面仍存在问题亟待解决，但我们那时讨论的「未来某天」似乎已经经悄无声息的过去了
当时，和朋友们比较务虚的进行了以下讨论：
「如果将人类的视觉需求分为两类：一类是信息需求，例如查看报表、地图和书籍；另一类是感官需求，如游戏和电影（并非指它们没有信息，而是指它们选择以视觉图像代替文字的部分，主要为了提供感官刺激）
对于信息类图像，必需要确保信息的准确呈现。在这种情况下，利用 AI 生成图像所消耗的算力永远大于使用基于规则的、非AI的程序进行渲染。
然而，感官类需求与此不同，其核心在于欺骗感官而非信息的绝对还原。尽管传统的 3D 渲染技术也在利用这一点（如烘焙贴图等），但整体上还是在通过引入更多的物理计算（如光追）来提高真实感，也就是说目标是再造一个真实世界。这种方案下（不考虑优化）每提高一点真实感，算力消耗都会成倍增加。导致许多算力并未直接呈现在视觉效果上，被“浪费”了
相较之下，AI 视觉生成在实现感官欺骗这个目标上更为直接。虽然在 sentdex 的示例中，AI 消耗的算力足以让传统 3D 引擎渲染出更好的画面，但未来某一天可能会反过来」
时间回到现在，相同硬件下 Stable Diffusion 之类的模型已经能比传统光追 3D 渲染器更快地生成具有相同真实感的单帧图片。尽管在可控性和视频抖动等方面仍存在问题亟待解决，但我们那时讨论的「未来某天」似乎已经经悄无声息的过去了
00:45
10 12
🌞 早上讨论到不同应用分别集成 Copilot 冗余显而易见，更合理的做法是不同应用接入同一个 Copilot，让自然语言指令可以跨应用执行；🌛 到了晚上 ChatGPT plugin 方案就公布了。这些天真是日新月异，内容只要稍微在草稿箱里躺躺就显得过时
敖特_Aute: 可以看到近期LLM对传统App的改造，几乎都是给App加Copilot的模式：「弹一个窗，展示一个聊天机器人，用户可以通过与之对话来完成软件操作」 包括但不限于Office、Github、Bing、ChatPDF 等等 关于这种改造为什么不是粗暴的短期胶水方案，我另行展开，本条先假设其就是某种最佳实践 这里要讨论的是，为什么要每个App都去各自加上一个界面大差不差的Copilot？ 好处是对自身软件有着完全的数据访问权限，可以达成一些针对性更高的操作 但其中的冗余也显而易见 并且，更大的问题是当前的LLM已经完全有能力理解跨App交互的指令，却无法进行执行 例如「请帮我把Allen在微信群提到的头显加入淘宝购物车」这样一条自然语言指令，微信的Copilot不能完成我的请求，淘宝的Copilot也同样不行（虽然这两个Copilot目前还不存在😛 如何解决这一问题，或许有两种方案： 一是通过云，但这要求我们使用的所有App都来自一家巨头，或它们都接入同一个云 二是通过端，操作系统层的Copilot能力开放，App可选择主动适配，也可以通过系统级的GUI识别、用户事件模拟，来被动接入 既然云与端的方案都要App厂商进行接入或适配，而端的方案还能通过GUI识别（读屏）、用户事件模拟等技术对没有接入的App做降级兼容。再考虑到现在各家App大厂的林立现状，端的方案极有可能最终胜出 从端的视角，苹果的多端互通、快捷指令、视障辅助功能、SwiftUI等都可以算是已经做好准备的基建 无论是视障辅助功能的界面的识别；还是通过LLM自然语言转结构化数据的能力，解决操作复杂学习成本高问题后的快捷指令，在端方案下都将发挥出巨大价值 这也是为什么我认为在本轮LLM热潮中苹果看上去有些掉队，但其实还握着一张绝佳船票的理由 注：上文的云与端并不是指AI运行在哪里，而是指这个跨应用串联的流程执行的地方 讨论可微：aute_wechat
6 11
可以看到近期LLM对传统App的改造，几乎都是给App加Copilot的模式：「弹一个窗，展示一个聊天机器人，用户可以通过与之对话来完成软件操作」
包括但不限于Office、Github、Bing、ChatPDF 等等
关于这种改造为什么不是粗暴的短期胶水方案，我另行展开，本条先假设其就是某种最佳实践
这里要讨论的是，为什么要每个App都去各自加上一个界面大差不差的Copilot？
好处是对自身软件有着完全的数据访问权限，可以达成一些针对性更高的操作
但其中的冗余也显而易见
并且，更大的问题是当前的LLM已经完全有能力理解跨App交互的指令，却无法进行执行
例如「请帮我把Allen在微信群提到的头显加入淘宝购物车」这样一条自然语言指令，微信的Copilot不能完成我的请求，淘宝的Copilot也同样不行（虽然这两个Copilot目前还不存在😛
如何解决这一问题，或许有两种方案：
一是通过云，但这要求我们使用的所有App都来自一家巨头，或它们都接入同一个云
二是通过端，操作系统层的Copilot能力开放，App可选择主动适配，也可以通过系统级的GUI识别、用户事件模拟，来被动接入
既然云与端的方案都要App厂商进行接入或适配，而端的方案还能通过GUI识别（读屏）、用户事件模拟等技术对没有接入的App做降级兼容。再考虑到现在各家App大厂的林立现状，端的方案极有可能最终胜出
从端的视角，苹果的多端互通、快捷指令、视障辅助功能、SwiftUI等都可以算是已经做好准备的基建
无论是视障辅助功能的界面的识别；还是通过LLM自然语言转结构化数据的能力，解决操作复杂学习成本高问题后的快捷指令，在端方案下都将发挥出巨大价值
这也是为什么我认为在本轮LLM热潮中苹果看上去有些掉队，但其实还握着一张绝佳船票的理由
注：上文的云与端并不是指AI运行在哪里，而是指这个跨应用串联的流程执行的地方
讨论可微：aute_wechat
包括但不限于Office、Github、Bing、ChatPDF 等等
关于这种改造为什么不是粗暴的短期胶水方案，我另行展开，本条先假设其就是某种最佳实践
这里要讨论的是，为什么要每个App都去各自加上一个界面大差不差的Copilot？
好处是对自身软件有着完全的数据访问权限，可以达成一些针对性更高的操作
但其中的冗余也显而易见
并且，更大的问题是当前的LLM已经完全有能力理解跨App交互的指令，却无法进行执行
例如「请帮我把Allen在微信群提到的头显加入淘宝购物车」这样一条自然语言指令，微信的Copilot不能完成我的请求，淘宝的Copilot也同样不行（虽然这两个Copilot目前还不存在😛
如何解决这一问题，或许有两种方案：
一是通过云，但这要求我们使用的所有App都来自一家巨头，或它们都接入同一个云
二是通过端，操作系统层的Copilot能力开放，App可选择主动适配，也可以通过系统级的GUI识别、用户事件模拟，来被动接入
既然云与端的方案都要App厂商进行接入或适配，而端的方案还能通过GUI识别（读屏）、用户事件模拟等技术对没有接入的App做降级兼容。再考虑到现在各家App大厂的林立现状，端的方案极有可能最终胜出
从端的视角，苹果的多端互通、快捷指令、视障辅助功能、SwiftUI等都可以算是已经做好准备的基建
无论是视障辅助功能的界面的识别；还是通过LLM自然语言转结构化数据的能力，解决操作复杂学习成本高问题后的快捷指令，在端方案下都将发挥出巨大价值
这也是为什么我认为在本轮LLM热潮中苹果看上去有些掉队，但其实还握着一张绝佳船票的理由
注：上文的云与端并不是指AI运行在哪里，而是指这个跨应用串联的流程执行的地方
讨论可微：aute_wechat
50 1037
只要视觉仍然是人类获取信息的最主要方式，GUI 就不会失去在各种人机接口中的主导地位，某种意义上 AI 与GUI并不在一个层，之间的关系不是取代而是混合。
但混合了AI的GUI复杂也好，简洁也罢，却并不能成为世界是否还需要这么多产品经理的判断依据。与其说古典产品经理基于GUI，不如说古典产品经理基于非AI时代，AI才是那个关键的变量。
至于界面是否由手机承载，在没有更好的随身显示设备出现之前，我想是的，即便手机所承载的界面可能会同今天发生巨大变化。
另外想要补充的是，为什么上文中用［GUI］而不是原Po中的［人机交互界面］，因为［界面］不仅仅是一个具象的、视觉的［面］，我们通过什么与机器交互，什么就是人机界面，可以是声音，可以触觉，也可以是自然语言对话AI等等。interface ：界面；接口
但混合了AI的GUI复杂也好，简洁也罢，却并不能成为世界是否还需要这么多产品经理的判断依据。与其说古典产品经理基于GUI，不如说古典产品经理基于非AI时代，AI才是那个关键的变量。
至于界面是否由手机承载，在没有更好的随身显示设备出现之前，我想是的，即便手机所承载的界面可能会同今天发生巨大变化。
另外想要补充的是，为什么上文中用［GUI］而不是原Po中的［人机交互界面］，因为［界面］不仅仅是一个具象的、视觉的［面］，我们通过什么与机器交互，什么就是人机界面，可以是声音，可以触觉，也可以是自然语言对话AI等等。interface ：界面；接口
春溪: AI产品一定需要视觉吗？一定需要一个界面吗？或者说这个界面需要极其复杂吗？ 如果视觉不可缺失，那么AI产品的人机交互依然是由手机承载吗？
3 10