即刻App年轻人的同好社区
下载
昨天打破了我对Anthropic这家公司原本较高的期待。
事情是，让Sonnet 3.5给我写一个html用来给一组图像打标签，并支持导入导出、一行显示多图、翻页等功能。
原本足够相信它，以为一遍就能成功，结果等我花了半小时把数据标完了，导出发现是空的。再返回上一页，发现之前的标注全没了。
于是，要求改写了大概七八次，要么就是翻页有问题，要么就是忘记了之前的指令要一行显示多图。
一怒之下，换回ChatGPT omni-mini-high，一遍头就成了。
再也不相信除了ChatGPT以外的助手了💢
事情是，让Sonnet 3.5给我写一个html用来给一组图像打标签，并支持导入导出、一行显示多图、翻页等功能。
原本足够相信它，以为一遍就能成功，结果等我花了半小时把数据标完了，导出发现是空的。再返回上一页，发现之前的标注全没了。
于是，要求改写了大概七八次，要么就是翻页有问题，要么就是忘记了之前的指令要一行显示多图。
一怒之下，换回ChatGPT omni-mini-high，一遍头就成了。
再也不相信除了ChatGPT以外的助手了💢
0 00
和ChatGPT o3-mini-high聊了一波关于大模型中的强化学习和GAN训练的异同，并深入探讨了一下是否能结合二者。
💡挑重点
1. 受益于预训练和SFT，原始模型已经很强大。RLHF的目标不是直接“对抗”奖励模型，而是通过强化学习最大化奖励，同时加入KL约束以防止生成模型偏离原始模型太远；
2. GAN不存在人类偏好对齐，GT就是输入，但扩散模型是有人类偏好的，所以DPO可以应用于扩散模型的生成；
chatgpt.com
💡挑重点
1. 受益于预训练和SFT，原始模型已经很强大。RLHF的目标不是直接“对抗”奖励模型，而是通过强化学习最大化奖励，同时加入KL约束以防止生成模型偏离原始模型太远；
2. GAN不存在人类偏好对齐，GT就是输入，但扩散模型是有人类偏好的，所以DPO可以应用于扩散模型的生成；
chatgpt.com
0 80
技术位于文化的上游，因此也就位于政治的上游。
黄粱一梦董二千: 看到群友分享的deepseek回答。
1 00
