即刻App
年轻人的同好社区
下载
App内打开
Tefnut
457
关注
352
被关注
4
夸夸
🧑🏫ENTP-T 6w7
🗂在和遗忘做抗争
💻CS PhD/Al4Science->Structural Biology
Tefnut
3天前
王盐: 耿飚同志,我送你三句话。第一,人家要打倒你,不论怎么打,你自己不要倒;第二,人家赶你,不管他怎样赶,你自己不要走;第三,人家整你,不管他怎样整,你自己不要死。 —— 周恩来,1974年于中南海西花厅
1
0
0
Tefnut
4天前
😂我觉得OpenAI的模型好得很,token效率高。反倒是Claude有的时候喜欢自作主张把我当傻子。
评论尸: OpenAI 模型迭代陷入困局的时间点与国模陷入困境的时间点完全一致。 而大家普遍认为后者是因为 Anthropic 的超绝反蒸馏政策导致的。 所以有没有可能,OpenAI 也……
2
0
0
Tefnut
5天前
希望现在各家都在等Anthropic上市爆锤一波
2
0
0
Tefnut
12天前
在通货膨胀之前赚一百万零花钱
3
2
0
Tefnut
21天前
自己写了一个dgx spark的推理引擎,结果nv最近一口气发了一堆自己的local/nvfp4 权重,解码速度能提升一大截。LLM真是朴实无华,你有卡有权重就可以做量化,比折腾kernels要直接太多了。
4
0
0
Tefnut
1月前
今天Cloudflare发布了tsrs,这才是真正的ai infra。
Tefnut: 我之前很担心ampcode只靠Orbs赚钱会做不下去,但是现在发现瓶颈已经转移到了机器上,一台大内存有显卡有很多CPU核的机器比token贵太多了。 另一方面就是历史上人类写了太多低效代码了,现在的逻辑完全变了,写高度优化的代码并不难。我原来还用Triton,现在全都让Agent直接写CUDA就好,反正编译总比Rust快吧。 我们从来都是AI Infra中的一部分。
2
0
0
Tefnut
1月前
我之前很担心ampcode只靠Orbs赚钱会做不下去,但是现在发现瓶颈已经转移到了机器上,一台大内存有显卡有很多CPU核的机器比token贵太多了。
另一方面就是历史上人类写了太多低效代码了,现在的逻辑完全变了,写高度优化的代码并不难。我原来还用Triton,现在全都让Agent直接写CUDA就好,反正编译总比Rust快吧。
我们从来都是AI Infra中的一部分。
3
0
1
Tefnut
1月前
把这个月的GitHub Action额度用完了,Vibe Coding误我😅
2
0
0
Tefnut
2月前
现在 Grok Bot 能够保留 Tailscale 之后,我把一台 Omarchy 主机和两台 DGX Spark 都交给它管理了。虽然 Grok 模型现在一般,但 Grok Bot 这个产品还是挺不错的。以前觉得给助手拟人化没多大意义,现在意识到分成不同的 bots,对人来说是在降低认知负担。有点像用 Slack,只是同事变成了一群 bots。
2
0
0
Tefnut
2月前
跟Claude Max慷慨的额度相比,我的本地硬件竟然成了瓶颈,想自己做一套GB10 的推理引擎,结果总是在等手上的两台DGX Spark做实验。另一方面是各种CI/CD等待的时间越来越长。
与这些宝贵的时间相比,众多基础设施都可以被轻松加速,用Rust/Zig重写也好,重新整理复杂度更新算法也好。甚至做GPU kernels的时候都意识到如果不是嫌弃CUDA环境太重编译太慢,Triton都没有存在的必要了,现在前沿模型写个上千行的kernel都基本上一遍过。
2
0
0