即刻App年轻人的同好社区
下载
App内打开
Tefnut
457关注352被关注4夸夸
🧑‍🏫ENTP-T 6w7
🗂在和遗忘做抗争
💻CS PhD/Al4Science->Structural Biology
Tefnut
5天前
希望现在各家都在等Anthropic上市爆锤一波
00
Tefnut
12天前
在通货膨胀之前赚一百万零花钱
20
Tefnut
21天前
自己写了一个dgx spark的推理引擎,结果nv最近一口气发了一堆自己的local/nvfp4 权重,解码速度能提升一大截。LLM真是朴实无华,你有卡有权重就可以做量化,比折腾kernels要直接太多了。
00
Tefnut
1月前
我之前很担心ampcode只靠Orbs赚钱会做不下去,但是现在发现瓶颈已经转移到了机器上,一台大内存有显卡有很多CPU核的机器比token贵太多了。

另一方面就是历史上人类写了太多低效代码了,现在的逻辑完全变了,写高度优化的代码并不难。我原来还用Triton,现在全都让Agent直接写CUDA就好,反正编译总比Rust快吧。

我们从来都是AI Infra中的一部分。
01
Tefnut
1月前
把这个月的GitHub Action额度用完了,Vibe Coding误我😅
00
Tefnut
2月前
现在 Grok Bot 能够保留 Tailscale 之后,我把一台 Omarchy 主机和两台 DGX Spark 都交给它管理了。虽然 Grok 模型现在一般,但 Grok Bot 这个产品还是挺不错的。以前觉得给助手拟人化没多大意义,现在意识到分成不同的 bots,对人来说是在降低认知负担。有点像用 Slack,只是同事变成了一群 bots。
00
Tefnut
2月前
跟Claude Max慷慨的额度相比,我的本地硬件竟然成了瓶颈,想自己做一套GB10 的推理引擎,结果总是在等手上的两台DGX Spark做实验。另一方面是各种CI/CD等待的时间越来越长。

与这些宝贵的时间相比,众多基础设施都可以被轻松加速,用Rust/Zig重写也好,重新整理复杂度更新算法也好。甚至做GPU kernels的时候都意识到如果不是嫌弃CUDA环境太重编译太慢,Triton都没有存在的必要了,现在前沿模型写个上千行的kernel都基本上一遍过。
00