给我司(Cloudsway.AI)招个技术实习生,主要方向是推理优化,base上海/北京/新加坡都OK,也欢迎直接私信找我。
岗位职责
1、参与LLM推理服务框架分布式架构设计,关键技术验证,参与相关模块的工程化实现;
2、参与大模型推理引擎的研发和优化,包括推理系统优化、模型量化压缩和模型部署;
3、参与LLM分布式推理的性能优化,包括基础设施系统优化,综合平衡算法效果和推理速度,加
快算法迭代速度;
4、参与算子性能调优,构建产品的持续竞争力;
任职条件
1、985大学本科及以上学历,计算机相关专业优先;
2、熟悉主流大模型,如Deepseek、Llama3、Baichuan、ChatGLM、GPT-4系列语言大模型。
3、必须熟悉Python,有扎实的C、C++能力优先,具有良好的编程习惯和扎实的计算机基础,熟
悉计算机体系结构。
4、熟悉Pytorch/Tensorflow,熟悉以下推理框架者优先Vllm、TGI、TensorRT-LLM等;
简历发送邮箱:jianyz@cloudsway.com