岗位职责:
深度学习推理引擎研发的核心是加快模型的部署落地,降低服务延时,提升QPS,降低服务成本,具体包括:
1、根据业务场景的需求,综合评估是使用开源推理引擎 or 自研/定制推理引擎,进行云端推理 or 端侧推理;
2、进行算子优化,对模型进行量化/剪枝/蒸馏等,在满足服务延时的前提下,提升QPS;
3、对推理过程的瓶颈进行监控/分析,进行软硬件协同优化,提升推理服务响应速度,降低资源成本;
岗位要求:
1、本科及以上学历,电子/计算机/通信等相关专业,1年及以上相关工作经验;
2、熟悉 Linux 开发环境,熟练掌握C++或CUDA编程语言;
3、扎实的数据结构,算法和编程功底,有良好的编程习惯和风格。