0
申请人
大模型推理引擎优化
于 京东科技 (不限地址)
负责LLM、数字人、图像AIGC大模型的推理引擎优化、模型部署服务等工作
要求：
熟悉TensorRT-LLM/vLLM/TensorRT/FasterTransformer/Trition/TVM/NCNN/ONNX等推理和部署框架
熟悉CUDA 编程，熟悉大模型推理优化常用算法，包括但不限于 SmoothQuant、OmniQuant、GPTQ、AWQ等量化算法、稀疏化等操作
熟悉底层数学计算库的基本原理，能够快速的部署推理服务，提升推理速度，提升系统的吞吐量
近期的职位 京东科技
大模型推理优化 at 京东科技, 不限地址
2024-09-12
【京东科技】【社招】语音识别（ASR）资深算法工程师/研究员 at 京东科技 in 北京
2021-08-17
【京东科技】【社招】NLP资深算法工程师/研究员 at 京东科技, 不限地址
2021-07-05
【京东科技】【社招】NLP资深算法工程师/研究员 at 京东科技 in 北京
2021-06-16