TY  - RPRT
TI  - RTP-LLM: Building an Evolvable and Reliable LLM Inference Engine at Alibaba Scale
AU  - Jiarui Guo
AU  - Zhi Zhang
AU  - Boyu Tan
AU  - Zongwei Lv
AU  - Haobo Sun
AU  - Na He
AU  - Ziqing Wang
AU  - Xinfei Shi
AU  - Wei Zhang
AU  - Xi Yang
AU  - Haosheng Hu
AU  - Wending Bao
AU  - Zetao Hu
AU  - Dong Cao
AU  - Yong Li
AU  - Lining Wang
AU  - Chengjun Yang
AU  - Tianpeng Wang
AU  - Huanbing Lu
AU  - Yidan Wang
AU  - Hengyi Bao
AU  - Yaxin Yu
AU  - Hanyun Guo
AU  - Huidong Zhang
AU  - Haiyu Zhou
AU  - Zefeng Liu
AU  - Weixiang Huang
AU  - Ziyi Wang
AU  - Chenyi Song
AU  - Ruixuan Zhang
AU  - Zhengkai Ao
AU  - Haocheng Luo
AU  - Zhichen Xue
AU  - Jialin Zhang
AU  - Chi Zhang
AU  - Lingjun Zhu
AU  - Silu Zhou
AU  - Zongyuan Wu
AU  - Yinghao Yu
AU  - Yi Zheng
AU  - Miao Sun
AU  - Yuxing Yuan
AU  - Juncheng Yin
AU  - Guoding Li
AU  - Nan Wang
AU  - Xiyu Wang
AU  - Lin Yang
AU  - Zechao Zhang
AU  - Jianning Zhang
AU  - Bo Cai
AU  - Xiaolin Wang
AU  - Tao Lan
AU  - Tong Yang
AU  - Kan Liu
AU  - Lu Chen
PY  - 2026
UR  - https://arxiv.org/abs/2611.00967
ID  - 2611.00967
ER  -