TY - RPRT TI - Smaller Models, Better Rejects: Preference Distillation Scaling AU - Rui Cai AU - Wenhui Zhu AU - Xiwen Chen AU - Jincheng Cao AU - Han Yu AU - Shayan Mohajer Hamidi AU - Zelin He AU - Qiyao Ma AU - Daiwei Chen AU - Xuanzhao Dong AU - Yuanda Xu AU - Jelena Markovic-Voronov AU - Kayhan Behdin AU - Zhengze Zhou AU - Ran He AU - Alborz Geramifard AU - Rohit Jain AU - Zhe Zhao PY - 2026 UR - https://arxiv.org/abs/2609.38987 ID - 2609.38987 ER -