唐武德元年(618年)，宇文化及在江都*死隋炀帝杨广，李密接受王世充的册封，率兵与宇文化及作战。九月，李密击败宇文化及后，王世充率军来攻李密。李密留王伯当守金墉，率军前往偃师。李密让单雄信领外马军，在偃师城北驻扎，王世充率军袭击单雄信营，李密派遣程咬金和裴行俨前往救援，裴行俨中流矢坠马，程咬金抱起裴行俨逃脱。王世充打败李密，进围偃师，单雄信等人投降，徐世勣转而投奔李唐。王世充用单雄信为大将军。
武德三年(620年)，李世民率军攻打洛阳，单雄信率军出战。单雄信持枪纵马直取李世民(一说单雄信要*的是李元吉)，徐世勣出现制止单雄信，单雄信于是退走。
同年五月，王世充被李世民击败，举军投降。李世民下令将单雄信等一干将领全部处死，徐世勣向李世民求情，希望可以免单雄信一死，但遭到拒绝。单雄信安慰徐世勣说，没关系，我知道自己必定会死。徐世勣说，忠义难两全，并表示会在单雄信死后照顾单雄信的家人。徐世勣割下自己一块肉给单雄信吃下，说自己没有忘记当初的誓言，单雄信吃下后赴死。
