石虎的残暴统治引发了侯子光、李弘等农民起义，这些起义均被镇压，但是反映了石虎的统治摇摇欲坠。同时，统治者内部又产生了内乱，石虎的儿子石邃、石宣又试图*石虎夺位，都被石虎*害。这次事件又引发了梁犊起义，起义军一度攻打到洛阳。349年，石虎去世，于是诸子争立，大臣相*。大将李农于是逃到了广宗（河北威县），成为了乞活军的首领。这时候，石勒的养孙石闵（冉闵）就在李农的支持下回到邺城继位。
冉闵继位后，于是打开邺城城门，宣布：“与官同心者住，不同心者各任所之。”结果羯族纷纷出城，汉人纷纷入城，冉闵认为应该利用汉人的支持来巩固政权，于是下令*羯人，不管贵贱男女老幼，一律斩*，共*二十余万人。当然这个过程中，还有许多汉族也被屠*了，其中李农也被*害。羯族经过这次大屠*之后，其主要势力就消灭了。剩下的羯族，部分归属于前燕和前秦，最终被鲜卑族北魏征服，最终在北魏推行全面汉化后融入了汉族之中；还有部分迁回了西域，但是迁回西域的因为相互残*，其中只有十之二三能够回去。
历史上记载的最后一支羯族是侯景一支。北魏末年，发生了六镇起义，于是分裂为宇文氏和高氏两大势力，侯景先投靠了高欢，后来又投靠了宇文泰。但是宇文泰知道侯景反复无常，于是心存戒备。果然，不久侯景又南下投靠南梁。后来，侯景在南方发动了叛乱，大肆掠*，导致赤地千里、尸骨遍地，史称侯景之乱。后来侯景之乱被陈霸先平定，而侯景的后代也被高氏全部*死。从此，羯族不见于历史的记载。
