在此期间，匈奴支休屠王之子被俘，为体现汉朝国威与怀仁，汉武帝赐其“金”姓，并让其留在汉廷，赋其高官。由此开始，金姓便作为一种特殊姓氏在汉、匈双方存在着。
而留在汉朝的休屠王太子，便是日后大名鼎鼎的金日磾。在汉武帝死后，成为遗诏大臣之一，与霍光一同辅佐汉昭帝，为汉朝的不断强盛做出了不可磨灭的贡献。
经过与汉朝的连年征战，加上与周边国家关系恶化，匈奴渐渐分裂成南北两部，南部多归顺于汉朝，开始与中原汉人来往，学习农耕文化。而北匈奴则是在西迁的过程中不断与汉朝和周边国家发生冲突。
在与汉人的长期交往中，匈奴人发现汉人拥有极为先进的文化素养和文化根基，于是这些匈奴人开始在反思中学习。
看到匈奴如此，汉朝的统治者不免对其大加封赏，对很多匈奴贵族，汉朝统治者都主动与之和亲，并赐予他们“刘”姓。
就这样，无论是战争还是和平年代，匈奴人都被汉人先进的文化所同化，加上匈奴有“跟随母姓”的习俗，就这样刘氏也开始在匈奴一族中流传开来。便在之后几百年的演化中，逐渐成为了其主姓之一。
北匈奴因常年征战陷入了四面楚歌的局面，匈奴王於单也在西迁的路上投降了汉朝，并在之后的日子里带领汉军击败了自己的弟弟的伊稚斜，北匈奴伊稚斜余部不得已西迁到更远的地方，以避汉军的锋芒。
汉朝统治者对匈奴王於单此次行动颇为满意，将其封侯，同时赐予其“赵”姓。就这样，“金”、“刘、“赵”三姓成为了匈奴族中的大姓，一直流传了下去。
到了东汉，南北匈奴的大部已经被汉文化所同化，成为了汉文化的重要组成部分。到东汉末年，南匈奴几乎被曹操的大军攻灭，北方很难再找出一个完整统一的南匈奴部族。
在经历过西晋短暂的统一后，中原再次陷入了政权割据的局面。西晋末年，五胡乱华，其中最主要的便是匈奴一族。到了十六国时期，匈奴又出现一个具有雄才的领袖刘渊，身为匈奴族的他仍然保持着自己的汉姓。
308年，刘渊在平阳称帝，建立赵，匈奴族迎来了第二个鼎盛时期。登基后的刘渊尊蜀汉后主刘禅为孝怀皇帝，一个匈奴皇帝，却自称汉姓，建立的政权也追封汉人皇帝为正统，可见当时汉文化已经深入人心。
