不过韦氏相貌一般，所以并不受宠，唯独生了个儿子就是赵构。公元1127年开封陷落，宋钦宗屈膝投降，靖康之变爆发，“宗室贵戚男丁二千二百余人，妇女三千四百余人”尽数被金人掳走北上，韦贤妃也在此列。
跟韦贤妃一起的还有赵构的原配妻子邢秉懿，由于此二人一为南宋皇帝生母，一为南宋皇帝妻子，因此受到了金人的格外关注，不仅被迫参加“献俘礼”，还被安排进了浣衣局。
公元1130年，有一位女子自称是柔福帝姬逃回了南宋。柔福帝姬名为赵多福，乃是宋徽宗之女，是赵构的异母妹妹。赵构对这个妹妹没什么印象，只能找宫中的老人前来辨认询问。在经过细致的排查后，柔福帝姬身份被确定，安置在了宫中。
一年后“绍兴和议”达成，赵构向金人讨要回了自己的母亲韦贤妃，还有妻子邢秉懿的棺材。
回归之前这些宋廷宗室在一起抱头痛哭，韦贤妃还保证一定会接回乔贵妃；但是韦贤妃回到南宋后，唯一做的事就是指出如今的柔福帝姬是假的，真正的柔福帝姬嫁给了一位名叫徐还的汉人，至于接回乔贵妃等事，再没提过。
明明什么信息都对的上的柔福帝姬一下子就成了假的，此时宫内众人也纷纷改口，柔福帝姬最终被打死。但实际上所有史料对于这段记载都非常模糊，柔福帝姬是真是假全靠韦贤妃一人之口。
那么韦贤妃为何一定要让柔福帝姬死呢？按照《南渡录》、《窃愤录》等*载，韦贤妃在金国时与柔福帝姬曾同被完颜宗贤收入帐中，韦贤妃甚至给完颜宗贤生了两个儿子。害怕柔福帝姬透露出这些讯息，也为了遮掩这段过去，让自己安坐太后宝座，所以韦贤妃需要除去柔福帝姬。
