据台湾媒体报道，安以轩除了自己演戏赚钱，年收入高达5000万元人民币之外，本身的家世也相当显赫。
她出道不久，媒体就已经揭过她的家世，说她“很有背景”，并一度传出她是黑道千金，普通演员都不敢惹她。
后来“名嘴刘骏耀”在娱乐评论节目里面，爆料说其实安以轩的爸爸是官二代，自己经营的“保安公司”也从小规模逐渐做大，他还补充说了一句：“不要以为人家带很多人马就是黑道”，算是替安以轩澄清。
此外，安以轩的奶奶是台湾知名的东区大地主“吴奶奶”，在东区投资不少房产，财力雄厚；而安以轩的姑姑等亲戚，也拥有不少房产、铺位，整个家族都喜欢投资物业，包括安以轩自己。
正因为她家族有钱，身边的朋友都以她马首是瞻，称她为安董、安公主，甚至是安大小姐，而她也乐得当朋友们的老大，为她们解决方方面面的困难。
也许是从小养成的“大姐大”风范，有传安以轩在上一段感情里面，包办了男友所有的开支，甚至出钱给男友买房子，但最后却分手收场，让她情伤颇深。
如今选择了富商作为终身伴侣，不再跟“穷小子”纠缠，也许跟上一段感情有关。
安以轩性格大方，吃苦耐劳，为了工作，一般都会放下千金大小姐的身段，三年前，她接受台湾媒体专访时就透露自己为了工作，可以连命都不要：
