李崇矩崇信佛道，在家里养了很多修行的佛道之人。据说他家供养的僧人最多时达到七十万人，是北宋贵族中对佛教最为虔诚的家族。由于这个家族传统，使得李家世世代代都信奉佛教，也为后来济公出家奠定了基础。济公出身时李家因为北宋的灭亡已经走了下坡路，但是在南宋也是出了名的富豪之家。他家住在天台县，县里大部分土地都是李家的产业。再加上李家有不少人在朝廷做官，与朝中权贵来往密切，家族的势力在当地也是说一不二的。可以说济公完全可以当个混吃等死的纨绔子弟，而不必出家去做疯疯癫癫的和尚。
济公出了家族势力强大外，他在佛门的地位也非常不一般。他的师父慧远禅师是当时佛教的第一高僧，在南宋一百余年的时间中，与其相比的高僧只有两位，其中一位便是济公。宋孝宗到灵隐寺烧香礼佛时，点名要向慧远禅师请教佛法，可见其在佛门中的地位。
由于慧远禅师的缘故，济公游历四方时也与很多高僧相交莫逆，受到全国各地寺庙住持的推崇。最为典型的例子便是，火烧净慈寺之后，德辉禅师圆寂。济公写信邀请少林寺高僧妙崧出任净慈寺住持，这便充分证明了他在当时佛门中的地位。能与少林住持和长老书信来往的人物，岂是能被普通僧人驱逐的？
济公虽然因屡犯戒律与灵隐寺众僧不和，但这些僧人拿他是一点办法都没有。这不仅仅是因为慧远禅师的庇护，也有济公自己背景强大的原因。济公游历四方时既为百姓做了很多好事，也时常出入于权贵之家。所以济公在南宋权贵中影响力很大，普通的僧人根本动不了他。灵隐寺虽然是当时南宋佛教著名的大寺庙，但只是在佛门地位崇高，在朝廷之中影响力非常有限。而与权贵有着密切来往的济公，又有着强大的家世和师门的传承，普通的僧人怎么可能驱逐他？以济公在当时佛教的地位，要做灵隐寺的住持是轻而易举的事情。
后来迁居到净慈寺之后，济公作为*僧，外号济*。很多人以为*僧没有什么权力，是安排给济公养老的。实际上*僧是佛教寺庙的高级管理职位，除了住持之外，地位仅在首座之下，济公一进净慈寺就能当如此重要的职位，可见他当时的影响力。而净慈寺的地位也本不一般，是南宋皇室的家庙。净慈寺多次发生火灾，除了济公发起募捐的那次，先后还有宋高宗和宋孝宗发起过捐献重修的事情。可以说净慈寺在南宋是佛门总庙的地位，等级还在灵隐寺之上。济公作为外来者，能在这里当*僧，显然不是落魄养老的地位。
