谢安，字安石，是谢尚的堂弟。父亲谢裒，任太常卿一职。谢安四岁的时候，谯郡的桓彝看见他赞叹不已，说：“这个孩子气韵清秀，将来不会比王东海差。”等到稍微长大一些时，谢安神态沉稳，思维敏捷，善于写行书。刚成年时拜访王濛，与王濛清谈许久，等谢安走后，王濛的儿子王修说：“刚才谈话的客人跟您比如何？”王濛说：“这个客人议论连绵不绝，前途无量。”王导也非常器重他。因此，谢安少年成名。
最初谢安受聘司徒府，拜为著作郎，谢安借口有病不去任职。寄居会稽，与王羲之以及高阳的许询、僧人支遁交游，出门就游览山水，回屋就吟诗作文，没有当官的心。扬州刺史庾冰因为谢安名气大，因而非要招募他，多次下令郡县督促他应召入仕，谢安无奈应召前往，一个多月后又告退。又任命他为尚书郎、琅琊王友，谢安也都谢绝。吏部尚书范汪举荐谢安为吏部郎，谢安写信回绝。有司上书奏明谢安被朝廷征召，历年不应召，自己禁锢终身，于是栖息留宿在东部名胜之地。谢安曾经到临安山中，坐在石洞里，面对深谷，悠然叹道：“这样的情致离伯夷有多远啊！”他曾和孙绰等人乘船出海，风起浪涌，众人非常惊恐，谢安却吟唱自如。船夫以为谢安高兴，就照样驾船漫游。风浪转大，谢安慢慢说：“这么大的风我们该怎么回去呢？”船夫听从吩咐立即返航。众人都钦佩谢安非凡的气度。谢安虽然纵情山水，但每次游赏，都携妓女同行。谢安已经多次不应征召，简文帝做宰相时，说：“谢安石既然能与人同乐，也必定能与人同忧，再次征召他，他肯定答应。”当时，谢安的弟弟谢万为西中郎将，担负戍边重任。谢安虽然隐遁山林，但是他的名声仍然超过谢万，自然有公卿大臣的声望，平时在家经常用礼节规范来教导子弟。谢安的妻子，是刘惔的妹妹，看见谢家其他人都拥有高官厚禄，只有谢安隐退山林，于是对谢安说：“丈夫能不要这样吗？”谢安掩鼻说：“恐怕不能免于灾祸。”等到谢万被罢职，谢安才开始有做官的志趣，这时候他已经四十多岁了。
