潘安的祖父潘瑾曾担任安平太守，他的父亲潘芘在琅琊内史任上被属下朱灵所*。当时潘安才十岁左右，由于他从小聪明过人，父亲的朋友、同乡、同学等都争着让他来写诗，被认为是"奇童"。成年后潘安被司空见而奇之日：此儿才器将自光大。
他与父亲潘芘在魏晋官场上有一定的关系，他曾写出《藉田赋》，赋中表达了对晋武帝司马炎藉田的不满。司马炎称帝后广辟田园以示劝农之道。而潘安在此文中以宫廷藉田养蚕为比喻，讽刺司马炎的奢侈荒淫。
这篇文章受到当时的才子们的称赞，但由于文字批评了皇帝被当时的权臣嫉妒，十年不得升迁。他后来历任京官因作赋颂扬晋武帝躬耕藉田，显露才华被当权者左迁河阳县令。他在任期间全县遍植桃花以示对当权者的不满，后任怀县令时在全县遍植梧桐树，还有"河阳一县花"、"河阳一县树"的典故。
后潘安依附于权臣贾谧，与石崇、欧阳建、陆抗、石虔、杜斌等二十四人结为"金谷二十四友"。虽然如此但他并未参与任何派系斗争，始终保持中立态度。
晋惠帝司马衷即位后潘安任黄门侍郎，因母老家贫转为太子府祭酒。他写了一篇《家风箴》表达了对家庭的态度。赵王司马伦擅政后潘安被卷入其中，孙秀诬陷他与石崇、欧阳建谋反被*夷三族。
以下是一些与潘安相关的谚语：貌比潘安才过子建，玉树临风胜潘安一树梨花压海棠。这些谚语都形容了潘安的出众外表和才华横溢，是才貌双全的代表。
