据《宋书》记载，谢灵运从小就聪慧过人，以至于谢玄对生性愚钝的谢瑍生下如此聪明的儿子一事感到惊奇。年纪轻轻，谢灵运便展现出了过人的文采，史载："灵运少好学，博览群书，文章之美，江左莫逮。" 元兴二年（403），谢灵运年仅十八岁便承袭了祖父的爵位，被封为康乐公，朝廷本想给他员外散骑侍郎的官职，但谢灵运却拒绝了。
义熙元年（405），琅琊王司马德文召谢灵运当了行参军，这段时期，谢灵运仗着自己不凡的地位"性奢豪，车服鲜丽，衣裳器物，多改旧制"，引来了众多追随者。
不过，在仕途上谢灵运并不顺利，他先后两次因事被免官，又在刘裕称帝建立刘宋后被降爵为康乐县侯，官位也不过是五品的太子左卫率。
即使官运不畅，谢灵运仍然保持着自己桀骜不驯的天性，常常做出一些违反法度的事情。
尽管刘裕因为谢灵运背后的谢氏家族对其十分客气，但因为这些过失，在他心中谢灵运不过是个写文章写诗厉害一点儿的纨绔子弟，没有什么实际才干。
刘裕的判断十分正确，但谢灵运却搞不清自己的定位，始终认为自己具有治国理政的能力，并且对不受重用一事感到愤愤不平。
永初三年（422），十六岁的宋少帝继位，谢灵运认为自己的机会来了，便在群臣间挑拨离间，诽谤权臣，结果司徒徐羡之忍无可忍，将其贬到了永嘉郡担任太守。
到了永嘉，谢灵运四处游山玩水，对于郡上的事务则不管不顾，玩了一年后，谢灵运认为还是寄情山水的生活适合自己，便草率地选择了辞官归隐，在会稽郡饮酒作乐。
谢灵运辞官的一年后，宋文帝登基为帝，他诛*了徐羡之，并主动征召谢灵运入朝担任秘书监，然而，此时的谢灵运已经厌烦官场，所以两次拒绝了征辟。文帝并不死心，好说歹说终于让谢灵运同意了出山，不过文帝仍然是把他当作文人而不加以重用，这让他称病请求回家休养。回到家乡后，谢灵运纵情声色犬马，因此被弹劾而免官。
无官一身轻的谢灵运更加猖狂，常常带着府上仆从四处巡游，见到树林就砍伐开道，会稽太守孟顗对此十分不满，谢灵运却认对方信仰的佛学是不入流的学问。
随着双方关系的恶化，孟顗一次忍无可忍向宋文帝上书声称谢灵运动用私兵，出于保护谢灵运的目的，文帝让他依据临川。到了临川，谢灵运仍旧作恶多端，临川王的从事郑望生前去抓捕却反而被对方擒获。
