像宋濂这样的知识分子其实还是有“学而优则仕”的传统观念，但宋濂的政治眼光却格外独到，当时已至元末，多地农民义军已经揭竿而起，元朝势必气数将尽，因此宋濂并没有打算跟着元朝走向穷途末路。
1349年即元顺帝九年，学成之后的宋濂已经具有一定名气，并受到很多人举荐，顺帝召他为翰林编修，宋濂以奉养父母为由，辞不应召。
第二年，宋濂为避元朝廷召见隐居龙门山，入仙华山为道士，实则上山写书，此举其实跟刘伯温有很大关系，刘伯温曾在《送龙门子入仙华山辞序》中促他入山：
龙门先生既辞辟命，将去仙华山为道士，而达官有邀止之者。予弱冠婴疾，习懒不能事事，尝爱老氏清净，亦欲作道士，未遂。闻先生之言则大喜，因歌以速其行。先生行，吾亦从此往矣。他日道成为列仙，无相忘也。
宋濂没能修道成仙，却成为了大明朝的开国文臣，当时在元朝廷为仕的刘伯温没有想到，后来宋濂会和他一起成为明太祖朱元璋的左膀右臂。
元至正十八年，朱元璋打下了婺州，转年其将婺州改为宁越府，同时任命王宗显为知府，于是就派人将宋濂等人找来，聘其为经师。
第二年，在李善长的推荐下，《罪惟录》中记载“帝曰：‘吾徐将军，淮阴无以过。即安得留侯者？’对曰：‘金华宋景濂可为博物洽闻，兼通象纬。’帝曰：‘以孤所闻，通象纬者莫如青田刘基。’自是二公合举王业。”从此，宋濂与刘基共同成为了朱元璋手下的左膀右臂。《明史》中讲到了他们两人的分工：“濂长基一岁，皆起东南，负重名。基雄迈有奇气，而濂自命儒者。基佐军中谋议，濂亦首用文学受知，恒侍左右，备顾问。”刘基主要是军事谋臣，而宋濂的作用就是文臣。
同年七月，宋濂又被任命为江南等处儒学提举。十月，奉命为朱元璋子朱标教授“五经”，后又参与修撰起居注。也正是那个时期，宋濂与太子朱标建立下深厚的师生情谊。
1368年，朱元璋开国号洪武，同年十二月，下诏撰修《元史》，命宋濂及王袆为总裁官。
说到宋濂与王袆，当时朱元璋对二人皆有很高评价，认为宋、王二人各有所长，对王袆说：
学问之博，卿不如濂；才思之雄，濂不如卿。
朱元璋是一个急性子，开国之初便撰前朝史，其心态也是昭然若揭，王春南在《宋濂评传》揭示了其中原因：
除了总结历史经验之外，修纂《元史》还有一个目的，就是宣告元朝作为一个朝代已经结束，新建立的明王朝‘天命’所归，人心所向，以便绝了元朝残余势力复辟故元之心。
出于这种原因，朱元璋对撰修《元史》催促得十分紧迫，宋濂等人仅用几个月的时间，就将百万余字的《元史》修成。
1370年，因欧阳佑等儒士采得元朝事迹还朝，朱元璋遂于二月初六开局续修《元史》，仍命宋濂及王袆为总裁，至七月一日，全书告成。
尽管两次修订，《元史》仍然有不少的缺点，比如说本史没有修《艺文志》，余外的错误、重复、牴牾之处不少。出现这种情况的原因，除了时间紧迫，还有一个重要的原因，那就是元朝的史料大多是用蒙文书写，而宋濂不认识蒙文，虽然当时也请了一些人做翻译，可是翻译出来的文本，其准确度和真伪，宋濂也完全无法鉴别，这才使得到了民国年间，柯劭忞重新写了一部《新元史》。
作为大明朝开国辅佐之臣，除了修撰元史之外，朱元璋所发布的重要命令和规章制度等大多出自宋濂之手，《明史》本传上称他：
在朝郊社、宗庙、山川、百神之典，朝会、宴享、律历、衣冠之制，四裔贡赋、赏劳之仪，旁及元勋巨卿碑记刻石之辞，咸以委濂，屡推为开国文臣之首。
明初的重要文献，如《大明日历》《皇明宝训》《大明律》《洪武圣政记》等，也均出自宋濂之手，从这个侧面也看出朱元璋对他的重用。《翰林院承旨诰文》中说：
文者翰林院尚未有首臣。朕于群儒中选，皆非真儒人，各虚名而已。独宋濂一人侍朕左右，十有九年，虽才不兼文武，博通经史，文理幽深，可以黼黻肇造之规，宜堪承旨。
常伴君王两侧，宋濂有着自己的处事法则，十分谨慎检点，有所陈说，毫不文饰隐蔽，坦诚而透明。《玉堂丛语·卷五》中有记载：
宋景濂性慎密，禁中问对语，绝不以告人。
郑晓在《皇明名臣记》也有说：
上喜公善谏，公深密不泄禁中语，有奏，辄焚稿。尝书‘温树’二字室中，或问朝廷事，指二字不对。
