1336年，25岁的刘基才被元朝政府授为江西高安县丞（正八品），协助县令处理政务。他勤于职守，执法严明，很快就做出了政绩。他深入乡间，体察民情，发现高安县一些豪绅地主勾结贪官污吏，无法无天，骗人钱财，夺人妻女，*人害命无恶不作。刘基倾听百姓的哭诉后，义愤填膺，决心为民除害。经过明察暗访，掌握了真凭实据后，对几个劣迹昭著的豪强恶霸，坚决予以严惩，并对县衙内贪赃枉法的官吏也进行了整治，高安县的社会风气很快就有了好转。刘基刚正不阿，一身正气赢得了百姓的赞誉。在任官的五年内，处理地方事务的原则是“严而有惠爱”，能体恤民情，但不宽宥违法的行为；对于发奸摘伏，更是不避强权。因此受到当地百姓的爱戴，但因为他的正直，地方豪绅对他恨之入骨，总想找事端陷害他，幸得长官及部属信任他的为人，才免于祸患。
1343年到1352年多处为官，却又多次辞官。因自身刚正不阿、严厉执法的行事风格，被同僚排挤，被大臣责难，始终无法被重用，多次以辞官来表达对元朝腐败昏聩表示不满，但又按奈不住自己当朝为官，施展才华的冲动，又多次复出，但都徒劳无功。
直到1360年，居家休养的刘伯温才被朱元璋请到了应天（现南京），委以谋臣。其中有一段小插曲，便可以一窥刘伯温的战略才华：当时陈友谅攻陷太平，意欲东攻。朱元璋帐下大将多有投降意愿，朱元璋也由于不接。正值内忧外患之时，刘基说道：“天道后举者胜，吾以逸待劳，何患不克，莫若倾府库，开至诚，以固士心，伏兵伺隙击之，取威制胜，以成王业，在此举也”。刘基寥寥数语，剖析形势，点破要点，稳定军心，直接为此役胜利奠定了基础。
此后刘伯温名声大噪，一时无两。朱元璋也是给予了刘伯温极高的评价。朱元璋曾说：“（刘基）学贯天人，资兼文武；其气刚正，其才宏博。议论之顷，驰骋乎千古；扰攘之际，控御乎一方。慷慨见予，首陈远略；经邦纲目，用兵后先。卿能言之，朕能审而用之，式克至于今日。凡所建明，悉有成效。”
但此时的刘伯温随着名声大噪，性格也是愈加张扬，怀着治国平天下的雄心壮志，毫无保留地展示自身的才能，这也为日后的悲惨境遇埋下了伏笔。
在当时世人甚至都认为他为诸葛转世，能够呼风唤雨，无所不能，但这样的称号还是没有让刘伯温满意，他认为诸葛亮只是平定三国，而他可以一统天下，为了表现出他瞧不上诸葛亮，还去刨了诸葛亮的坟墓，不可一世的性格可见一斑！
在开朝时，他曾劝阻朱元璋滥*，此事虽然得到了朱元璋的认可，但在朱元璋心里也留下了“喧宾夺主”的标签。
开朝后，他认为前朝的覆灭多因过于宽纵，而后他大刀阔斧严明法纪，整肃纲纪，无所顾忌。不断弹劾检举多位大臣，使得朝廷上下人人自危，纷纷畏惧刘伯温。其中比较出名的一案就是：中书省都事李彬因贪图私利、纵容下属被治罪，而李彬是丞相李善长的红人，李善长多次请求刘伯温宽大处理，却依然被刘伯温斩首。此事过后俩人便真正地结下了梁子，所以后来也有很多人推测刘伯温是被李善长所害，也不是没有道理。
