几十万人无辜的百姓因为这道剃发令殉难，江南老百姓人心思旧，怀念故国，纷纷起来反抗清朝的暴虐统治，这便给了张煌言以一介举人身份起兵的机会。
张煌言拉起军队之后来到了浙江，投靠当时担任监国的鲁王朱以海，他上书鲁王，建议以浙江做基地，与福建，广东的反清势力联合寻机收复南京，他的建议得到了鲁王的认可，加之张煌言在士人之中有一定的影响力，所以他得以顺利加入了鲁王政权，并成为鲁王一派的核心人物。
在当时，张煌言和郑成功的军队成为了江南沿海两支最重要的抗清力量。清军大军南下，鲁王逃入舟山群岛，位于福建的唐王政权也灭亡了，南明由广西的桂王朱由榔掌权，全国各地抗清的武装力量都由桂王掌控。当时桂王策划了一场大举北伐的计划，桂王政权联合了西南各地的抗清力量以及张煌言、郑成功北上。
张煌言率领水师三次进入长江口准备与桂王的军队会师，第一次行动张煌言率军在金山卫登陆，遥望南京方向祭拜了明太祖朱元璋的陵墓。第二次进攻打到了上海附近，而且一次比一次深入，一次比一次更有威胁。当时江南陷于清军之手久矣，故国百姓望到明军旌旗，欣喜若狂，箪食壶浆以迎王师。虽然永历皇帝朱由榔的军队没能打到长江边与张煌言顺利会师，但是张煌言三入长江，江南半壁振动，对于清廷的打击十分沉重。
不久之后，永历帝册封郑成功为招讨大将军，以张煌言为东阁大学士兼兵部尚书，作为郑成功的先锋北伐。当时北伐军一路势如破竹打到南京附近，郑成功意气风发的写下这样的诗作：
“缟素临江誓灭胡，雄师十万气吞吴。试看天堑投鞭渡，不信中原不姓朱！”
可惜郑成功也犯下了骄兵必败的错，被清军采用缓兵之计里外夹击，击败在南京城下，北伐失败。
一蹶不振的郑成功率军撤到了福建沿海一带，江浙一线的抗清力量只剩下张煌言的一支孤军了，张煌言不得已退回到浙江一带，使得早先收复的芜湖、苏州等地又再一次沦入敌手。
此时清朝又大举调军前来围剿，张煌言兵微将寡，实在无力抵抗，加之永历皇帝在昆明被吴三桂弑*，昔日的大明已然没有了恢复的希望，江山易主，世事全非。为了保全吴地百姓，也为了坚守自己的忠节，他主动解散了自己的军队，隐居在了舟山群岛之中。
张煌言隐居在一个无人的小岛之上，由于需要出岛采购生活的必需品，所以他的行踪很容易就被清廷侦知，清朝人截获了他的运粮船，成功抓住了张煌言。
被俘之后，清朝浙江巡抚和江浙总督纷纷前来劝其归降，张先生的大名世人皆知，成为了各地反抗清朝统治者心中的一面旗帜。如果这样的人能够投降清朝，想必天下反清势力也将消弭大半。
更何况现在大清入主中原已逾数十年，已经来到康熙年间了，张煌言对于这么一个早已灭亡了数十年的政权早就算是仁至义尽，鞠躬尽瘁，没有必要再选择死而后已了。南明本就腐朽黑暗，哪怕是死到临头各地的将领也还在互相倾轧，疯狂内斗，为这样的政权效死，真的值得吗？
