大清顺治二年（1645年）五月十五日，南京城破，偏安东南的南明弘光政权覆亡。七月，流亡的南明残余人马，拥戴明宗室鲁王朱以海出任监国，以浙江舟山群岛为基地，在东南沿海继续抗清大业。

1651年，清军攻陷舟山，鲁监国在张名振，张煌言的护卫下移居金门、厦门。由于失去了自己的基地，漂泊无所，粮饷无源。客观上形成了投奔郑成功的态势。而郑成功则将鲁监国的兵败来会，看成是自己独霸东南沿海局面的良机。郑成功自从起兵以来，基本上是按照其父郑芝龙的路子走，即以闽海为根据地，对于浙江以北，广东以西沿海的武装，不管是属于明还是清，一概视其为异己力量，千方百计的加以兼并。

南京南京

在这期间，张煌言摒弃与郑成功的个人歧见，全身心的投入到抗清大业中。并先后组织了“三入长江”战役。尤其第三次，他曾率水军四百艘战船，溯江而上，直抵南京郊外的燕子矶。沿途州县百姓思念前朝，望风归降，东南震动。

1659年（顺治十六年）四月，张煌言又随郑成功率战船三千多艘，士兵十余万众，北上直逼南京城。后由于郑成功严重的战略失误和自大轻敌，把主动进攻变成了被动挨打，功亏一篑。不但如此，更为恶劣的是，郑成功在兵败后，为保存自己的实力，居然弃此刻在上游的张煌言于不顾，自己率军逃走，这样的举动无疑是置张煌言及其部下的士兵于死地。

后在清军的追击包围下，张煌言部四散奔逃，他身边只剩下两名随从，在地方反清义士的掩护下，改装易服，历时半年时间，在清军的占领区，行程两千余里，才终于回到了海上义师的军中。

心灰意冷

1661年（清顺治十八年），永历帝及其太子被清军俘获，并在昆明十字坡，被吴三桂用弓弦勒死，明统告绝。东南沿海的一些明朝文官武将又重新酝酿拥戴鲁王朱以海出面组织朝廷。次年（1662年），郑成功得病去世，张煌言等一心恢复明朝为己任的官绅立即提出由鲁监国继统。

张煌言明确表达了他认为在永历朝廷覆灭之后，当务之急是拥立朱以海为皇帝，借以存明朝的正统，号召远近，致力于反清复明的大业、然而，此时的延平郡王，郑成功之子郑经，对待鲁监国态度的冷淡，却较其父是有过之而无不及。

不但如此，郑经后来还把鲁监国的“宗禄”（生活费）停发，日常生活都不能保证了，还谈什么继位为皇帝。张煌言当时领兵驻泊在浙江沿海偏僻的岛上。但他仍抱有一线希望“犹幸旧主之在”。可是，就连这个希望也很快化为泡影。朱以海当时正值中年，但身体状况不佳，长期患有哮喘病，这年年底，因病去世。

张煌言在鲁王病死后，对前途感到完全绝望。他始终是一位抗清志士，而不是一个独善其身的人。何况他对郑氏父子的所作所为常有异议，所以没有像其他官绅那样，选择移居台湾，满足于保住先人的头发衣冠。复明运动的旗帜既然已经不复存在，继续同清军作战也就失去了意义。

隐居海岛

1664年（康熙三年）六月，他下令解散自己部下的部队，只留下几个亲信，居住在人迹罕至的悬山花岱岛。这是个距离舟山不远的孤岛。由于岛中不产粮食，日常所需不得不以寺庙和尚的名义前往舟山购买。清浙江提督张杰从降将处探听到了张煌言藏身的海岛。于是派遣兵丁潜伏于舟山的普陀，朱家尖一带，不久果然截获了张煌言的购粮船，当即利用所获船只连夜赶往花岱岛。

七月十七日，天色未明时分，清兵出其不意的突然闯入张煌言的居室，将其及随从活捉，并搜出永历帝颁发的“视师兵部”银印章和九枚关防。

慷慨赴死

张煌言被俘后，断然拒绝清政府的招降，后被押解到宁波，杭州关押。在狱中，张煌言写下了许多的壮丽诗篇。如《被执过故里》诗：“知者哀其辱，愚者笑其癫。或有贤达士，谓此胜凯旋。人生七尺躯，百岁宁复延。所贵一寸丹，可逾金石坚。求仁而得仁，抑又何怨焉？”

更有脍炙人口的：“国亡家破欲何之，西子湖头有我师。日月双悬于氏墓，乾坤半壁岳家祠。惭将赤手分三席，敢为丹心借一枝。他日素车东浙路，怒涛岂必属鸱夷。”

这年的九月初七日，张煌言在杭州英勇就义。在南明众多的人物中，张煌言的地位并不显赫，然而在长达二十多年的抗清斗争中，他历尽艰难险阻，处处以大局为重，几乎是一位无可挑剔的完人。他与于谦，岳飞一起被称为“西湖三杰”。