晋武帝太康元年（东吴天纪四年）， 晋安东将军王浑统率十余万大军向横江（今安徽和县）方向进军，派参军陈慎率偏师攻击寻阳（今湖北武穴）；派殄吴将军李纯率军攻击驻守高望城（在今江苏境内）的吴军俞恭部。正月十五日，李纯挥军击破俞恭部，前推至横江以东，夺占了渡江的最佳位置。与此同时，参军陈慎军攻占了羊濑乡，大败东吴牙门将军孔忠等部。彼时的吴军，乏粮乏饷，士气涣散，毫无斗志。见晋军势如破竹，攻无不克，吴厉武将军陈代、平虏将军朱明干脆率所部缴械投降。
次年二月，吴主孙皓得知晋将王浑率大军南下伐吴，即命丞相张悌率丹阳太守沈莹、护军孙震、副军师诸葛靓（诸葛诞子）领精兵三万，渡江阻抗，以阻止晋军南渡。张悌等行至牛渚（今安徽当涂采石矶），与诸将商议，沈莹向他分析晋军来袭的形势，说：
“晋治水军于蜀久矣，今倾国大举，万里齐力，必悉益州之众浮江而下。我上流诸军，无有戒备，名将皆死，幼少当任，恐沿江诸城，尽莫能御也。晋之水军，必至于此矣 ”！
据此，沈莹建议，应集中兵力于牛渚（采石 ），等待晋军主力前来决战，若能击败晋军，即可阻止晋军渡江，还可溯长江西上收复失地。如果大举渡江与晋军主力硬碰硬，若不幸失败，大势必将去矣。但丞相张悌却另有想法。他认为，吴国衰朽，早已风雨飘摇，灭亡在即，人人早已看清，并非今日才晓得。这样，晋军大兵压境，众心必然恐惧，难以众志成城，更难以整军出战。不如趁现在晋军主力未到，我军渡江等待与其决战，或许还有取胜的希望。养军千日，用在一时。如若兵败身亡，为国牺牲，亦是死而无憾了。假如我能战而胜之，北方的敌军逃走，我军就会声威大震，到那时再乘势南下，必能克敌制胜。若依照你的计划，坐等敌军前来，恐怕咱们的部队早就逃亡殆尽了。于是，张悌否决了沈莹的意见，决定率军渡江与敌人展开决战。
三月初，张悌统军渡江后，在杨荷（今安徽和县）遭遇王浑部将阳城尉张乔所率的7000先锋兵马，吴军人数占优，迅速将张乔军包围，张乔兵微势弱，又孤军深入，便竖白旗请降。吴副军师诸葛靓认为，张乔是诈降，不过是以假投降行缓兵之计，以拖延时日，等待主力后援大举开至再反击我军，我应急速进兵予以剿灭。但张悌再次否定了这一正确主张。他认为不如放过张乔，因为大敌当前，不可因小敌而轻易出战。于是接受张乔归降后，督军继续前进，随即与王浑伐吴主力大军司马孙疇和周浚部迎面相撞，列阵相对。吴丹阳太守孙莹首先率五千精锐向晋军发起攻击，三次冲锋均被晋军击退，还折了两员大将，不得不退兵。晋军乘吴军后撤秩序混乱时，突然*出，吴军大败亏输。此时，诈降的张乔军果然从吴军背后袭来，吴军心胆俱寒，无心恋战，溃败而逃。副军师诸葛靓见大势已去，败局已定，只得收拾溃兵数百渡江逃回江南。丞相张悌不愿逃走，和丹阳太守沈莹、护军孙震力战而死，三万多吴军，阵亡近八千人，其余皆溃散而逃，晋军乘胜推进至长江岸边。
晋扬州别驾何恽向扬州刺史周浚建议说，吴相张悌率三万东吴精锐渡江阻抗我军，被我打得几乎全军覆灭，东吴举国震惊，现龙骧将军王浑已攻取开昌，乘胜东下，沿途攻城拔寨，所向披靡。吴国已呈土崩瓦解之势，我们应该迅速强渡长江，出敌不意，直捣吴都建业（今南京），大军突然兵临城下，定能不战而逼降东吴。
周浚不敢擅自做主，就上报给安东将军王浑。 但王浑听到这一建议后也有些踌躇不定，他认为武帝司马炎只命他出兵江北，以抗吴军，如果挥师渡过长江，就是违抗君命，即便作战获胜，也很难获得奖赏；但若失败，不仅前功尽弃，还必获重罪。于是，王浑坚持按原计划以及原诏令，就地屯扎，等待王濬水军的到达，然后再统一节制王濬等军共同渡江作战。扬州别驾何恽再次向王浑建议说，将军身为上将，肩负灭吴重任，当见机而进，岂有事事等待诏命之理。战机稍纵即逝，岂不闻“将在外，君命有所不受”乎？王浑仍拒绝采纳，不肯听从。
琅琊王司马仙所率的另一路大军，自正月出军以来，进展神速，已迅速推进至涂中，令琅琊相刘弘领前锋进抵长江，与建业隔江相望，以牵制吴军；同时派长史王恒率诸军抢渡长江，直攻建业。王恒部渡江后进展顺利，将吴军沿江哨所一一拔除，并击破其江防军， 团灭五、六万守军，*得尸积如山，血流成河，惨烈异常。是役，晋军还生擒吴大都督蔡机。
王濬大军出益州后顺流东下，在长江中游接连取胜后，便挥军驶往下游，三月十四日到达牛渚（安徽采石）。当晋国楼船大军进至距建业西南五十里处时，吴主孙皓才派出游击将军张象率一万水师前往拦截，但吴军此时因连遭挫败，早已是惊弓之鸟，张象的水师一看见晋军的旗帜便唬得魂飞魄丧，不战而降。
