司马炎有灭吴统一中国的野心，于是任命杨虎为荆州各军马的总督。晋国荆州和吴国荆州是两国最长的边界，因此也是晋国灭吴最关键的地方。杨虎担任荆州最高长官后，整顿了官治，加强了战备，特别是对东吴军民采取了怀柔政策，为晋灭吴奠定了坚实的基础，取得了协助司马炎统一中国的伟大成就。
杨虎用计使吴国撤出驻石城的守军。石城距襄阳700多里，吴国原有大量驻军，经常骚扰晋国边境。吴国中羊虎之计撤军后，羊虎将自己的部队分为两部分，一部分守边，一部分垦田。杨虎这一举措收效显著。羊虎初到荆州时，军无百日粮。垦田后的两三年，所收粮食可供10年使用。羊虎对下属不摆架子。他有一个习惯，就是喜欢穿便装，只带十几个亲信出去打猎或者钓鱼，这些活动往往耽误了政治事务。一天晚上，他准备这样出去。出乎意料的是，军司（即军师，晋避司马师的禁忌改为司）徐胤手里拿着武器挡在营门口。他严肃地说：你们都是将军。你怎么能这么轻率地放下肩上的重任？你的安全是国家的安全。今天，除非徐胤死在这里，否则你不能出门！杨虎没有因为徐胤扫了脸而发脾气。相反，他立即真诚地感谢徐胤，很少出去。吴国著名将领陆抗，终于让一帆风顺的杨虎遭受了挫折。
杨虎返回襄阳，吴国西陵监督准备献城投降。此时，吴国已任命陆抗为吴国荆州统帅。陆抗是东吴名将陆逊的次子，曾大败刘备。他是一位伟大的军事家。陆抗得知步解要降，立即领兵攻打。晋武帝下诏羊虎去救步解。接到命令后，杨虎率领5万人从江陵出发，并派荆州刺史杨肇先行攻打陆抗。杨肇没有攻下陆抗，步解及其手下被陆抗生擒后杀害，并被三族灭亡。有关官员立即上表弹劾杨虎，称他领导的军队多达8万人，而对方只有3万人。杨虎被命令后，他驻扎在江陵，使吴军能够充分准备战争。他命令杨肇领导进攻，但杨肇兵粮食不足，导致失败。因此，杨虎应该免除官员。奏书上去后，杨虎被降为平南将军，杨肇被废为普通人。
杨虎这次受挫，让他清醒地认识到，吴国有陆抗这样优秀的将领，军事力量依然强大，所以，灭吴不是朝夕之间的事。因此，他加强了对吴国军事侵蚀与怀柔并举的政策实施。杨虎在怀柔上下了更大的功夫。他和吴国交兵，总是提前说明战斗时间，绝不搞突然袭击。如果一个下属建议他突然袭击，他会用酒喝醉下属，让他再也说不出话来。部下俘获了吴国的两个孩子，杨虎立即命令送回去。后来，吴国将领夏详、邵凯等投降，两个孩子的父亲也跟着。吴将陈尚、潘景引兵来犯，战败被羊虎追杀。杨虎以这两位将领为国而死，于是以礼厚殡。陈尚、潘景的儿子来领父亲的遗体，羊虎以相应的礼仪送回。吴将邓香带兵入侵夏口被俘，杨虎放了他。邓香很感激，带着自己的下属下来。杨虎带兵到吴地收割庄稼，但不白拿，总是用相应的丝绸作为补偿。杨虎率众打猎，不出晋地，如果打到的猎物先被吴国人伤害，他一定会把猎物送回吴人。杨虎这样做的结果，深得吴人信服。吴人尊称他为羊公，不叫他的名字。
两位敌对的指挥官杨虎和陆抗也建立了良好的私人关系。他们之间经常有书信往来。陆抗尊重杨虎，认为杨虎的才德，就连乐毅、诸葛亮也未必能超越。陆抗病，羊猷得知病情后，立即送药。下属劝陆抗不要吃，担心有毒。陆抗说，杨虎是那种害人的人，平静地服药。杨虎病情加重后，建议杜预代替自己。晋武帝咸宁四年(278年)，羊虎因病去世，享年58岁。那天是大寒，晋武帝穿着素衣痛哭，流到胡子上的眼泪竟形成冰。人们闻其死，都罢市，到处哭。杨虎去世两年后，杜预率军灭吴国。庆祝会上，晋武帝泪流满面地说：能灭吴，是羊太傅的功劳啊！
灭吴第一功臣：古今罕见的传奇名将是何许人？