杨勇的人马快开到江夏时，这一天突然接到李渊御驾亲征和李靖荆州退兵的消息，同时，萧铣的二王率十万大军进攻萍乡的消息也传来了，杨勇一听大吃一惊，赶紧命队伍临时停下，和徐茂公商议对策。看
徐茂公皱眉道：“王爷，大唐正在跟梁师都、突厥、靺鞨、高丽等开兵见仗，几路用兵打得不可开交，李渊突然对我们出兵，还御驾亲征实在是始料未及呀。蒲州离荆州、离我们这里都是远隔千山万水，蒲州告急，李靖退兵了，由于信息的延迟作用，现在也不知道具体怎么样了，大兴城恐怕有危险了，那里缺兵少将，玄成难以应付，药师不知能不能及时赶到，如果万里有个一，这事就麻烦了，要不我们赶紧撤兵吧。”
杨勇也感到问题的严重性，徐茂公说得太对了，因为他清楚魏征身边没有大将，大兴城附近可调用的兵将也不多，好在李靖已经回兵了，杨勇心里感到安慰。
但又想到荆州离蒲州太远，而且李渊、李秀宁、柴绍、裴寂、李神通、马三保、段志玄、殷开山、刘弘基，这些全都是名留名册的人物，哪个都不简单，李靖兵不过六万，将不过单雄信、程咬金和丁天庆，能不能对抗得了李渊的人马，杨勇心里实在没底。
杨勇现在有些后悔，当时真不该把公冶长和侯君集调走，但现在后悔也没有用，世间的事情变化太快，谁能看得透哇，诸葛亮那么厉害，还失街亭呢。现在说什么都没用了，自己远在江西，离陕西太远了，现在回兵一半时也赶不到，正所谓远水不解近渴，但愿李靖能及时赶到打退李渊的人马。眼前自己又不能撤兵，萧铣御驾亲征，两路人马近三十万逞南北夹击之势，弄不好就前功尽弃了。
想到这里对徐茂公道：“军师，不能撤。..我们一走，萧铣两路大军肯定随后跟进，我们这两年所得的地盘就便宜萧梁了，这两年我们等于无偿给萧铣打工了。因此我们不能撤兵，就是撤也要把萧铣这路大军打回去再说，陕西那边的战事就交给药师和玄成吧，相信他们俩能够应付。”
徐茂公点了点头，然后思忖着又摇头道：“不，王爷，我们不但要撤兵，而且还要撤得狼狈些。”
杨勇就是一愣，徐茂公趴在杨勇耳边低声说出了原委，杨勇这才明白徐茂公的打算，心中赞叹徐茂公的机智多谋。于是决定立即撤退，除去攻取九江时伤亡的万余人马，杨勇眼前可调用的兵将有十五万。
杨勇兵分两路，徐茂公统领五万人马为第一路，随军听用的大将有罗松、尉迟恭、张公瑾、康锦宇、杨国文等，他们这路人马先行撤退，也是真撤退，他们撤往豫章方向，以抵御萧铣的南路军，张公瑾仍然负责督运粮草。
剩余的十万人马由杨勇亲自统领，狼狈撤往九江，给梁军造成一成仓皇而逃的假像。这路人马当然是假撤退，随行的大将除了五个美女外，还有张家祥、赵四海、公冶长、林文远等，另外还有廖勇、白玉、碧儿、珠儿的水师。
按照杨勇的部署，徐茂公这路人马在一天深夜人不知鬼不觉悄悄撤走了，第二天，杨勇命张家祥和赵四海各带一万人马沿途埋伏，然后带着主力假装很狼狈的样子，风是风火是火地退往九江一带。
萧铣得报后，喜出望外，你终于退了，赶紧回你的江北吧，退慢了家都没了，你退我进，江南五王的地盘都是我的！
于是萧铣一声令下带着十五万人马出江夏随后追杀。一路上，义军的刀矛器械、锣鼓帐篷、包括粮草辎重等，梁军没少捡，有的义军把锅都扔了。得到甜头的萧梁军，乐不可支，在后面追得更有劲儿了。
当追至蕲春（今天的湖北省武穴市一带）境内时，萧铣的人马由平原进入丘陵中的谷地。
眼前的谷地称为四方谷，别看名为四方谷，其实是个狭长的山谷，宽宽的谷底即道路，山谷的两边除了丘陵就是低山，绵延起伏，草木林立，整个谷长超过三十里。由于眼下已是春天，百草吐绿，万木争荣，满眼都是郁郁葱葱的，景色非常美。
天已过午，宋王杨道生提马来到萧铣近前施礼道：“陛下，这一带地势凶险，我们别中了杨勇的埋伏。”
得到提醒，萧铣一愣，立马看看眼前的地势，见两边丘坡连绵，中间谷道弯弯，一眼望不到边。
萧铣赶紧命令队伍停下，派出远探、近探、流星探前去探路。半个多时辰后，几个探马陆续回来了，“陛下，没有发现伏兵，杨勇的人马已经狼狈逃到了瑞昌一带。”
萧铣一听笑了，“宋王，我们是不是太过小心了，杨勇现在后院起火，家都快没了，哪还有心在这里伏击我们呀，不过就算他设伏，朕的十几万兵马，又有何惧哉！”
说完萧铣对旗牌长郎声道：“来呀，传朕的口谕，进谷！继续追歼杨勇的人马，今天无论如何要拿下瑞昌，明天就进攻九江，吃多少，朕这次要让杨勇加倍地吐出来！”
一声令下如山倒，十几万梁军浩浩荡荡开进了四方谷。三十余里的谷长也不是一下子就能通过的，就是急行军也得半个多小时。当萧铣的人马全部行至四方谷的中部时，沿途不要说有伏兵，连个人影都没看到，萧铣更加放心了，传令三军加急行进。
就在当萧铣的前头部队快要出谷，而后方部队已经全部进入谷中不久时，谷两边突然鼓声大作，呐喊声四起，张家祥和赵四海的两万伏兵从谷两边的丘坡上冲杀出来。
兵到一万无边无沿，两万人马一齐冲杀，动静自然不小，一时间漫山遍野全是义军的人马，冲在前面的是义军弓弩手，有步弓手还有马弓手，先是一顿猛射，接着张家祥和赵四海亲自带队排山倒海般冲下丘坡。
梁军突然遭袭，中箭落马的，战马受惊的，往前跑的，往后突的，人喊马嘶的，自相踩踏身亡者也不在少数，梁军当时就乱了，指挥一度失灵。正这时义军两边的高坡冲入谷底，双方混战起来，眨眼间遍地都是尸体。
很快，十几万梁军被张家祥和赵四海的人马揽腰斩为三截，得报后，杨勇命大将公冶长和林文远带一万骑兵从瑞昌往回杀，同时让廖勇和白玉、碧儿和珠儿率领水师进攻梁军的水师营，杨勇和五个美女准备好了庆功宴在瑞昌坐等捷报。
从瑞昌到四方谷仅有几十里的路程，公冶长和林文远的一万骑兵像旋风一样很快就杀到了。
结果十几万梁军被三万义军杀得大败，萧铣一看不好，赶紧命令部属撤退，突围。但张家祥、赵四海、公冶长、林文远四将都不吃素，中计的梁军想撤退突围谈何容易，这场鏖战从下午后半晌一直杀到天黑，从天黑又杀到第二天凌晨才结束。
天亮之后，你就看吧，绵延几十的四方谷漫山遍野全是尸体了，鲜血把山石，大地，草木都染红了。几乎是与此同时，长江中的激战也告一段落，因此萧铣水师也大败而回。