在收复淮南路之后，南宋朝廷决定首先解决危害最大的“曹成匪患”，意图以“盗”制“盗”，命令驻扎潭州的马友，盘踞岳州的李宏，再加上韩京和吴锡两支部队，都归都统制岳飞节制，全力剿灭曹成这支“盗匪”。
此时岳飞的神武副军驻扎在吉州。在得到命令后，岳飞留下三千人驻守吉州，保护自家部队的眷属，自己则亲率一万余兵马，进驻到江南西路的袁州。此时，马友的部队已经盘踞在潭州一年多的时间，见到神武副军的到来，不想着怎么配合一起进攻曹成，反而把部队布置到与江南西路交界的地带，似乎是准备防守朝廷的大军，搞得潭州一阵鸡飞狗跳，许多人担心战事又起。岳飞就是在这样一个动荡的时期来到了袁州，此时已经是三月，他在路上整整损耗了一个多月的时间。其后整个大军就驻扎在了袁州，就没了任何动静。
眼看着大军迟迟不动，作为后军统制的王贵坐不住了，就拉着张宪一起找到了岳飞的临时中军节堂里。
“元帅，我们即已奉令，何不急入潭州，这样反而让敌人有了准备？！”王贵在见到岳飞的面后就问道。他和岳飞是同乡，自家乡起就跟着岳飞一起东奔西走，两人之间的关系密切，所以说话也就比较随便。
“李相公并不相信咱们能够平定曹成，力主调韩世忠过来征讨他们，我们何必也与他们争功。”岳飞说道。李纲现在还在福州，并没到来到荆湖路赴任，实际上岳飞所部仍然归江南西路安抚使李回节制。李回知道岳飞出兵会引起李宏和马友的猜疑，而且马友占据潭州已有一年，他决不会允许岳飞进入自己的地盘，就任新命。
所以李回也怕生出什么变乱，也不同意岳飞立刻进军潭州。
现在的岳飞刚刚独立成军，实力还很弱小，所以他打算做一次标准的大宋官吏，什么都听上面的安排，自己没有任何想法。官家赵构虽然有意加强神武副军的实力，在他出征前就下了一个便宜行事的旨意，但是他还是决定遵守李回的命令，并不急于与韩世忠争抢功劳。
说实在的，岳飞在开封时就与马友、李宏他们进行过火并交战，并不怎么惧怕对手的实力。张用是与曹成齐名的首领人物，一样被他劝降后成了他的部下，他实际上很希望能够再招降这些原来的同僚，以增强自己的实力。
不过权衡再三，他还是决定服从上司的命令。
他是相州人，在那些出身西军的将领们眼里就是个异类，与南宋的军队有些格格不入，一直在受到排挤，如果再失去这些文官们的信任和支持，他根本就没有立足之地。