孙权沉吟道：“荆州之地也有不少铸剑师，从江东择选一些次等的给他无妨。但荆州的造船工匠原本都在江夏、襄阳、江陵等地，经过多次争夺，这些船工不是在我江东，就是被曹操掳去，刘贤手中此时并无造船良工。倘若给他，让他造出战船来，日后必成我江东心腹之患。”
诸葛瑾点头道：“但不给他，如何能换回程普老将军？”
孙权闻言，有些犹豫，旁边朱桓道：“这有何难？可从会稽之地找些只能建造小船或海船的工匠给他。他便得了这些工匠，也无法制造艨艟斗舰和楼船这等大型战船。长江水道，便依然还在我军手中。”
孙权闻言，这才点了点头，道：“也只能如此了！”
江东君臣计议定，复又遣诸葛瑾来见刘贤，双方于是达成协议：江东军退出夷陵、秭归、枝江三县，将城池土地交割给刘贤之后，便由刘贤派兵一路“护送”回江东。待孙权将二百名工匠送到州陵，刘贤验收之后，便释放程普父子。
至于被俘虏的数千江东军，孙权没提，刘贤也没有主动说要归还，双方就这么默契地将此事遗忘了。
当日达成协议，孙权即写了文书，派诸葛瑾送去夷陵、秭归交给黄盖、蒋钦、孙瑜等人，叫他们放弃三县，领兵撤回江东。同时，发文至吴郡、会稽等地，叫点选一百名铸剑师，一百名造船师到州陵交割。
黄盖、蒋钦、孙瑜等人接到孙权文书，虽然不舍，却也只能弃城，数日之内，三县全都交接完毕，刘贤派出民船运送三将之兵回到州陵，交付孙权。
孙权于是留吕范领兵两千驻守蛇山，就地修筑武昌城，孙皎则领兵三千继续驻守沙羡。随后孙权率领着剩余两万一千大军返回江东。
因曹操此时尚未真正南下，孙权思及江东空虚，恐大战一起，内部山越豪强作乱，故而先派朱桓、朱然领兵一万增援淮南，孙权自己却领着剩余大军巡视各郡，意图先震慑境内宵小之辈。
且说刘贤见孙权领兵撤走，于是留樊岐领兵三千镇守州陵，随后大军拔营回到巴丘。此时临沅尚未攻下，公安、夷道等地也都还在刘备军的手里。于是刘贤命令张著、胡济前去攻打洞庭湖西岸的作唐县，刘贤则率领郝昭、吕介、胡济、陈应、鲍隆等部兵马，共计一万一千人继续沿江西进，兵锋直指刘备所置的荆州治所公安。
公安守将傅士仁，以及荆州别驾、典州事潘闻听刘贤领兵大举到来，尽皆心惊，急忙分派兵马上城防守。刘贤到后，命吕介、胡济两部水军封锁油江口，自率郝昭、陈应、鲍隆下船，来到公安城外安营扎寨。却不着急攻城，只修书一封，命弓箭手射进城内。
守军将书信上呈给潘、傅士仁，二人同时观看，只见上面写道：“汉镇南将军、领交州牧、都督荆南四郡军事刘贤谨拜上潘别驾、傅将军：今我起义兵，诛暴虐，旌旗所指，南郡、江夏望风披靡，程普、关羽束手就擒。现江南数千残军已成孤军，困守小城，外无援兵，岂能长久？且刘备空有仁义之名，治荆州则穷兵黩武，横征暴敛以养兵，以至百姓困苦，皆欲去之。是以庞林、习珍、习竺、向充等荆州名士，均弃刘备而归我。糜芳、廖化、郭攸之等军中宿将，皆委城投献。亟盼二位以江南百姓为念，追效庞林、糜芳义举，弃虚伪无道之刘备，归我仁义爱民之王师。书不尽意，刘贤再拜。”
潘看了书信，冷笑一声，当即命人将之烧掉。傅士仁见状面色一变，不过却也没有说话。
至夜间，傅士仁亲自领兵巡视城防，忽见城外一骑快马而来，奔至城下，抬手复又往城上射来一封书信。傅士仁命士兵捡来一看，只见上面写道：“城中守军倘若投降，傅士仁官号可与黄忠平齐，潘仍为荆州长吏，家小私财皆得保全。”
傅士仁看信之后，不由大为心动。要知道黄忠乃是刘贤军中首将，刘贤调整麾下军队的职级之后，唯有黄忠一人获得了偏将军的职位。倘若傅士仁也能得到这个官位，便能一跃成为刘贤军中第二人。这让原本在刘备军中排不上号的傅士仁如何不心动？
当夜傅士仁便动用权力，命麾下士兵尽皆回军营安睡，随后径直率领亲信兵马打开城门，迎接刘贤大军进城。
刘贤大喜，挥军进城，命陈应、鲍隆包围军营，迫降营内兵马。刘贤自己却与郝昭一道，在傅士仁的带领下来到城守府，将刚刚收到消息，准备逃跑的潘捉住。
眼见被擒，潘这才长叹一声，不再抵抗，并在刘贤的连番好言相劝之下，赚足了面子之后，颇识时务地投降了。
当下刘贤取了公安，安民完毕，傅士仁又自告奋勇去说降了孱陵县城。随后刘贤留王累暂守公安、孱陵，自领着郝昭、吕介、胡济、陈应、鲍隆以及降将潘、傅士仁等继续西进，往夷道而去。