徐晃深恐曹洪、朱灵不是关羽的对手，当下转道兼程赶来，不想正巧看见关羽将要攻克城。当下徐晃急催兵马前进，骑兵踏着轰隆隆的马蹄声往关羽之军冲杀而来。
关羽眼见城池就在眼前，已是唾手可得，敌军援兵却突然到来，心下顿时一片冰凉，眼见敌军骑兵众多，知道再战下去，必定全军尽没，当下关羽只得长叹一声，传令撤退。
当下关羽亲自断后，且战且退。徐晃、曹洪驱兵四面掩杀，关羽大军一时损失极为惨重。好不容易退回了斜谷，又在谷后设置伏兵，击退了追的最快的乌桓骑兵之后，这才马不停蹄地往谷内撤去。
徐晃追到斜谷，闻听乌桓骑兵败了一阵，当下收住兵马，就在谷口设立营寨，随后遣精干斥候入谷打探关羽情况。曹洪问道：“关羽惨败，将军为何不追入谷去，全歼此军？”
徐晃道：“我部下都是骑兵，入了斜谷，大军施展不开，恐被关羽埋伏。关羽如今粮草将尽，而谷内道路又被洪水冲毁，我只守住谷口，待其自败可也！”
曹洪拜服！
此时关羽退入谷中，将士惨败之后，又粮草耗尽，一片凄风苦雨。幸得前番伏击曹洪之时，杀伤了敌军二三百匹战马。当下关羽只得命人将马尸集中起来，取马肉补充军粮，全军饱餐一顿之后，士气略有恢复。
就听行军长史王甫道：“今徐晃、曹洪堵住斜谷口，而我军退路又被山洪冲毁，粮草已尽。困守下去，不过数日必定全军崩溃，我等将尽为俘虏也！唯今之计，不如趁着士卒尚有体力，全军翻山越岭，斩山为道，往汉中撤退。此时马谡率领的民夫正加紧抢修道路，我们往南前进一步，就与之距离越近。”
关羽闻言，点了点头，当下清点士卒，还有万余人，于是将之分为二十队，陆续进发。命鲍庸在前开路，关羽则亲自押后。
徐晃闻听关羽缘山而走，当下与曹洪商议，自率骑兵往陇右而去，请曹洪、朱灵率三千精锐步弓手入山追击。此时因山洪过后，道路湿滑，众军行军速度不快。开始之时关羽还能维持军队不散，然而过了两三天，随着士卒携带的粮草耗尽，众军疲累不堪，当下便开始有士兵掉队。而随着曹洪、朱灵率军不断袭击，被击散掉队的士卒就更多了。
及至后来，关羽只能不管后路，只率领少量精兵闷头往前，马肉吃完，许多士兵都都去挖野菜，捕鸟雀，为了一口吃的离开队伍，进入山林之中，便再也没能回来。
及至八日之后，关羽率领饿的发晕的残兵败将与马谡之军会合时，身后只剩下三千余人了。当下关羽全军饱餐一顿，随即又叫马谡分出人手去山林之中搜寻散族，最终却也仅只陆续带回了不到两千人。
余者不是迷失亡故在了山林之中，便是被追击而来的曹洪之军击杀擒获了。
关羽看着麾下原本浩浩荡荡的一万五千大军如今仅只剩下五千残军，不由悲从中来，整个人精气神瞬间垮了一大截，一向锐利如刀的目光之中，也带上了许多茫然之色。
在关羽惨败的同时，刘备也望着坚固的上城叹了口气，转而对法正道：“张既真当世之英才也！治政则能得军民倾心拥戴，领兵则能筹划战克，使我一筹莫展。近闻曹操征调匈奴、乌桓等骑兵来援陇右，敌军援兵陆续汇集，我军此次北伐，怕是会无功而返了。”
法正沉吟道：“阎芝、何宗等人已经清通了祁山大道，押运粮草到了军前，但因迁延日久，军粮在路上消耗了很多，我军粮草还是很紧张。若不能夺取上城中的粮草，我军终究是支撑不下去的。而街亭又未能夺取，我军对陇右无法形成关门打狗之势，敌军援兵不断汇集，如此看来，的确是该撤退了。”
正说之间，忽听马谡派遣信使昼夜兼程传来关羽偏师惨败的消息，刘备闻讯大惊，当下决定撤军。先传令叫正与张颌相持的张飞徐徐收兵返回，随后又命刘封、阎芝、宗预、白寿等人去祁山整修营寨。随后大军拔寨起行，往祁山而退。
临退之前，刘备忍不住对法正道：“此次退兵，乃是苍天不佑，降下暴雨，以致我军徒劳无功。这也是曹贼气数未尽，只可惜了在许都朝中的一番布置，恐怕要白白牺牲了。”
法正闻言默然良久，道：“此次不成，下次再攻就是了。朝中不满曹贼者极多，只要用心拉拢，我军不会缺了内应的。”