宋太宗灭了北汉，想乘胜攻打辽国，统一北方。在征伐范阳时，任命潘美为知幽州行府事。宋军攻势凌厉，几个州的辽朝守将纷纷投降，宋军一直打到幽州（今北京）。后来，辽朝派大将耶律休哥救援，双方在高粱河（今北京城西）打了一仗，结果宋军大败，宋太宗乘了一辆驴车才逃回东京。在宋军撤退的时候，宋太宗又让潘美兼任三交都部署，并在那里屯兵，以防御辽国的进攻。
三交西北三百里有个地方叫固军，地势险要，是北边的咽喉。潘美率兵偷袭，占领了这个地方。他积蓄粮草，严阵以待，辽国一直不敢轻举妄动，北方边境暂时稳定下来。
不久，辽国一万多骑兵来犯，潘美秘密行军，以迅雷不及掩耳之势发起攻击，大破辽军。宋太宗十分高兴，封潘美为代国公。太平兴国八年（983年），改任忠武军节度使，升封为韩国公。
公元982年，辽主耶律贤死去后，即位的辽圣宗耶律隆绪才10岁，所以由他的母亲萧太后执政。有人向宋太宗建议，认为辽国幼主即位，朝政不稳，可趁机收复燕云十六州。宋太宗接受了这个建议，于雍熙三年（986年）命潘美、曹彬、崔彦进分别率大军北伐，并且派杨业做潘美的副将。
三路大军分路进攻，旗开得胜，潘美、杨业这一路人马出兵雁门关，很快收复了四个州。但是，曹彬率领的主力由于孤军深入，被辽军杀得大败，宋太宗急忙命令各路大军撤退。
潘美、杨业接到命令，就率领大军，掩护四个州的百姓退到狼牙村。这时，辽兵已占领了寰州（今山西朔县东），兵势十分凶猛。杨业建议派兵佯攻，吸引住辽兵主力，然后派精兵埋伏在撤退的路上，掩护军民撤退。
监军王诜反对杨业的意见，说：“我们带了几万精兵还怕他们？我们只管沿着雁门大路，大张旗鼓地行军，也好让辽军见了害怕。”
杨业说：“现在敌强我弱，这样干一定要失败。”
王诜带着嘲笑的口气说：“杨将军不是号称杨无敌吗，怎么在敌人面前却畏缩不前了，是不是另有打算呀？”
这一句话把杨业激怒了，他说：“我并不是怕死，只是看到现在时机对我们不利，怕士兵白白丧命。你们一定要打，我可以打头阵。”
潘美爱惜杨业是个难得的将才，本来不同意他去送死，但有王诜从中作梗，只得违心同意。杨业无可奈何，只好带领手下人马出发了。临走时，潘美抓住杨业的马缰绳，说：“杨将军此去一定要多多保重，能胜则胜，不能胜则迅速回兵，不必恋战。”接着又问道：“杨将军还有什么要交代的吗？”杨业含着眼泪对潘美说：“这个仗肯定要失败，我本来想看准时机痛击敌人，报答国家。现在大家责备我惧敌，我不得不先死了。”
接着，他指着前面的陈家峪（今山西朔县南）说：“希望你们在这个谷口两侧埋伏好步兵和弓弩手，我兵败之后，退到这里，你们带兵接应，两面夹击，也许有转败为胜的希望。”
杨业出兵没多远，果然遭到辽军的伏击。他带兵拼杀了一阵，终于抵挡不住，只好一边打一边把辽军引向陈家峪。到了陈家峪，正是太阳下山的时候。杨业退到谷口，只见两边静悄悄的，连一个宋军的影子也没有。原来，杨业走了以后，潘美按照杨业的意见，把人马带到了陈家峪准备接应，但等了一天，听不到杨业的消息。王诜认为一定是辽兵退了，他怕杨业抢了头功，就催促潘美把伏兵撤离了陈家峪。
杨业见约定的地点没有自己的人接应，气得直跺脚，只好带兵与追上来的辽兵展开搏斗。杨业虽然勇猛，但终因寡不敌众，兵败被俘，在辽营绝食三天而死。
消息传到东京，宋太宗十分难过，他把王诜革职查办，又把潘美连降三级，让潘美担任了检校太保。第二年任检校太师，任真定知府。不久，改任都部署、并州通判。。
淳化二年（991年），宋太宗又加封潘美为同平章事，但数月后就去世了，终年67岁。死后追赠中书令，赐谥号为武惠。
杨业的死虽然与潘美没有坚持在陈家峪接应有很大关系，但他并没有要陷害杨业的意思，更没有要故意置杨业于死地的意图。他的失误在于，当监军王诜心存私念让他从陈家峪撤军时，潘美没有坚持自己的意见，而是一昧听命于王诜，致使杨业兵退陈家峪时没有得到援助。因此，杨业的死，主要责任在王诜，次要责任在潘美。