曹彬也不禁唏嘘不已，可是此时面临着的，不仅是大军的粮草问题，连城中百姓的粮食也无着落。辽军撤退之时，早将城中粮草尽行转移掉了。
辽帅耶律休哥奉萧太后旨，采用坚壁清野之计，令曹彬军无粮无草，不得前行，只得退兵补充粮草。辽军以逸等劳，采用游击战术，让曹彬军疲于奔命。等曹彬军粮草补齐再次进攻涿州不成，退兵之时，在歧沟关中了耶律休哥的埋伏，兵马折损了大半，曹彬败退至易州。
败绩报至京城，皇帝大惊，曹彬大军的败退，使得原计划中三军会师幽州城下的布置已经失败。此时田重进部和潘美部已经深入辽境，若是再遭伏击，后果不堪设想。因此立即下旨，令曹彬、崔彦进、米信立刻回京，命田重进部撤军回屯定州，潘美部全线撤军返回还代州，念原云、应、寰、朔四州的百姓盼归故土，令潘美护送四州百姓返回宋境，与吐谷浑各部族百姓分置河东、京西等地。
大军败绩，对于潘蝶来说，不亚于晴天霹雳。然而更大的风雷仍在后面。潘美人未返京，已经有人伏阙告状。由于潘美副将杨业战死寰州，杨业之妻折氏上奏，状告主帅潘美和监军王侁指挥有误，不依约定，致使杨业全军覆灭，杨业被掳绝食而死。
“这杨业是什么人？凭什么他的死，要怪到爹爹的头上来？”潘蝶看着潘美斑白的头发，忍不住问道。
也不过是半年功夫，潘美似乎老了足足十年，头上陡然多了许多白发，潘蝶看着老父的苍老，心中暗暗惊惧，原来这样一个仿佛山一样可依靠的人，苍老下来，竟然也会如此之快。想着他出征时大将军威风八面，如金甲神人似地。与此时躺上病榻上的老人，竟是判若两人了。
潘美苦笑一声：“杨业——”没有人比他更了解杨业了。
杨业本是北汉刘崇的部下，深得刘崇信任和重用，并得以赐姓刘，名继业。皇帝灭亡北汉，刘继业仍苦战不屈，甚至北汉主刘继元投降以后，还在坚持战斗，皇帝派刘继元亲自招降，刘继业才大哭解甲归降。刘继业归宋以后，复本姓杨，避当今皇帝祖讳，去继字，只留单名业。皇帝久有征伐辽国之心，因杨业在北汉之时驻守北方，对防御辽国有丰富经验，派其到代州为三交驻泊兵马部署，成为潘美的部下。前年辽国大军从雁门大举进攻，杨业从小路率领数百骑兵绕到辽军背后，与潘美的部队前后夹击辽军，杀死辽国节度使驸马侍中萧咄李，生擒马步军都指挥使李重诲，缴获兵甲战马若干，杨业也因此积功升云州观察使。辽人深惧杨业，称其为杨无敌。
此次潘美奉旨，护送云、应、寰、朔四州的百姓返归宋境，恰在途中，得知辽将耶律斜轸率十万大军已经攻破寰州。杨业建议避战疾行，尽早掩护百姓退回关内，以少量骑兵掩护大军撤退。但是监军王侁和副将刘文裕却不以为然，此时因西路军一直节节得胜，直取云、应、寰、朔四州，眼见胜利在望，却要因曹彬军的败退，而功败垂成。王侁在军中资历本浅，他原是田仁朗的部下，因为构陷了主帅田仁朗取而代之，将李继迁杀得大败，逃入辽境而崛起军中，深得皇帝信任。此时再征辽国，便派了他为监军。
王侁此时见军中人人心中尚是好战，便煽动军心，要在寰州与辽国再打一个大胜战，才光光彩彩地退回代州去。王侁心底很瞧不起杨业是个降将，但是军中向来讲究资历，他打得战不多，远不及杨业对辽作战多年，经验丰富，将他条条驳倒。王侁恼羞成怒，便逼住了杨业笑他不过是怯战枉称无敌，笑他原是个降将，自然不以大宋的军威为念。杨业本是条硬汉子，岂受他这般侮辱，眼见这一战在所难免。在场唯一能熟知耶律斜轸的战法之人，唯有他一个，明知此战必败，实不敢放心叫别人领军，只得自己请命率军前去。
潘美作为主帅，在这一场争执中，也着实犹豫。明知道王侁在挤兑杨业。然而杨业身为降将，在军中要付出比其他人多得多的努力，才能在军中站得住脚。杨业是他的部下，他非不肯维护，然而王侁是皇帝派来的监军，又是一个以诬陷主帅而起家的小人，他不能为了杨业而得罪王侁，只因为王侁的背后，站的是当今皇帝。
想当年潘美何曾会因这种事而犹豫，何曾能容忍一个小人在他的军中擅权，早就一剑将斩了。然而，今非昔比。记得当年他与曹彬领兵出征时，太祖皇帝会将所有部下的生杀予夺之权都交付主帅，不必请旨。然而这样的君臣之信任，早已经一去不回。
当今皇帝因上次高梁河大战失踪之事，居然有部将要推举赵德昭为帝，若是迟得片刻，帝位难保。此时他虽然将德昭德芳延美等一一铲除，却不免疑心军中仍有余党，且曹彬潘美，都是先皇太祖手中的功臣宿将，他不得不用，却不得不防。因此大军出发，要分成三路，而且每路各派副将监军节制。潘美曾经因这样的安排而拒接帅印，皇帝所作的退让却只是纳他的女儿为襄王妃，将宿将杨业交给他作副手，而丝毫没有改变派监军的原意。
这一个诬陷主帅起家的监军，监的不是军队，而是他潘美。田仁朗的悲剧，真的要再次在他潘美身上重演吗？
他不能动王侁，然而王侁在军中的日子，也不见得好过，众将士都是沙场拼杀出来的，何曾将这种军中暴发之人看在眼中。王侁也知道这一点，因为才会趁着群情激愤之时，趁机排挤那些与自己不合的将领。此时众部下的好战之心极盛，潘美也不想做这个为难的事。想杨业与辽国交战多年，应是无碍。因此上，同意杨业出战。杨业出战前，他和主帅潘美做了约定，请主帅在要道陈家谷部署步兵强弩接应。
潘美依约驻军陈家谷，等候了一天，仍未见杨业的消息报来。王侁心中暗忖，必是杨业得胜，撇下主帅大军，独战功劳，因此上迟迟没有消息。便想率军去抢功，又怕潘美反对，便自己率军出谷而去。
潘美得知消息，率兵追上王侁，此时却传来杨业战败的消息，王侁得知耶律斜轸大军将到，慌忙率军撤退。潘美率军正追赶王侁，结果被他撤退的兵马一冲击，整个大军阵脚大乱，无法成表抵抗将至的辽军，为防全军覆没，只得先撤军回代州。
后来他得到的消息是：杨业力战尽日，转战到陈家谷，没有看到接应的人马，却被耶律斜轸大军追来，只得再率领部下力战。杨业身受几十处伤，左右殆尽，仍手刃敌军数十百人，杨业筋疲力尽，战马又受了重伤，最后为辽军生擒。杨业的之子杨延玉，以及部将王贵、贺怀浦全都力战而死。杨业被擒不屈，绝食三日而死。
当到听到这个消息时，他已经和曹彬的军队会师了，并共同奉旨，入京述职。
那一日，潘美与曹彬在夕阳古道上相逢时，西风瑟瑟，他们都看到彼此头上新生的华发。
将军已老，白头相对，不胜萧瑟。
想当年他与曹彬汉、灭后蜀、定江南，南征北战，威震天下，打出这大宋天下一统江山。身经百战，所向批靡，曹彬潘美二人的名字，令天下敌手闻风丧胆。多年的征战未曾败过，然而，就在这一次，他们人生中的最后一场战役里，如此不荣光地败了。
他们是败给了谁呢，是败给了坐在幽州城中运筹帷幄的萧太后韩德让，还是那沙场宿将耶律休哥耶律斜轸，还是——他们是败给了自己？
若是以前那军纪森严的曹彬，岂容部将违令冒进，导致中了埋伏；若是以前那霸气悍烈的潘美，又岂容王侁这样的小人在他的军中指手划脚，以致折损大将？
两人彼此对望时，不胜唏嘘：“老了，真是老了。”多年来高官厚禄，竟是人也老了，当年的血性也失了。若是换了以前的曹彬潘美，怎会顾忌。然而今日的曹彬潘美，却是不得有所犹豫，有所顾忌。然而战场上的战机，电光石火只在一刹那间，又岂容你有犹豫和顾忌的机会。
一着错，成千古恨。
曹彬冒进，潘美失约，可以说是错在部将。然而，军人必须有所担当，身为主帅，他们必须要负起自己应负的责任来。
圣旨下：贬天平军节度使曹彬为右骁卫上将军，河阳三城节度使崔彦进为右武卫上将军，彰化军节度使米信为右屯卫上将军，沙州观察使杜彦圭为均州团练使。检校太师潘美降三级为检校太保，监军王侁除名发配金州，军器库使刘文裕除名发配登州。
与此同时，赐北征军士阵亡者家三月粮，追赠阵亡者、陷敌首不屈者的名单，并追赠子孙。追封云州节度使杨业为太尉、大同军节度使。恩荫杨业之子延朗、延浦、延训、延环、延贵、延彬各升一级。
潘美回到京中，就倒下了。此番北伐，一路上兼程行军，攻城掠地，风餐露宿，辛苦压力自不待言，谁知道燕然未勒，功败垂成，折损大将，削职问罪，令他整个人身心不胜负荷，再加上多年来沙场征战的旧创迸发，使得他再也支撑不住了。
皇帝听到潘美病倒，也是大吃一惊。回想起当日出征之前，潘美大力反对，当时只觉得言语逆耳，如今回想起来，却是件件说在理上。只恨自己当日刚愎自用，不听老将之言，强要他出征，致使他一世英名，落得损兵折将，受此污名。他如今猜忌心重，但当日却也是个贤王，与这些大将也是情同兄弟，如今情移势易，走到这个地步，反而有些唏嘘起来。当下就令：“出宫，朕去探望潘大将军。”
见皇帝来了，潘夫人忙率坐相迎，皇帝一边走进来，一边问了潘美病情，听了太医回报，知道他这一病恐怕情况不好，不禁也是心神沉重。
到了内室，见皇帝进来，潘美支撑着要从病床上起来向行礼。
皇帝慌忙叫人扶住，呼了他的别字道：“仲询，快躺着吧，朕本是来探病的，别再折腾了。”说着自己就走到病榻前坐下，看着老将军已经是满头白发，病势沉重。想他本是战场宿将，病成这样，与其说是身体有恙，更不如说是战败贬谪之打击。
潘美见了皇帝亲自到来，心里纵有些怨言，也化为感恩，长叹一声：“臣不料今日能再见官家，北伐一事，全因臣指挥失误，才使大将殉国，臣罪该万死。”
皇帝摆手：“你不要这么说，今日是来探病的，那些事朕心里有数，都是应付外头的。”他长叹一声，也说了实话：“这哪里是你的错，错在朕用人不当啊！”他情知是自己指挥失当，但却也只能认个用人不当。
潘美叹息：“战场之上瞬息万变，与官家何干，原是我们统军之人的事。”
皇帝按住他，也很直接：“你我交情如此，再互相自责也与事无补。朕今日来此，除探病外，还想问，还能战否？”
潘美一怔，沉默良久，终于道：“官家召唤，臣当在所不辞，然而北伐先机已失，辽国大势已定。”
皇帝只觉得一股不甘不忿之气梗在心头，郁闷难言，好一会儿才自己长长吁了口气，勉强平息下来，才叹息道：“朕问过老相公，他也这样说。”老相公，自然指的就是老相赵普，当日因为反对北伐而被皇帝罢官，如今北伐失利，皇帝沮丧之下，才想到赵普之言，又去问他，却得了这么一个回答，再与潘美今日之言对上，更是心如火焚。
潘美叹息：“官家，咱们这一战，损失的都是数十年随着先帝、官家南征北讨的老兵啊！没有了这批老兵，至少十年，我们没办法再行北伐之事了。有时候机会失去了，就永远失去了！”说到这里，他不禁哽咽，这批老兵的失去，才是这次北伐最大的损失。
皇帝苦笑：“十余年，十余年以后，朕与卿还不知道在与不在。”
潘美长叹：“官家万年，只是臣必是不在了。”
皇帝黯然：“就算朕还在，只怕也没有这个能力再发动一场战争了。”
皇帝走了，潘美看着皇帝走后留下的空座位，与半杯茶，只觉得一口血也喷了出来。潘夫人惊惶地扶住他：“老爷，你为何如此，官家亲自探望，显见他心里明白，这场战错不在你。你回头养好了伤，自然还有可为之势。”
潘美摇头：“没有了，没有了。”他实是不甘，这一场战，失去的不止是老兵，更是战机。十年之后兵员可以恢复，可是会打战的人，就没有了。他这一生征战沙场，灭国无数，可是人生最后一场战，却输得这么憋屈，他更可以看到，因为这一场战败，燕云十六州的回收，更是遥遥无期，而失去这片战场，将来北方若是兴了南下之心，这一片平川，大宋无可抵制之险。万世基业之悬，就因为这一场不该失去的战争。