大历十一年（776年）八月，都虞侯李灵曜在汴州（今河南开封）叛乱，他杀死兵马使、濮州刺史孟鉴，并勾结魏博节度使田承嗣，企图控制汴州、宋州。
九月，朝廷诏命淮西、永平、河阳三城、淮南、淄青五镇出兵讨伐李灵曜。永平节度使李勉令刘玄佐率领永平军主力前去平叛，刘玄佐进兵神速，他趁李灵曜身在汴州并无防备，偷袭宋州（治宋城，今河南商丘）得手。至此，李灵曜所控制的汴宋二州已失其一。李灵曜连战失利。十月，即被诸镇兵围困于汴州城内。魏博节度使田承嗣见李灵曜危在旦夕，恐唇亡齿寒，立即派手下大将田悦率兵火速救援。田悦率兵南下，于刘玄佐的老家匡城击败永平、淄青两镇兵，并乘胜向汴州挺进。不料在汴州城北安营后，夜间遭淮西裨将李重倩率轻骑数百袭击，大杀一阵，营内惶恐不安，此时刘玄佐率永平军赶到，与淮西节度使李忠臣、河阳三城节度使马燧合兵一处乘机进攻，田悦军不战而溃，损失惨重。
李灵曜见绝望无救，连夜出逃，逃跑中被俘，被送往京师处斩。次年，也就是大历十二年（777年）朝廷将宋州隶属于永平军辖下，经永平节度使李勉奏请，授刘玄佐为宋州刺史。
唐德宗建中二年（781年），刘玄佐又被加封为御史中丞、宋亳颍节度使、宣武节度使，建号宣武军。同年，平卢节度使李正己死后，其子李纳封锁消息匿不发丧，擅领军政意图谋叛，而其族人李洧以徐州（治彭城，今江苏徐州市）归顺朝廷，十月，李纳派遣其将王温会同魏博将信都崇庆一起攻打徐州。李淆派人告急，朝廷下诏，令刘玄佐等诸军援救李洧。
十一月，刘玄佐与神策都知兵马使曲环、滑州刺史李澄及朔方大将唐朝臣共同援救徐州，大破魏博、平卢联军，斩首八千级，迫使其解围逃窜，江淮漕运开始疏通。刘玄佐因功被加为御史大夫。此后，刘洽又克复濮州，收降敌将杨令晖。分兵攻略濮阳，招降守将高彦昭，打通了濮阳渡口。朝廷再次论功，加刘玄佐为检校兵部尚书兼曹濮观察使，加食邑四百户，旋即加授淄青兖郓招讨使及汴滑都统副使之衔。
刘玄佐在屡立战功，平步青云之后，仍然能保持清醒的头脑，亦能知错就改。他在镇守汴州时，听信谗言要杀将军翟行恭，左右无人敢上前劝谏。处士（未任官职的读书人）郑涉为人诙谐，善用隐语，他求见玄佐，说道：“听说翟行恭得罪了大人，大人借机想杀他抵罪，希望大人能答应我一个小小的请求，翟行恭行刑后，让在下看看他的尸体。”刘玄佐觉得奇怪，郑涉接着说：“我曾听人说受冤而死的人，脸上表情和普通死人不同，我平生从未见过，所以想见识见识。”刘玄佐顿悟，查明真相后赦免了翟行恭。