会昌元年（841年）九月，卢龙军乱，牙将陈行泰发动兵变，杀节度使史元忠自立，但时隔仅一月就被牙将张绛诛杀。张绛慑于张仲武威名，一度请其主持军务，但后来又改变主意，上书自请为节度使。张仲武大怒，起兵进攻幽州（今北京）。为了名正言顺，张仲武于十月特派长史吴仲舒到京师长安，请求率本部兵马征伐张绛。吴仲舒说服了宰相李德裕，经过权衡考虑，唐武宗李炎拜张仲武为卢龙军兵马留后，并命抚王李纮遥领卢龙节度使，允许张仲武率军平乱。张仲武以精兵八百人、土团五百人一举攻破幽州，诛杀张绛，平定了暴乱。武宗旋即授张仲武为卢龙节度副大使、知节度事，检校工部尚书、幽州大都督府长史、兼御史大夫，封兰陵郡王（《新唐书》误作兰陵郡公）。张仲武时年五十余岁。