会昌元年(841年)九月,卢龙军乱,牙将陈行泰发动兵变,杀节度使史元忠自立,但时隔仅一月就被牙将张绛诛杀。张绛慑于张仲武威名,一度请其主持军务,但后来又改变主意,上书自请为节度使。张仲武大怒,起兵进攻幽州(今北京)。为了名正言顺,张仲武于十月特派长史吴仲舒到京师长安,请求率本部兵马征伐张绛。吴仲舒说服了宰相李德裕,经过权衡考虑,唐武宗李炎拜张仲武为卢龙军兵马留后,并命抚王李纮遥领卢龙节度使,允许张仲武率军平乱。张仲武以精兵八百人、土团五百人一举攻破幽州,诛杀张绛,平定了暴乱。武宗旋即授张仲武为卢龙节度副大使、知节度事,检校工部尚书、幽州大都督府长史、兼御史大夫,封兰陵郡王(《新唐书》误作兰陵郡公)。张仲武时年五十余岁。