武行德自幼家贫，以樵采为生。后来受到后唐河东节度使石敬瑭（后晋高祖）的赏识，被召入帐内。后晋建立后，历授奉国都头、控鹤指挥使、宁国都虞候等。契丹南侵，武行德假意归降。后于北行途中举义，驱逐契丹所命的河阳节度使崔廷勋，并遣使归顺河东节度使刘知远（后汉高祖）。在后汉、后周两朝，他相继为河阳节度使、成德节度使、忠武节度使、西京留守、武宁节度使、保大节度使等职，并于后周世宗时期参与淮南之战。进入北宋后，累授安远节度使，封魏国公。晚年被解除兵权，以太子太傅致仕。