宣德五年（1430年），宣宗知道于谦可以承担重任，当时刚要增设各部右侍郎为直接派驻省的巡抚，于是亲手写了于谦的名字交给吏部，越级提升为兵部右侍郎，巡抚河南、山西。于谦到任后，轻装骑马走遍了所管辖的地区，访问父老，考察当时各项应该兴办或者革新的事，并立即上书。一年上书几次，稍有水旱灾害，马上上报。

正统六年（1441年）上书说：“现在河南、山西都积蓄了数百万斤粮食。请在每年三月份时，令府州县报上缺少食物的下等民户，然后按分额支给他们粮食，先给豆类和高粱，其次给小米和麦子，最后给稻谷，等秋收后偿还。因年老有病以及贫困而不能偿还的则给予免除。州县官吏任期已满应当升迁的，如果预备粮不足，不能离任。

景泰八年（1457年），明代宗朱祁钰病重，正月壬午，石亨和曹吉祥、徐有贞迎接太上皇恢复了帝位，宣谕朝臣以后，立即把于谦和大学士王文逮捕入狱。诬陷于谦等和黄竑制造不轨言论，又和太监王诚、舒良、张永、王勤等策划迎接册立襄王之子。石亨等拿定这个说法，唆使科道官上奏。都御史萧维祯审判定罪，坐以谋反，判处死刑。王文忍受不了这种诬陷，急于争辩，于谦笑着说：“这是石亨他们的意思罢了，分辩有什么用处？”奏疏上呈后，英宗还有些犹豫，说：“于谦是有功劳的（谦实有功）。”徐有贞进言说：“不杀于谦，复辟这件事就成了出师无名。”明英宗的主意便拿定了。正月二十三日，于谦被押往崇文门外，就在这座他曾拼死保卫的城池前，得到了他最后的结局——斩决。史载：天下冤之！遂溪的教谕吾豫说于谦的罪应该灭族，于谦所推荐的各文武大臣都应该处死。刑部坚持原判这才停止了。千户白琦又请求写上他的罪行，刻板印刷在全国公布。

明孝宗弘治二年（1489年），采纳了给事中孙需的意见，追赠于谦为特进光禄大夫、柱国、太傅，谥号肃愍，赐在墓边建祠堂，题为“旌功”，由地方有关部门年节拜祭。万历十八年（1590年），改谥为忠肃。杭州、河南、山西都是历代奉拜祭祀不止。

乾隆十六年（1751年），乾隆帝南巡，题写匾额“丹心抗节”