升知县。

署固始知县。

升知州，换花翎。

李秀成等攻固始，张曜坚守七十余日，保住了固始城，被咸丰帝赐号霍钦巴图鲁。

署理光州知州。

张曜设计在汝宁击败陈大喜、张凤林所部捻军，又擢升为河南布政使。

张曜被御史刘毓楠弹劾“目不识丁”，由布政使转任总兵，仍归僧格林沁节制。自此，他发愤读书，并镌刻“目不识丁”四字印，时时佩戴在身以自励。

张曜在河南省嵩山和南阳等地击退了张宗禹所部捻军的进攻。

张曜在桥川一带再次大败捻军，张曜率部渡丹江长途追击，与陕西、湖南的清军汇合后撤军。

僧格林沁战死，张曜出征捻军以挽救危局，多次战胜。僧格林沁既死，又有人弹劾张曜“养寇遗患”，幸有巡抚吴寿昌为张曜辩白。尽管如此，张曜还是以安葬亲人之名请假回籍。

张曜受命复出，镇压捻军。他整合新旧部众，编为嵩武军。

张曜协助李鸿章围歼东捻军。年末，又击败从陕西渡黄河进入山西、逼近河南的西捻军。

张曜与宋庆在东昌之战中大败西捻军。不久，西捻军彻底失败，张曜受赏黄马褂，获骑都尉世职。

张曜随左宗棠镇压回民起义，主要是配合金顺用兵宁夏。1870年（同治九年），升任广东提督。

张曜奉左宗棠令，顿兵金积堡，作为后路部队协助徐占彪等攻陷肃州，陕甘回民起义至此被平定，清军收复新疆、消灭阿古柏的道路也由此打通。张曜受赏双眼花翎。

张曜率部出关，驻哈密屯田。

奉钦差大臣、陕甘总督左宗棠命，配合前锋刘锦棠督军西进收复南疆，他与徐占彪在盐池会师，4月21日攻克吐鲁番门户七克腾木。阿古柏逃往焉耆，留其幼子驻守库尔勒为其垫后。不久，刘、张、徐三军合击，于4月26日收复吐鲁番。

实授帮办军务之职，移驻喀什噶尔，兼辖西四城，筹办善后事宜。任内积极兴办教育。

中法战争期间，张曜受命入关移防，警备直隶北部，特赏巡抚衔。

授广西巡抚，未行，率所部留治京师河道，赏加尚书衔。

调升为山东巡抚，当时山东河患日深，他上任后首重河工，一年中呆在河上几乎300天。在山东任内，还在青州设立海岱书院，修葺曲阜洙泗书院。

慈禧太后下懿旨命张曜襄办海军。

慈禧归政，张曜又加太子少保衔。

张曜闻知刘台湾巡抚刘铭传有去职之语，预备上《请海疆自效疏》。农历四月，张曜奉命会同校阅北洋水师，期间闻知刘铭传已开缺，改上《奏为自荐去台湾任巡抚请旨事》 ，毛遂自荐，但清廷人选已定，张曜未能如愿。校阅水师结束后，张曜陪同李鸿章继续巡视海防。6月6日，张曜陪同李鸿章抵胶州湾进行实地调查，使原本反对在胶州湾设防的李鸿章认识到该地的重要性。二人筹商，张曜许诺将山东每年的海防捐全部用于胶州湾设防，设防所需的兵力也从本地抽调。6月11日，李鸿章与张曜联衔奏请在胶州湾和烟台建筑炮台，驻军设防，6月14日获准。此后，位于胶州湾的青岛村一带由渔耕之村发展成为军事要地，城市发展也由此拉开序幕。不久，伏汛将至，张曜赴利津勘堤，又抢护史家坞、王阳家等处险工。工程未竣，背上发疽，仍不离工地，等被人护送回济南时病情已经十分严重。8月22日（光绪十七年七月十八日），张曜病危，口授遗折，请山东布政使福润代递。另致书李鸿章，陈言山东为北洋门户，应速添建炮台以防不测，并涉及新疆局势。同日，张曜去世。（一作十九日去世，但据福润奏疏当为十八日。）清廷追赠太子太保，谥“勤果”，入祀贤良祠，并准在立功省份建立专祠。