万历五年(1577)春天，张臣以总兵官的身份镇守宁夏。顺义王俺答向瓦剌报仇，欲取道贺兰，张臣不同意，俺答很愤怒，出言不逊。张臣夜晚挖开汉、唐二个水渠，水淹道路不通，又在赤木口摆上阵势，俺答于是从山后离开了。三年边境互市，没有人敢喧哗闹事。阅边给事中用苛刻的礼节来责怪埋怨他，他被弹劾罢免了。

万历十一年(1583)，小阿卜户侵犯黑峪关，守将陈文治以下的官员都被逮捕入狱。下诏起用张臣为副总兵，驻守马兰峪。正好赶上朵颜长昂多次骚扰边防，蓟镇总兵官杨四畏没有能力防御，于是把杨四畏调往保定，而调张臣来代替他。长昂一向害怕张臣，派他的堂母土阿、妻子东桂到关前乞求投降，张臣于是招抚赏赐长昂，双方和好如初。猛可真是俺答的弟弟老把都遗弃的小妾，因为跟小阿卜户侵犯黑峪关，停止每年给她的赏赐。既求和，又猖獗起来，用傲慢的语言答复边臣，却派大嬖只代替她前来谢罪。大嬖只是顺义王乞庆哈遗弃的小妾。张臣等人预料到她的奸诈，命令将士出塞逮捕了二十三人，将他们投入监狱，命令归还被掠夺的我方人员。猛可真因为她所爱的五个人在俘虏里面，答应归还掠夺的人员，亲自在关前索要原来给她的赏赐。张臣等人一起召见大嬖只进入演武场，严厉地谴责她。两个妇女请求自尽，于是宽恕了她。大嬖只先后送还八十多人，其中有被拘留达数十年的人员。张臣因功被表彰，不久提升代理都督同知，征召为佥书左府事之职。派出提任陕西总兵官，镇守固原。

万历十八年(1590)春天，移镇甘肃。火落赤进犯洮河，卜失兔将要前往帮助他，他的母亲哭着阻止他，卜失兔不听，于是携带妻子女儿出发，由永昌宋家庄挖墙洞进入。张臣在水泉三道沟迎战，亲手搏击杀死数人，夺了他的战旗。卜失兔和他的同伙炒胡儿都中流箭逃跑了，张臣也受了伤。将士斩首数百级，活捉卜失兔的妻子女儿以及八百多头牛马羊。卜失兔仰天大哭，说：“我的女儿多么悲伤啊，真后悔不听母亲的话，落到今天这种地步。”从此之后不敢回老家，跟宰僧一起躲到西海去了。不久，卜失兔委托宰僧来谢罪，他的母亲和顺义王也为他求情，张臣于是归还了卜失兔的女儿，而让卜失兔回到河套，张臣因功晋级。