1507年（正德三年），张泰改官南京右都御史。时值宦官刘瑾弄权，大小官员都争相贿结。张泰不屑逢迎，仅在入京奏事时，带上两匹葛布作礼节性探望。刘瑾怀恨在心，扣张泰数百石俸禄以作泄恨。但张泰因多年勤勉尽忠，经吏部考绩，得获优良，升南京户部尚书，但刘瑾大进谗言，令张泰最终失官。张泰有见及此，心中无奈，于是辞呈归乡，次年逝世。