康熙四十四年（1705年）后，多次随康熙南巡及巡行蒙古诸部。

康熙四十七年（1708年）六月，张廷玉母亲离世。九月，父亲张英离世。服阕，仍原官。

康熙五十五年（1716年），授内阁学士兼礼部侍郎。

康熙五十六年十二月（1718年1月），充经筵讲官。十月，充武英殿试读卷官，十一月，充纂修《省方盛典》副总裁官。  

康熙六十年（1721年）二月，身任刑部右侍郎的张廷玉奉旨与都统耗赖等赴山东稳妥地处理了盐贩王美公等“聚众劫掠屯庄”案。   六月，调吏部左侍郎。他“绝苞且，杜请花，锉玫肃然”。张廷玉涉政不久，他的才干便崭露头角。

康熙六十一年（1722年）十一月，康熙帝驾崩于畅春园，皇四子胤禛入承大统。经过二、三十年的艰苦激烈的奋争，胤禛深觉皇位来之不易，为了实现自己夺得皇位的夙愿，大力扶植和培养自己的势力。他曾说：“为政以得人为要，不得其人，虽食法美意，徒美观听，于民无济也。”   于是，慎选张廷玉作为辅佐他筹划军国大政的主要助手。张廷玉在《澄怀主人自订年谱》中记述了胤禛相中他，并对他赋予厚望。一是他学问优长，“气度端凝、应对明晰”，有才干。二是他为自己恩师张英之子。这对胤禛来说是日后难得的贴己之人。圣祖新逝，胤禛登极，即命张廷玉兼学士衔，协同翰林院掌院学士阿克敦等办理大事典礼翰墨，供几筵祭告文字。康雍之交，政务殷繁，谕旨每日下数十次，皆由张廷玉承命应办。若有紧急奏事，胤禛令他入大内，口授大意，或于御前伏地而书，或隔帘授几。稿就即呈御览，“精敏详瞻，悉当圣意”   。同年十二月，特旨授礼部尚书，并指出：“朕再四思维，非汝不克胜任”。从此，张廷玉跻身于枢臣之列。

雍正元年（1723年），张廷玉复值南书房，与朱轼等人同为诸皇子师傅。四月，任顺天府乡试主考官。雍正帝嘉其公慎，加太子太保。八月，署理都察院事，兼管翰林院掌院学士事。九月，调任户部尚书。十月，张廷玉任四朝国史总裁官。雍正初年，清廷在西北对蒙古准噶尔部大举用兵。由于两路大将军用兵失机，准部叛兵屡扰边境。雍正帝心情焦劳，频繁指授方略。张廷玉“日侍内值，自朝至暮，不敢退，间有待至一二鼓”。

雍正六年（1728年）三月，晋保和殿大学士。不久又兼管吏部尚书事务。

雍正七年（1729年），雍正在隆宗门开始设立军机处，命张廷玉与怡亲王胤祥、蒋廷锡领其事。   雍正帝将军需一应事宜交怡亲王胤祥、大学士张廷玉、蒋廷锡密为办理。之后，雍正帝以内阁在太和门外，侍值者多虞泄漏，“始设军机处于隆宗门内，为承旨出政之总汇”。张廷玉拟定了办理军机处的规制：“诸臣陈奏，常事用疏，自通政司上，下内阁拟旨；要事用折，自奏事处上，下军机处拟旨，亲御朱笔批发”。应当说，雍正帝设立军机处，其主要制度都是张廷玉所筹划的。正是从这时起，大学士“必充军机大臣，始得予政事，日必召入承旨，平章政事，参与机密”。张廷玉不仅典掌军机，又兼理吏部、户部要职。总裁乾隆《吏部则例》等典章制度，对清朝政治制度的确立奠定了基础。

雍正十三年（1735年），雍正帝病危。临终前，张廷玉与庄亲王允禄、大学士鄂尔泰等同为顾命大臣，遗诏他日以张廷玉配享太庙。乾隆帝即位后，奉大行皇帝遗命，由庄亲王允禄、果亲王允礼、大学士鄂尔泰、张廷玉辅政。因他们恳辞，以总理事务王大臣称职。

乾隆元年（1736年），张廷玉再次奉命为皇子师傅，仍兼管翰林院事。二月，乾隆帝亲谒景陵，张廷玉与王大臣留京总理事务。自此以后，皇帝每逢巡幸，张廷玉总是留京总理事务。乾隆帝还总是将他留京总理朝政，夜宿紫禁城，并典试科举，选拔人才，考察荐举官吏。张廷玉虽政务繁重，因学间深通，还荣膺雍乾两代皇子师傅；兼任编纂《清圣祖实录》《明史》《大清会典》《皇清文颖》《清世宗实录》《玉碟》等重要典籍的总裁官   。

乾隆二年（1737年）十一月，授总理事务大臣，加拜他喇布勒哈番，特命进三等伯爵，赐号勤宣。乾隆三年（1738年），乾隆帝将临辟雍视学，举“三老五更”古礼。张廷玉上疏指出，“待人行，事因时起”，古礼不可行。   同年，罢总理事务之名而以大学士掌机要。  

乾隆十年（1745年）四月，鄂尔泰病故，讷亲取代了他。虽然张廷玉面奏内阁班次应讷亲居首，但其心中亦有难言之隐。为了平衡各种因素，确定“嗣后内阁行走列名，讷亲在前。吏部行走列名，张廷玉在前”。乾隆帝的种种做法，实际上是加剧了满汉臣僚之间的矛盾，使他们很难协调，以致明争暗斗、互不尊服。张廷玉与鄂尔泰共事十余年，“往往竟日不交一语”。鄂尔泰有所过失，他必微语讥讽，使鄂尔泰无地自容。

乾隆十三年（1748年）正月，张廷玉陈疏以老病乞休。乾隆帝专降谕旨：“卿受两朝厚恩，且奉皇考遗命，将来配享太庙。岂有从祀元臣归田终老之理？”   宣谕慰留。

乾隆十四年（1749年）正月，命他如宋代文彦博旧例，十日一至都堂议事，四五日一入内廷备顾问。当年冬天，张廷玉再次乞求离职养病。乾隆帝批准以原官致仕，并御制诗三章赏赐。张廷玉入谢，而见乾隆帝时，上奏说：“以前世宗宪皇帝破格给予臣厚恩，遗命臣配享太庙，去年跟从陛下祭祀时又有挽留臣告老回乡的谕旨，臣恐怕死后不能有这样高的待遇啊，而且外间也有类似的议论。”他免冠叩首，请求乾隆帝出一个凭证。乾隆帝很不高兴，但还是拟了手诏，申明雍正帝的成命，并赐诗以安其心。诗云：“造膝陈情乞一辞，动予矜恻动予悲。先皇遗诏惟钦此，去国余恩或过之。可例青田原佑庙，漫愁郑国竞摧碑。吾非尧舜谁皋契，汗简评论且听伊。”   次日，张廷玉具折谢恩，遣子张若澄入宫向乾隆帝谢恩。乾隆帝因张廷玉不亲自谢恩颇为恼火，传旨令他明白回奏。当时，由军机大臣傅恒、汪由敦传写谕旨，旨还未下达。翌日黎明，张廷玉即来内廷谢恩。乾隆帝更为不快，认为这是军机处泄露消息的原故。切责了汪由敦漏言。于是廷臣会议，商议剥夺张廷玉的官爵，罢去配享太庙的优容。于是乾隆帝下令削去他的伯爵。

乾隆二十年（1755年）三月二十日，张廷玉卒于家中，享年八十四岁。死后葬于龙眠山，乾隆帝最终仍遵清世宗遗诏，命配享太庙。