咸丰元年（1851年）1月，洪秀全在广西桂平金田村组织起事。咸丰帝诏群臣言得失，曾国藩进言“今日急务，首在用人”，又推荐李棠阶、吴廷栋、王庆云、严正基、江忠源五人，再上书《敬陈圣德三端预防流弊疏》直指咸丰帝的过失，咸丰帝“怒掷其折于地”，数日后复阅，才心服而纳谏，并对其加以褒答。 5月，署刑部右侍郎。10月，充顺天武乡试正考官。
咸丰二年（1852年）正月，署吏部左侍郎。6月，充江西乡试正考官，途中因母丧归家。这时太平天国运动已席卷半个中国，尽管清政府从全国各地调集大量八旗军、绿营官兵来对付太平军，可是这支腐朽的武装已不堪一战。因此，清政府屡次颁发奖励团练的命令，力图利用各地的地主武装来遏制太平军势力的发展，这就为曾国藩的湘军的出现，提供了一个机会。
咸丰三年（1853年），借着清政府急于寻求力量镇压太平天国的时机，他因势在其家乡湖南一带，依靠师徒、亲戚、好友等复杂的人际关系，建立了一支地方团练，称为湘勇，并向清廷上书征用了还只是都司的塔齐布。八月，曾国藩获准在衡州练兵，“凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力” 。湘军领导层均出身于耕读之家，自幼饱读诗书，深受湖湘学风的熏染，尊奉程朱理学、主张学以致用。
咸丰四年（1854年）2月，湘军倾巢出动，曾国藩发表了《讨粤匪檄》。在这篇檄文里，他声称太平天国运动是“荼毒生灵”，“举中国数千年礼义人伦诗书典则，一旦扫地荡尽。此岂独我大清之奇变，乃开辟以来名教之奇变，我孔子、孟子之所痛哭于九泉”，接着号召“凡读书识字者，又乌可袖手安坐，不思一为之所也”，其站在了道德的制高点，故动员了当时广大的知识分子参与到对太平军的斗争当中，为日后的胜利打下了坚实的基础。
咸丰五年（1855年）2月12日夜，石达开总攻湘军水营于湖口，烧毁湘军战船100余艘。曾国藩跳船得免，座船被俘，“文卷册牍俱失”。曾国藩愤怒至极，打算策马赴敌以死，罗泽南、刘蓉力劝乃止。
咸丰六年（1856年），石达开进攻江西，曾国藩坐困南昌，这时罗泽南卒于军营中，彭玉麟走千里杀入重围至南昌助守。9月2日，洪秀全与杨秀清内讧，史称天京事变，南昌解围。10月，曾国藩在长募勇组建吉字营入援江西。
咸丰七年（1857年）2月20日，其父去世，曾国藩偕弟曾国华回籍奔丧。7月，两次上疏，请求在家终制，获咸丰帝准许。在当年建“思云馆”。
咸丰八年（1858年）5月19日，李续宾、杨岳斌率水陆两军攻陷九江。7月13日，曾国藩接咸丰谕出办浙江军务，救援福建。 十二月，作《爱民歌》以训湘军。
咸丰九年（1859年）11月，曾国藩拟四路进兵之策，曾国藩攻取安庆，多隆阿、鲍超攻取桐城，胡林翼攻取舒城，李续宜攻取庐州。
