至元七年（1270年），改任同知枢密院事。
至元十年（1273年）春，持节奉玉册立燕王真金为太子。
至元十一年（1274年），忽必烈令元军大举伐宋，伯颜与史天泽一同任中书左丞相，主管荆湖行省事。当时荆湖、淮西各建为行省，史天泽陈奏两省号令不一，可能于政事有损。于是朝廷诏改淮西行省为行枢密院。史天泽因病上表请伯颜专理行枢密院事。忽必烈于是令伯颜主管河南等路行中书省。
至元十二年（1275年）正月初一，元军至黄州。初二，宋沿江制置副使兼黄州知府陈奕开城投降，伯颜授其为沿江大都督。陈奕写信至涟水，其子陈岩亦降。十一日，伯颜至蕲州，宋安抚使管景模举城投降，授管景模为淮西宣抚使，留万户带塔儿守蕲州。同时，阿术率水军直趋江州，宋兵部尚书吕师夔、知州钱真孙投降。
至元十三年（1276年）正月初三日，元军进至嘉兴，宋安抚使刘汉杰降，伯颜留万户麦里吉台·忽都虎守嘉兴。初七、初九及十五日，宋宰相陈宜中三次遣使议和。十八日，元军至皋亭山，宋恭帝遣使奉国玺及降表来军前，伯颜受纳，派囊加歹随宋使贾余庆还临安，召宋丞相来议投降事。十九日，元军进至临安北十五里，分派董文炳、吕文焕、范文虎巡视城堡，安抚百姓。此时，宋宰相陈宜中等挟宋益王赵昰、广王赵昺南逃，伯颜派阿剌罕等追击，但没有成功。 二十日，伯颜下令禁止军士进临安城，先派吕文焕持黄榜安抚城中军民。二十二日，谢太后派丞相吴坚、文天祥等重臣来见，伯颜将他们遣回，但囚禁文天祥，意图使其降元。二十三日，元军驻临安城北的湖州市，派囊加歹等将宋传国玉玺奉献于朝廷。
至元十六年（1279年），元军于崖山海战击败南宋海军，南宋灭亡，元完成中国的大一统。
至元十四年（1277年），以宗王昔里吉等叛，执北平王那木罕，自阿力麻里东犯和林，奉命率师北上，大败叛军于斡耳寒河（今鄂尔浑河）。
