显德三年（956年），曹彬被改授为潼关监军，又升任西上阁门使。  

显德五年（958年），曹彬奉命出使吴越国。他完成使命后即刻回朝，不接受吴越国主的馈赠。吴越国主派人乘轻舟追送财物给他，曹彬再三推辞，仍不接受。过一会儿，他说：“我最终拒绝他们，是近于邀名啊。”于是接受。返京后，他将这些财物一一登记，全部送给官府。柴荣强行赐还给他，曹彬才拜谢接受，将之全部分给亲朋旧友，自己不留一钱。  其后，曹彬又外出任晋州兵马都监。一天，曹彬与主将及宾客们在野外环坐，遇邻道守将骑马带着书信来到，使者从来不认识曹彬，暗地里问人说：“谁是曹监军？”有人给他指认曹彬，使者以为是骗自己，笑着说：“哪里有国戚近臣，而有穿绨袍、坐朴素的胡床的人呢？”审视半天后，使者才相信是曹彬。后升任引进使。  当初，殿前都点检赵匡胤（宋太祖）管领禁兵，权势颇重。曹彬不偏不倚，不遇公事从不登门拜访，群居宴会，他也很少参预，因此得到器重。  

建隆二年（961年），曹彬从平阳被召回朝，赵匡胤对他说：“往日我常想亲近你，你为什么总是疏远我呢？”曹彬叩头谢罪说：“我是周室的近亲，又忝任宫内职务，端正做官，害怕有过失，哪里敢妄自交结呢？”赵匡胤授其为客省使，与王全斌、郭进率领骑兵攻打北汉的乐平县（今山西昔阳），战降敌将王超、侯霸荣等一千八百人，俘获敌人一千多人。不久贼将蔚进率领军队来增援，三次作战都打败敌人。朝廷于是改置乐平建为平晋军。  

乾德元年（963年），曹彬被改任左神武将军。次年，宋军攻克辽州。北汉欲借辽兵收复辽州，引辽军六万骑兵来进攻平晋军，曹彬与昭义军节度使李继勋等人率军六万迎战，在城下大破汉辽联军。   不久，曹彬兼任枢密承旨。  

乾德二年（964年）冬，赵匡胤下诏攻伐后蜀，任命刘光义（即刘廷让）为归州行营前军副部署，曹彬任都监。峡中郡县都被攻下，诸将都想通过屠城来逞其杀欲，只有曹彬下令收敛部下，所到各地都感悦听命。赵匡胤听说，特地下诏褒奖他。

乾德六年（968年），赵匡胤派李继勋及侍卫步军都指挥使党进等率军征伐北汉，曹彬任前军都监。   曹彬在洞涡河击败北汉军，斩首二千余级，俘获许多北汉士兵。  

开宝二年（969年），赵匡胤准备亲征北汉，又任命曹彬为前军都监，率军先行。曹彬驻军团柏谷（今山西祁县东南），战降北汉将领陈廷山。又在太原城南与北汉军作战，逼近濠桥，夺得战马一千多匹。等赵匡胤到来时，曹彬已在四面分设营寨，而自己主管北面。  

开宝六年（973年），曹彬进升为检校太傅。  

开宝七年（974年），朝廷准备讨伐南唐。九月，曹彬奉诏与李汉琼、田钦祚先行到荆南征发战舰，潘美率领步兵接着出发。十月，诏令任命曹彬为升州西南路行营马步军战舰都部署，分兵从荆南顺流而东，攻破峡口寨，接着攻克池州，连续攻克当涂、芜湖二县，驻扎在采石矶。十一月，造浮桥，横跨大江以渡过部队。十二月大破南唐军于白鹭洲（今江苏南京水西门外）。  

开宝八年（975年）正月，曹彬又在新林港大破南唐军队，二月，军队进驻秦淮，南唐水陆军队十多万人在城下列阵，宋军大败南唐军，斩杀、俘获数万人。浮桥造成后，南唐出兵抵抗，宋军在白鹭洲大败南唐。从三月到八月，连连击败敌军，又攻克润州。金陵城被围，到此时一共有三个时辰，居民砍柴的路被断绝，南唐军屡次被打败，南唐国主李煜极感危急，派遣其大臣徐铉送表到朝廷，乞求缓师停战，赵匡胤不同意。  

太平兴国元年（976年），宋太宗赵光义即位，加授曹彬为同平章事，成为使相。赵光义与群臣商议征伐北汉，召曹彬来问道：“周世宗及太祖（指赵匡胤）都亲征（北汉），为什么不能攻克？”曹彬说：“周世宗时，史彦超在石岭关兵败身死，军情惊扰，所以班师；太祖在甘草地驻扎部队，正遇天气酷热下雨，士兵们大多染上疾病，于是中途停止。”赵光义说：“如今现在我打算北征，你认为怎么样？”曹彬说：“以国家的精兵，剪除北汉这个孤垒，简直就像摧枯拉朽，为什么不可以呢？”赵光义于是决议出征。  

太平兴国三年（978年），曹彬进位检校太师，随赵光义征讨北汉，加兼侍中。太平兴国八年（983年），曹彬被弭德超诬陷，罢官任天平军节度使。十多天后，赵光义醒悟，进封他为鲁国公，对其愈发厚待。  

雍熙三年（986年），赵光义诏令曹彬率领幽州行营前军马步水陆军队，与潘美等人北伐，分路进讨。三月，在固安打败辽军，攻克涿州，戎人来增援，宋军在城南大败援兵。四月，又与米信一起在新城打败辽军，杀敌二百人。五月，曹彬等在歧沟关之战中大败，退守易州，面对易水扎营。赵光义听说，急忙分派诸将分兵屯守边城，追令北伐诸将回朝。  在此之前，贺令图等人对赵光义说：“契丹主（辽圣宗）年少，母后专政，宠幸大臣们用事，请趁其灾祸，攻取幽蓟。”他于是派曹彬与崔彦进、米信从雄州（今河北雄县），田重进赴飞狐，潘美从雁门出发，约期一齐出兵。将出发时，赵光义对曹彬说：“潘美所部先奔赴云、应二州，你们以十万人声言攻取幽州（今北京），但要持重缓行，不得贪求功利。敌人听说大军到了，一定全军救范阳，无暇救山后。”不久，潘美的部队先攻下寰、朔、云、应等州，田重进又攻取飞狐、灵丘、蔚州，得到很多山后要害之地，曹彬也连连攻下州县，声势大振。每次奏本到来，赵光义已经很惊讶曹彬进军太快。曹彬驻扎涿州时，十天食尽，于是退到雄州补充粮草。赵光义听说后说：“哪有敌人在前，反退兵补充粮草之理，真是太失策了。”急忙派使者阻止他前进，让他马上引军沿着白沟河与米信会师，按兵不动，蓄精养锐，声张西军的军势；等潘美等人全部攻占山后之地后，与田重进会师向东，合势攻取幽州。当时曹彬的部将，听说潘美和田重进屡建军功，而自己手握重兵不能有所攻取，谋议蜂起。曹彬不得已，于是又带着粮草再去进攻涿州。契丹大军当前，当时正值气候炎热、军士困乏，粮草即将耗尽，曹彬仓促退兵，军阵混乱，于是被契丹追破。  曹彬等人回朝后，诏令由尚书省审讯、翰林学士贾黄中等负责惩治，曹彬等人供认违令、失律之罪。诸将依次被贬降，其中曹彬被贬为右骁卫上将军。  

雍熙四年（987年），曹彬被起用为侍中、武宁军节度使。  

淳化五年（994年），迁任平卢军节度使。  

至道三年（997年），宋真宗赵恒即位，恢复曹彬检校太师、同平章事之职。数月后，曹彬被召回朝廷，再次担任枢密使一职。  

咸平二年（999年），曹彬生病。赵恒亲自看望，亲手替他和药，又赐他白金万两。  赵恒向曹彬询问后事，他回答说：“臣无事可奏。臣的两个儿子（曹璨、曹玮）才能可以被任用，臣如果内举，他们都堪任为将。”赵恒问他们谁优谁劣，他回答说：“曹璨不如曹玮。”  同年六月，曹彬去世，终年六十九岁。赵恒亲自痛哭致祭，对大臣们说到曹彬时，必定流涕哭泣。追赠中书令、济阳郡王，赐谥号为“武惠”，并且赠其妻高氏为韩国夫人；任命他的亲族、门客、亲校十多人为官。   后来，曹彬经历多次封赠至太师、尚书令，累封冀王、鲁王。 咸平二年（999年）八月二十五日，经翰林学士承旨宋白等商议，宋真宗赵恒诏令由曹彬与赵普配享宋太祖庙庭。 

宝庆二年（1226年），宋理宗赵昀图画二十四功臣像于昭勋阁，曹彬位列其中。  

洪武二十一年（1388年），明太祖朱元璋取古今功臣三十七人配享历代帝王庙，其中就有曹彬。   至清代时，曹彬的塑像还被请到太庙中，成为四十一位陪臣之一，与历代帝王共享皇家祭祀。