李季，孝武李夫人之弟，也即李延年弟，李氏全家都为倡优出身。 李夫人生下昌邑王刘髆后，李延年由贱而贵当上了二千石的协律都尉，并且和皇帝一起起居。久之，李延年的弟弟李季和中人淫乱，出入骄横跋扈。 太初年间，李夫人去世前曾为嘱托追思、优待其兄弟而掩面不见汉武帝。待李夫人死后，李延年、李季因行淫乱之事犯“奸”罪，李氏兄弟都被灭族。其时李广利因在外攻打大宛而躲过一劫。 征和三年，左丞相刘屈氂因诅咒汉武帝、欲与李广利合谋立李夫人之子昌邑王刘髆为帝被发觉而获罪“大逆不道”，刘屈氂被腰斩，其妻枭首于市，李广利妻子儿女被收监。李广利闻之，投降匈奴，其家遂被灭族。一年后李广利被更早投降匈奴的卫律设计杀死。第二年昌邑王刘髆早薨，而后汉武帝去世。 至昭帝即位初，霍光“缘上雅意”将李夫人配食茂陵追尊皇后之时，李家已无人口，故也省去为李家封侯，从而不必担心李氏分权。昭帝也只得将其生母赵婕妤追为孝昭太后而非孝武皇后，因此无法将自己庶出少子的小宗身份改为嫡出大宗。