嘉靖十三年(1534年),丰坊被罢官。
嘉靖十六年(1537年)其父逝于戍所。他在家赋闲多年,仍十分渴望做官,于是想诣回京上书,期待这次上书能使自己再次回到官场。
嘉靖十七年(1538年),他向世宗递交了一份奏折。奏折中他提出两个方案,都是为了高度赞扬世宗已逝的父亲。一是修建明堂,二是将世宗父亲的谥号改为睿宗。世宗见到两个方案很高兴,10月3日采纳了第二个方案,而第一个方案由于遭到其他大臣的反对,不得不放弃。丰坊不仅没有复官,而且他的上书也引来众人的厌恶,批评他没有他父亲那样具有大无畏的立场,这让他觉得周围的人都疏远他。
嘉靖十八年(1539年),又赴京给世宗写了一首诗,题为《卿云雅诗》,世宗没有给予他奖励任命,而是把诗放到史官存档。丰坊心灰意冷,回到家中。