嘉靖四年，当时都崇尚通过科举取得的功名。又有北方人同僚经常向文徵明索画，往往被拒绝。于是有流言说：“文某应当去西殿当供奉，为什么要在翰林院侮辱我们？”文徵明听到后很不舒服，于是上疏请求辞官回家。奏疏下到吏部后，被扣下没有上报。

文徵明的父亲在温州任知府时，结识了张璁，张璁得势后示意要文徵明依附