“轻举妄动，非事而游”，劝他停止这种荒唐行为。武宗根本不理睬，依旧我行我素。杨青无可奈何，只得称病告假，辞官归里。 敬廷见杨青如此偏激，也吓了一跳。虽然敬廷也以辞官相要，但华盖殿大学士并非所有人都能胜任，武宗定然会拒绝。但杨青不同，翰林院修撰只是一从六品文职，谁都可以胜任，杨青此举，无异于自断仕途啊！回府后，敬廷叫来杨青，说到：“徽平，翰林院修撰所司何职？” 杨青道：“回父亲，翰林院修撰，当以掌修实录，延讲经史。” 敬廷又道：“可知内阁大学士所司何职？” 杨青道：“孩儿不知！” 敬廷道：“内阁大学士所司，上秉承圣意，下传达百官之愿，票拟批答，所有国之大事都需经过内阁。为父请辞，是为了胁迫圣上自勉，除去内阁，圣上将躬亲治世。请问圣上能有多少精力，来处理天下之事？” 杨青道：“孩儿仍不明白！” 敬廷道：“在其位，谋其事；不在其位，不谋其政。你作为翰林院修撰，做好你本分之事即可，何必仁怀大义，僭越行事呢？” 杨青恍然大悟，父亲请辞，武宗皇帝定然不允，但自己只是个芝麻小官，出来批评圣上，没有降祸于我就属幸运了，想来更是一阵后怕。但事已至此，悔来无用，于是干脆携文蔓一起游山玩水起来。 自从李文蔓嫁入杨家后，尽心照顾黄府诸事，杨青整日忙于公事，倒鲜有陪她游玩的日子。虽为杨青辞官感到惋惜，但也乐得自在。一家人一路沿着兖州海道，一路往南游玩过去。一行人先在扬州府游玩数月，时任扬州知府冯文热情迎接，杨青虽然无官阶在身，但其父贵为内阁首辅，冯文自然不敢怠慢。离开扬州后，又在杭州停留月余。随后途径台州，直到建州境内，好友曾东玉正在此任知府。东玉听闻杨青辞官，本十分震惊。在翰林院任职，升官是非常快的，照杨青的才能，定然能大展宏图，为何竟辞官归里了你？曾东玉虽震惊，但还是亲自迎接了杨青，二人一番叙旧，把酒言欢，好不畅快。又在建州停留了数月，杨青又沿着湖广返回新都，直至一年又数月，杨青一行人才回到新都老宅去。 回到新都后，杨青不再过问政事，只是四处修习学问。只是苦了夫人文蔓，文蔓本一介裹足弱女子，陪杨青走遍了大明江山，着实让她有些吃不消。回到新都后，文蔓便一病不起，眼看着就要离去。杨青大骇，忙外出请郎中，郎中瞧后，也只管摇头。杨青非常悲痛，不曾想，文蔓看似年轻力壮，竟因陪自己游玩而一病不起。杨青十分着急，忙四处打听名医问诊，郎中们见文蔓面色惨白，毫无血色，且数日高热不退，神智已然不再清醒，即便翻遍古书，也难找到此症，实难对症下药，只得开了一些安神补脑的药让文蔓服了下去。（文蔓事实上是染上了“消渴症”，此症即便放到今日，依旧无法治愈，更何况杨青那个年代。）殊不知，此举加速了文蔓的衰亡，短短数日，文蔓便日渐消瘦，便血无力，时常感到无比饥饿，但又吃不下任何东西，杨青心急如焚，但又毫无办法，只有整日守在文蔓床前，颓废不已。 其实文蔓也早已察觉身体异样，还在京城时，便会时常头晕目眩，常常感到口渴，不论吃多少，总会觉得饿。但见杨青忙于公事，正处于事业的关键时期，也不敢打扰，于是只管偷偷去瞧大夫。不曾想那大夫也是个庸医，认为‘饥则食，渴则饮’，无甚大事，又开了些调理肠胃的药，这才误了文蔓的性命。文蔓倒也不惧死，但实在割舍不下杨青与一双儿女。 敬廷得知文蔓病重，也十分悲痛。杨耕与灵茵的相继逝去，已令他非常悲痛，不过五年时间，儿媳竟也遭此厄运。敬廷向太医求药，武宗得知后，又赐各种丹药，但终究没能拯救文蔓的性命。正德十二年，文蔓又熬了月余，竟十分痛苦的死去。 文蔓走后，杨青十分哀痛，亲作祭文、刻碑，又作墓志以彰显其功德，随后又为其服丧一年。