张显已经听出张居正的意思，知道了他的心思，看来要想让他放弃权力难上加难了，思索了一下，觉得也不好再说什么，便起身告辞，说：“既然先生左右为难，学生也不便久留，还要回去向皇帝回复，学生这就告辞了。”说着就起身出了张府，心事重重地走了。
蜷伏在灵棚中，每日与父亲的画像作伴，在烟雾飘渺中度过每一寸光阴。不断有人前来吊唁看望，张居正和家人疲倦的应付着。相门办事，吊唁的客人自然不会少的。
张显和张四维等人在朝廷上下活动的情况，不断传入张居正的耳朵里，看来他们铁了心要推翻他的统治了。张居正每天不断地写着辞呈，但是万历皇帝就是死活不批，每天两次下谕旨，坚持要他留下来。他不顾群臣的强烈反对，坚决地挽留，让张居正已经无法再推辞了。别说他还不想放弃政权，就是皇帝每天的挽留也不能再违旨，宁肯得罪天下人也不敢得罪皇家，他没有退路必须出山，不然就说不过去了。
万历心里也十分的焦急，他每天的旨意都已经送到张居正那里，只是礼制束缚不能亲自到他家里，不然的话，早跑到去了。万般无奈，只好派吕调阳到张居正家里去做工作，希望先生能回心转意。
“先生！皇上是一片真情实意，不要再推辞，不然的话，皇帝的面子就挂不住了。”
吕调阳坐在张居正的身边，不停得喘气，还不时的咳嗽一两声，一脸痛苦的神情，可以看得清楚吕调阳病的不轻啊。
张居正看着伙计一脸痛苦的表情，心里也很难过，关切的问了几句，叮嘱他一定要注意身体。
听到吕调阳的劝说，张居正接着说：“可是张显和张四维四处活动，要我回江陵守制，大概你也知道吧。既然群臣都反对挽留，巨正不敢留恋首辅职位，引起群臣的不满。”
“这一点，请大人放心吧！皇帝已经下旨批评张显和张四维，要求他们改过自新，否则就要处罚他们。皇上对先生的挽留之心已决，千万不要再搏皇帝的面子了。
张居正已经没有办法，尽管他一味的推辞，却挡不住皇帝的一片盛情，不能再推辞了，再推辞就是与皇帝为难，真的要得罪皇帝了。
“既然如此，我只好勉为其难了。只是请大人转奏皇帝，微臣可以不走，但是不随朝，也不赴内阁办事，随侍讲读，一律穿青色衣服，不知道皇帝能否同意。”
吕调阳一听此言，知道他的心思有所松动，一阵子高兴，皇帝交给的任务有希望完成，悬着的心终于松了下来。
“大人的要求并不算过份，我想皇帝一定会同意你的要求的。”吕调阳这个时候才认真的看了张居正一眼，只见他面容枯槁，形如一个年事已高的老人，可见其工作之辛苦，身心之劳累。为了大明的万代江山，把身体折磨成什么样子了，如果他再在位几年的话，还不知把自己折腾成什么样子呢？吕调阳心里说：还是让张居正折腾吧，我还是盼着多活几天，自己的这个病身体已经不起折腾了，费不了那个心了。