1959年9月17日，根据会议的决定，元帅（彭老总）不再担任国防部长的职务。

不担任重要职务后，元帅（彭老总）搬家了，他离开永福堂，搬到了京城西北郊挂甲屯吴家花园居住。

关于挂甲屯，据当地村民说，因北宋时期杨家将杨六郎曾在此晾晒铠甲，故得此名。

而关于吴家花园，则有很多传说，有人说这地方是吴三桂修建的一处园林，吴三桂与陈圆圆曾在此居住。但也有人说吴家花园原是承泽园西部的一部分，兴建于清朝，雍正皇帝把该园赐给了给果亲王允礼。清末时期，吴家花园归摄政王载沣所有。到了民国，袁世凯的儿子袁克定曾在此居住。后来，实业家吴鼎昌买下这个园林，改叫吴家花园。

庐山雾重风萧萧，挂甲离京十里遥。

一生戎马无暇日，老来偷闲学种桃。

在吴家花园，元帅一边学习，一边开荒种地。他种了南瓜、茄子、辣椒等蔬菜及一些其他瓜果，他还在院内挖塘养鱼，在池塘南边还种了一小块水稻。

元帅在吴家花园居住期间，他的侄子彭起超两次到此看望伯伯。

彭起超是元帅的侄子，他的父亲是革命烈士彭荣华。彭荣华有六个子女，分别为：彭起超、彭秀兰、彭爱兰、彭康志、彭正祥、彭钢。

彭起超早年毕业于哈军工，曾在前线部队任职。元帅出事后，彭起超被调到武汉空军工作，负责看守王家墩机场跑道。彭起超有个未婚妻叫小李，二人谈了八年，准备结婚。可因为元帅的事情，小李含泪提出分手。后来，经人介绍，彭起超与家乡的农村姑娘刘庆云结婚。

1962年5月的一天，彭起超带着妻子刘庆云从武汉来京看望伯伯。二人在吴家花园住了一段时间。

见到侄子、侄媳后，元帅十分高兴。他与侄子说古论今，彭起超问了许多问题，元帅有问必答，并不讳言。彭起超从伯伯的谈话中，了解到了不少党的历史。

有一天，彭起超大着胆子问伯伯，关于他对一些高级将领的看法。

元帅实话实说。当说到牺牲的战友时，他特别提到了彭雪枫。

彭雪枫战功卓著，打了无数场胜仗。1944年9月，担任新四军第四师师长兼政委的彭雪枫，在八里庄战斗中不幸壮烈牺牲，年仅37岁。

谈及彭雪枫时，元帅说：“他为人正派，有问题当面谈，不同意见桌上吵，吵完了照样好。”

当谈及他的入党介绍人段德昌时，元帅则感慨地说：“他是名将啊，可惜哦。他最终被夏曦杀掉了……”

当谈及几位开国上将时，元帅突然拍了一下自己的腿，说道：“我想起了一件要紧的事！我这个人一生犯过不少错。一九五八年春夏的全军反教条主义，就是一个。当时开了两个月的军委扩大会议。现在回想起来，当时对萧克等一批同志的批评和处理太过火，言过其实，使他们受了委屈，甚至一些同志被降级、降职。虽然这不是我的本意，但我是会议主持人。”

元帅又对侄子说：“起超，你记住了，以后有机会，你代表我去看看萧克同志。你就转达我的原话，就说我向他道歉了，1958年让同志们受苦了，对不起同志们！”

在吴家花园住了一段时间后，彭起超带着妻子刘庆云，返回武汉。

一九七六年后，彭起超向开国上将萧克转述了彭元帅的原话。萧克将军听后，心情非常激动。他感慨说：“元帅是一个真正的党员！光明磊落，坦坦荡荡！”