張廷玉並沒有被抄家，只是被勒令盡繳頒賜諸物。《清史稿.張廷玉傳》載:“上以責廷玉，命盡繳歷年頒賜諸物”，乾隆只是讓張廷玉上繳賞賜之物，這跟抄家完全不是一個概念。

當然晚年的張廷玉的確因某些事情惹怒了乾隆，而震怒的乾隆遂下詔削其伯爵爵位，罷其配享世宗廟宇的權利，並奪其官職。

雍正是個什麼人？工作狂一個。爲了證明自己得位正當，他立志當個好皇帝，工作非常敬業，一年到頭除了生日那天休息，其他時間都在工作，每天工作到深夜，一天休息時間只有四五個小時，他在位十三年批閱奏章達一千多萬字，寫書達五百多萬字。這樣的工作強度很辛苦，雍正非常渴望有人能幫他，

張、鄂二人爲官數十年，以其對各級官僚體系及朝政運作的熟稔程度，對乾隆初政起到了不可或缺的作用。但讓乾隆感到不滿的是，隨着鄂爾泰、張廷玉兩人地位的不斷上升，其身邊也日益形成利益小集團。

張廷玉因乾隆之前的敲打怕會失了死後太廟之榮，便進宮面見皇帝，讓乾隆保證他死後得享太廟的聖旨。這一求本就讓乾隆心生不滿，第二天又發現張廷玉沒有親自來謝恩。乾隆更爲不滿。乾隆本來想下旨讓張廷玉自己來謝恩，可是旨意沒有到，張廷玉就自己前來。這讓乾隆更爲忌憚，認爲張廷玉勢力過大，軍機處中有人提前告知。

門下的考生賄賂考官一案，這下徹底激怒乾隆了，隨後張廷玉被去職抄家，一無所有地回老家去了。

此後在功名利祿雖皆失去，張廷玉也在家鄉過了五年頤養天年的生活，享年84歲。帶着失去太廟之榮的遺憾永遠離開。可乾隆爲顯示皇恩浩蕩，帝王風度，又在張廷玉死後，對乾隆來說可能父命難爲，再加上一些君臣情分，乾隆還是遵父遺詔，讓張廷玉得以配享太廟。恢復了配享太廟的待遇。