1928年6月4日，张作霖在皇姑屯被日本人预先埋下的120公斤炸药炸成重伤。但是并没有当场死去，但他也自知命不久矣，还对部下说：“扶我起来尿泡尿，尿完我就要走啦。”

被运回大帅府后，张作霖喉咙处的伤口流血不止，终因伤势过重不治身亡。在临终前，张作霖留下遗嘱，将东北事宜交由其少帅儿子打理。其在遗嘱中如此说道：

余不幸归途遇险，今病势已笃。殆朝暮间人矣！作自束发从军，早日誓以身报国，生死置之度外。现年已五十有四，死亦非夭。惟是救国之志未随，不免耿耿耳！

今以奉天重任付之学良，望汝善为料理，延聘贤能，修明内政，使人民安居乐业，以慰父老悬悬之望。全力努力和平，以弥战祸，促成统一。勿背余佳息通电之旨，并盼我袍泽同人共体此意，但能尊嘱，事事以国家人民为重，协力进行，即足徵诸同人相爱之诚，余身虽死亦瞑目矣！张雨亭 谨订 中华民国十七年六月四日。

张作霖的丧事，前后操办月余。因天气闷热，怕尸体腐烂，用布匹沾桐油缠裹数层，棺椁下边置放大块冰镇凉。直到秋天，张学良准备下葬父亲灵柩，又赶上九一八事变，奉行“不抵抗政策”的张学良率军退出沈阳，日军顺势侵占大帅府，并将张作霖灵柩移至珠林寺，这一放便是九年。

最后还是张作霖的昔日部下张景惠，不忍昔日兄弟如此凄凉，便牵头给张作霖操办葬礼。迫于舆论压力，日本人这次没有阻拦，同意让张景惠以“张作霖五弟”的名义来出面组织。民国二十六年（公元1937年）5月3日，张作霖草草安葬于锦州驿马坊，与原配夫人合葬在了一起。由于儿女都未参加葬礼，张景惠最后只能让张作霖外甥为其打幡。

后来吴佩孚质问张学良：“你为什么不敢和日本人打，你爹被日本人炸死了，这是家仇，东北被日本人占了，这是国仇。国仇家恨你都不报，你爹的棺材怕是要竖起来了！”便是所谓此事。

纵观张作霖一生，堪称励志的代表，他从流寇土匪起家，在众多势力中独占鳌头，最后扫清东北，成为名副其实的东北王。作为封建军阀，他具有落后甚至是反动的一面；作为统治者，他的多重性格特征是十分突出的；作为东北边疆大吏，他对东北的经济建设尤其是铁路建设做出了卓越的贡献，他对文化教育尤其是教育的重视与投入更是可圈可点；在对外关系上，他始终以维护民族利益为重。然而这一代枭雄最后被阴谋炸死，九年之后方才入土为安，实在让人感慨唏嘘。