1928年6月4日，張作霖在皇姑屯被日本人預先埋下的120公斤炸藥炸成重傷。但是並沒有當場死去，但他也自知命不久矣，還對部下說：“扶我起來尿泡尿，尿完我就要走啦。”

被運回大帥府後，張作霖喉嚨處的傷口流血不止，終因傷勢過重不治身亡。在臨終前，張作霖留下遺囑，將東北事宜交由其少帥兒子打理。其在遺囑中如此說道：

餘不幸歸途遇險，今病勢已篤。殆朝暮間人矣！作自束髮從軍，早日誓以身報國，生死置之度外。現年已五十有四，死亦非夭。惟是救國之志未隨，不免耿耿耳！

今以奉天重任付之學良，望汝善爲料理，延聘賢能，修明內政，使人民安居樂業，以慰父老懸懸之望。全力努力和平，以彌戰禍，促成統一。勿背餘佳息通電之旨，並盼我袍澤同人共體此意，但能尊囑，事事以國家人民爲重，協力進行，即足徵諸同人相愛之誠，餘身雖死亦瞑目矣！張雨亭 謹訂 中華民國十七年六月四日。

張作霖的喪事，前後操辦月餘。因天氣悶熱，怕屍體腐爛，用布匹沾桐油纏裹數層，棺槨下邊置放大塊冰鎮涼。直到秋天，張學良準備下葬父親靈柩，又趕上九一八事變，奉行“不抵抗政策”的張學良率軍退出瀋陽，日軍順勢侵佔大帥府，並將張作霖靈柩移至珠林寺，這一放便是九年。

最後還是張作霖的昔日部下張景惠，不忍昔日兄弟如此淒涼，便牽頭給張作霖操辦葬禮。迫於輿論壓力，日本人這次沒有阻攔，同意讓張景惠以“張作霖五弟”的名義來出面組織。民國二十六年（公元1937年）5月3日，張作霖草草安葬於錦州驛馬坊，與原配夫人合葬在了一起。由於兒女都未參加葬禮，張景惠最後只能讓張作霖外甥爲其打幡。

後來吳佩孚質問張學良：“你爲什麼不敢和日本人打，你爹被日本人炸死了，這是家仇，東北被日本人佔了，這是國仇。國仇家恨你都不報，你爹的棺材怕是要豎起來了！”便是所謂此事。

縱觀張作霖一生，堪稱勵志的代表，他從流寇土匪起家，在衆多勢力中獨佔鰲頭，最後掃清東北，成爲名副其實的東北王。作爲封建軍閥，他具有落後甚至是反動的一面；作爲統治者，他的多重性格特徵是十分突出的；作爲東北邊疆大吏，他對東北的經濟建設尤其是鐵路建設做出了卓越的貢獻，他對文化教育尤其是教育的重視與投入更是可圈可點；在對外關係上，他始終以維護民族利益爲重。然而這一代梟雄最後被陰謀炸死，九年之後方纔入土爲安，實在讓人感慨唏噓。