Python解釋執行原理

我是一個Python線程，我的工作就是解釋執行程序員編寫的Python代碼。

之所以說是解釋執行，是因爲Python是高級語言，CPU那傢伙不認識Python代碼，需要運行的時候動態翻譯成CPU指令。

我把Python源代碼經過“編譯”以後，變成了一個個的字節碼文件：.pyc，這是一個二進制的文件，人類是看不懂的，只有我才能看懂。

然後我的工作就簡單了，不斷的取出字節碼文件中的“指令”解釋執行，直到所有指令都執行完成，我就可以休息了。

GIL

後來，多線程編程技術流行了起來，進程裏不止我一個線程了，又來了幾個新的夥伴。

本以爲我們能和平共處，沒想到這一來就麻煩了，我們幾個各幹各的，經常把內存空間搞出問題，也找不到背鍋的人。

終於有一天，我實在忍受不了了，召集大家商討個解決辦法。

“小夥伴們，咱們不能再這樣各搞各的了，咱們是一個Team，要彼此協作，一個線程可以走的很快，但一羣線程在一起才能走的更遠吶！”

“老大，你有什麼想法你就直說吧”，另一個線程說到。

“要不，咱們加個鎖吧！簡單快捷，每個線程要執行代碼，都得來申請這個鎖，申請到了才能執行，否則就得等着”，我說到。

“那什麼時候釋放呢？”

“要不弄個計數器，每個線程數到100就釋放，這樣保證別人有機會來執行？”

“那怎麼計數呢？每執行一個字節碼就計數一次嗎？”

“可以，不過也不用那麼死板，有些指令比較簡單的，很快可以完成，就可以不用計數了”

“好是好，但要是還沒數夠100，卻在執行I/O操作阻塞了，還把鎖霸佔的話，那不是資源浪費嗎？”

小夥伴們七嘴八舌的討論着。

我想了想說到：“那就這樣，把兩種情況結合一下，常規情況下數到100就釋放一次鎖，但如果遇到阻塞情況，也要提前釋放鎖，怎麼樣？”

大夥紛紛點頭，達成了一致，隨後我們還給這個鎖取了一個名字：全局解釋器鎖GIL。

自從用上了GIL，我們大傢伙幹活都規矩多了，再也沒有出現把公共資源搞壞的情況了。

升級版GIL

再後來，多核技術開始興起了，一個CPU裏面可以同時執行多個線程。小夥伴們高興地把這個消息散播開了。

“老大，現在CPU有多核了，咱們可以一起執行了，可不可以把那個GIL給去掉啊，這樣才能利用多核的優勢啊。”

“是啊，隔壁Java線程老是嘲笑我們看起來人多，實際只有一個線程在執行”

可說易行難，這麼多年我們都是這樣工作的，要突然去掉，出了問題誰也不敢負責啊。

“可是老大，現在這個GIL鎖不公平”，新來的線程抱怨到。

“哪裏不公平了？”

“我準備執行代碼，發現鎖在你的手裏，只好原地等待，等了半天都睡着了，好不容易等到你釋放了，操作系統把我給喚醒，準備去申請鎖，結果發現又被你搶到了，真是浪費表情”，新的線程滿臉委屈。

“是啊，老大，我也發現了，這不是偶發現象，我觀察很久了，經常都會發生！頻繁被喚醒，卻發現白忙活一場，白白浪費CPU資源，大家都怨氣很大啊”，另一個線程夥伴也說到。

我有些不好意思，“嗯，這確實是個問題”

“還沒完呢”，新來的線程繼續說到：“現在按照字節碼指令數來統計，但有些指令碼簡單，有些很複雜，導致同樣數到100，有些線程可以運行很久，而有些就運行很快就結束了，也不公平”

小夥伴們提的問題都很重要，看來是時候對GIL進行一次升級了。

經過一陣激烈的討論，我們改進了原來對GIL，用上了新的策略：

不再用計數的方式，改用時間片的方式：每個線程的執行時間片是5000微秒。

爲了保證釋放GIL後，不被自己馬上又搶到，新增了一個鎖實現強制線程切換

改進以後，這下總算公平了，各位小夥伴再也沒有話說，又可以安心的工作了。

結語

Python是一門解釋執行的語言，擁有強大的第三方庫和跨平臺能力，近幾年Python煥發了第二春，橫掃爬蟲、web開發、機器學習等衆多領域。

但長期以來，Python最爲人詬病的就是它有一把鎖：GIL，這把鎖讓Python無法真正的實現多線程執行，無法利用多核CPU的高性能。

實際上，這個鎖跟Python沒有半毛錢的關係，而是負責解釋執行Python的解釋器：CPython的鍋。

CPython是用C語言編寫的Python解釋器，也是最廣爲使用的Python解釋器，一般在沒有特殊說明時，說Python指的就是這個CPython解釋器。

Python誕生之初，多線程技術還遠沒有今天這麼深入人心，甚至多核CPU也是Python誕生許多年後纔出現的。早期的解釋器中爲了支持多個線程，使用了粗暴的GIL來進行控制，方便簡單的同時，也成爲了CPython的巨大歷史包袱。

在Python3.2之前，Python使用簡單的計數法來統計控制每個線程執行的時間。在這之後，引入了更爲公平的時間片方式來升級替換。

過去二十年，曾經有許許多多大牛都嘗試徹底去除GIL，但都沒有完美成功。

雖然Python沒能徹底去除GIL，好在，提供了其他幾種方式“曲線救國”實現併發：

Ctypes 通過編寫C語言擴展與Python交互，在C語言層面繞過GIL實現多核利用。

MultiProcess Python提供了MultiProcess，通過多進程的方式繞過GIL

協程 協程又稱用戶態線程，Python3.4版本後新增了對協程的支持，也是對性能的提升提供了一種選擇。

這篇文章用第一人稱大白話的方式講述了GIL在CPython解釋器中的工作原理，大家都理解了嗎？歡迎留言交流～

作者：軒轅之風

來源：編程技術宇宙（ID：xuanyuancoding）