原標題:Google人體圖像分割模型Bodypix再次更新,針對Coral開發板優化,720p/30fps流暢運行

曉查 發自 凹非寺

量子位 報道 | 公衆號 QbitAI

AI開發板果然是各大廠商的必爭之地。樹莓派4剛發佈8GB版,快被遺忘的谷歌Coral開發板就迎來新的機器學習模型,登上了近日GitHub開源熱榜。

當然這也僅僅是官方GitHub上列出的兩種應用,實際的用法更多。

什麼是Bodypix

Bodypix最早是谷歌在2019年2月發佈的人體分割AI模型。

BodyPix能將圖像分割爲屬於人的和不屬於人的像素,屬於人的部分可以進一步分類爲24個身體部位之一。24個身體部位包括頭部、右上臂、左小腿、軀幹等等。

去年11月,谷歌發佈了它的升級2.0版,加入了對多人圖像的支持,還增加了基於ResNet-50的模型、新的API、權重量化以及對不同尺寸圖像的支持。

作爲一個Tensorflow.Js項目,Bodypix可以在瀏覽器端運行,即使在手機上也很流暢。谷歌官方實測,Bodypix模型可以在iPhone X上以21fps流暢運行。

現在,經過谷歌官方的優化,即使是硬件規格更低的Coral開發板也能流暢使用了,幀率甚至不輸iPhone。

安裝與使用

BodyPix依賴於最新版本的Coral API,而對於Coral開發板,則需要安裝最新的Mendel OS。然後運行項目中的install_requirements.sh來安裝其他依賴項。

python3 bodypix.py

以上命令還可以加入不同選項進行更細化的操作,比如加入—width和—height來控制輸入圖像的分辨率,這樣就可以在運行的速度和精度之間進行取捨。

python3 bodypix.py --width 480--height 360# fast but low res

python3 bodypix.py --width 640--height 480# default

python3 bodypix.py --width 1280--height 720# slower but high res

除了更改分辨率外,項目中還包含MobileNet和ResNet兩種模型供用戶選擇。

如果你面對顯示器,想製造鏡像的效果,則可以加入參數:

python3 bodypix.py --mirror

另外還能對輸入幀的編碼格式進行定義:

python3 bodypix.py --h264

python3 bodypix.py --jpeg

還有我們開頭提到的匿名模式,加入參數—anonymize,就可以不顯示人物的身體特徵和骨架,僅僅顯示外部輪廓。

python3 bodypix.py --anonymize

關於谷歌Coral

谷歌在2019年初在TensorFlow開發者大會上推出的一系列邊緣AI設備,不僅有類似於樹莓派的開發板,還有AI加速計算棒。它們都內置了邊緣TPU,比樹莓派更適合做AI運算。

當時谷歌宣稱,Coral開發板能夠以每秒30幀的速度在高分辨率視頻上運行深度神經網絡。

現在,谷歌發佈的Coral Bodypi針對Coral開發板上的iMX8MQ GPU和VPU進行優化,可以在平臺上進行實時處理和渲染。

在項目主頁中,谷歌表示優化後的Bodypix在Coral開發板上,即使以1280x720分辨率運行,也可以達到30fps,總算是兌現了當初的諾言。

開源地址:

https://github.com/google-coral/project-bodypix

特惠福利 | 一站式音視頻解決方案

想趕上直播電商、在線教育、小程序直播的風口?騰訊雲音視頻解決方案爲您助力!

騰訊雲推出9.9元產品體驗包,包括雲點播、雲直播、實時音視頻,總有一款適合你。識別二維碼即可體驗:

量子位 QbitAI · ***簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

喜歡就點「在看」吧 !

相關文章