Google人體圖像分割模型Bodypix再次更新,針對Coral開發板優化,720p/30fps流暢運行
原標題:Google人體圖像分割模型Bodypix再次更新,針對Coral開發板優化,720p/30fps流暢運行
曉查 發自 凹非寺
量子位 報道 | 公衆號 QbitAI
AI開發板果然是各大廠商的必爭之地。樹莓派4剛發佈8GB版,快被遺忘的谷歌Coral開發板就迎來新的機器學習模型,登上了近日GitHub開源熱榜。
當然這也僅僅是官方GitHub上列出的兩種應用,實際的用法更多。
什麼是Bodypix
Bodypix最早是谷歌在2019年2月發佈的人體分割AI模型。
BodyPix能將圖像分割爲屬於人的和不屬於人的像素,屬於人的部分可以進一步分類爲24個身體部位之一。24個身體部位包括頭部、右上臂、左小腿、軀幹等等。
去年11月,谷歌發佈了它的升級2.0版,加入了對多人圖像的支持,還增加了基於ResNet-50的模型、新的API、權重量化以及對不同尺寸圖像的支持。
作爲一個Tensorflow.Js項目,Bodypix可以在瀏覽器端運行,即使在手機上也很流暢。谷歌官方實測,Bodypix模型可以在iPhone X上以21fps流暢運行。
現在,經過谷歌官方的優化,即使是硬件規格更低的Coral開發板也能流暢使用了,幀率甚至不輸iPhone。
安裝與使用
BodyPix依賴於最新版本的Coral API,而對於Coral開發板,則需要安裝最新的Mendel OS。然後運行項目中的install_requirements.sh來安裝其他依賴項。
python3 bodypix.py
以上命令還可以加入不同選項進行更細化的操作,比如加入—width和—height來控制輸入圖像的分辨率,這樣就可以在運行的速度和精度之間進行取捨。
python3 bodypix.py --width 480--height 360# fast but low res
python3 bodypix.py --width 640--height 480# default
python3 bodypix.py --width 1280--height 720# slower but high res
除了更改分辨率外,項目中還包含MobileNet和ResNet兩種模型供用戶選擇。
如果你面對顯示器,想製造鏡像的效果,則可以加入參數:
python3 bodypix.py --mirror
另外還能對輸入幀的編碼格式進行定義:
python3 bodypix.py --h264
python3 bodypix.py --jpeg
還有我們開頭提到的匿名模式,加入參數—anonymize,就可以不顯示人物的身體特徵和骨架,僅僅顯示外部輪廓。
python3 bodypix.py --anonymize
關於谷歌Coral
谷歌在2019年初在TensorFlow開發者大會上推出的一系列邊緣AI設備,不僅有類似於樹莓派的開發板,還有AI加速計算棒。它們都內置了邊緣TPU,比樹莓派更適合做AI運算。
當時谷歌宣稱,Coral開發板能夠以每秒30幀的速度在高分辨率視頻上運行深度神經網絡。
現在,谷歌發佈的Coral Bodypi針對Coral開發板上的iMX8MQ GPU和VPU進行優化,可以在平臺上進行實時處理和渲染。
在項目主頁中,谷歌表示優化後的Bodypix在Coral開發板上,即使以1280x720分辨率運行,也可以達到30fps,總算是兌現了當初的諾言。
開源地址:
https://github.com/google-coral/project-bodypix
— 完—
特惠福利 | 一站式音視頻解決方案
想趕上直播電商、在線教育、小程序直播的風口?騰訊雲音視頻解決方案爲您助力!
騰訊雲推出9.9元產品體驗包,包括雲點播、雲直播、實時音視頻,總有一款適合你。識別二維碼即可體驗:
量子位 QbitAI · ***簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
喜歡就點「在看」吧 !