"\u003Cdiv\u003E\u003Cblockquote\u003E\u003Cp\u003E從圖片的角度，技術同樣存在“一刀切”的侷限。例如色情內容，機器通過識別肌膚裸露面積來判定是否違規，而這個會讓一些具有歷史意義和藝術性的照片受到波及。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp class=\"ql-align-justify\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E作者 | 石燦 金木葉\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E編輯 | 鐵林\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E今天的文章，我們從三張圖開始。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F03e22ab634d94c6abc5d5b7ada834db2\" img_width=\"828\" img_height=\"300\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E某購物平臺上的女郎內衣服裝圖。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fdcb2c042eb334bc5bd93b67a2a5dc28c\" img_width=\"800\" img_height=\"1290\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E米隆雕塑《擲鐵餅者》羅曼錫青銅複製品，公元2世紀，藏於慕尼黑古代雕塑展覽館。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fa8c46f3b16fb466097eaf1a5dd439d8b\" img_width=\"1050\" img_height=\"1049\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E米絲蒂·科普蘭和詹姆斯·懷特賽德在《天鵝湖》中。\u003C\u002Fp\u003E\u003Cp\u003E是不是覺得這幾張圖不該出現在我們的文章裏？彆着急關掉，我們可沒別的意思。\u003C\u002Fp\u003E\u003Cp\u003E我們想說明一個問題，這些圖的含義會在不同時間、場景產生不同變化。\u003C\u002Fp\u003E\u003Cp\u003E購物平臺女郎內衣服裝圖出現在在購物平臺上無可厚非，《擲鐵餅的人》圖出現在博物館裏再正常不過了，你要是在劇院裏看到舞蹈演員跳天鵝湖，會持欣賞態度去讚賞。\u003C\u002Fp\u003E\u003Cp\u003E他們自身的意義被人賦予，人會受到周遭環境的影響而產生不同判斷。就在我們以爲各種內容位居其位時，它們實際上正發生根本性改變。\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E每年我們生產出800萬首新歌，200萬本新書，1.6萬部新電影，300億個博客帖子，1820億條推特信息，4萬件新產品。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E凱文·凱利在他那本著名《必然》中如此寫道。\u003C\u002Fp\u003E\u003Cp\u003E技術進步，將人類的產生新觀點、製作新事物的生產力完全從工具的枷鎖中釋放出來，“今天製作一個簡單的視頻要比10年前容易10倍，寫作並出版一本圖書要比1000年前容易1000倍。”\u003C\u002Fp\u003E\u003Cp\u003E而且技術還在不斷降維，人類的內容生產力還在持續提升。\u003C\u002Fp\u003E\u003Cp\u003E就以圖片爲例，全球每年新增的圖片數，2013年是0.6萬億張，2017年是1.4萬億張，短短4年足足翻了一倍。\u003C\u002Fp\u003E\u003Cp\u003E1.4萬億張意味着什麼，意味着每天上傳一張，得上傳38億年。要知道，地球年齡的最佳估計值也就45.5億年而已。\u003C\u002Fp\u003E\u003Cp\u003E信息大爆炸，帶來的一個巨大挑戰就是如何過濾。《必然》一書的副標題叫“理解將塑造我們未來的12種技術力量”，其中一種，就是過濾。\u003C\u002Fp\u003E\u003Cp\u003E“過濾”勢必會成爲未來深刻影響我們生活的一種技術。\u003C\u002Fp\u003E\u003Cp\u003E凱文·凱利也認識到，雖然傳統的過濾機制仍在發揮着作用，“但在處理未來10年急劇增長的各種選擇時，我們就要發明出更多類型的過濾方法。”\u003C\u002Fp\u003E\u003Cp\u003E“過濾”首先承擔的是“守門人”的角色，這是它必須堅守的底線和構建的壁壘。近來年，無論中外，互聯網世界都始終籠罩在被“黑產”和“灰產”侵擾的陰影中，色情、暴力、賭博、迷信、恐怖言論、種族歧視、詐騙、虛假廣告……它們就像四處蔓延的污水，侵蝕着一個個平臺。\u003C\u002Fp\u003E\u003Cp\u003E如果純靠人工審覈，這是難以估算的工作量。\u003C\u002Fp\u003E\u003Cp\u003E就以今日頭條爲例，每天用戶上傳的文章數量達60萬篇。如果每個內容都要人工審覈，審覈團隊規模可能得10萬人起步。\u003C\u002Fp\u003E\u003Cp\u003E這就像電話出現的早期，不同線路都需要接線員處理。美國電話公司曾驚訝地發現，按照電話普及的速度，幾年後，所有美國女性都當電話接線員還不夠。\u003C\u002Fp\u003E\u003Cp\u003E很顯然是不可能的，技術將改變這一切。技術也將承擔第一層“過濾”機制，充當第一道門的“守門人”。放眼全球，所有互聯網公司，多多少少都會依賴技術來解決第一道門的“守門人”問題。不管是國外的Facebook、谷歌，還是國內的微信、今日頭條，都是如此。\u003C\u002Fp\u003E\u003Cp\u003E但目前來看，在國內，今日頭條是較多願意對外展示他們的技術審覈機制的，這也得以讓外界管窺這個以算法和內容著稱的公司，是如何通過技術的手段，在海量信息時代提供第一層把關的解決方案。\u003C\u002Fp\u003E\u003Cp\u003E7月30日，今日頭條發佈“靈犬3.0”。“靈犬”的全稱“靈犬反低俗助手”，2018年3月發佈1.0，經過三次迭代，目前同時支持圖片和文本識別。\u003C\u002Fp\u003E\u003Cp\u003E“靈犬3.0”發佈的同時，今日頭條還舉辦了一場“算法如何反低俗”的溝通會，由字節跳動人工智能實驗室總監王長虎分享“靈犬”背後的反低俗技術原理。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fba5e5a9031f24cc3b5aac3d82286007c\" img_width=\"522\" img_height=\"347\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E字節跳動人工智能實驗室總監王長虎分享“靈犬”背後的技術原理\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E雖然是技術男，但不得不說，王長虎的分享做了很好的降維處理，非常深入淺出。\u003C\u002Fp\u003E\u003Cp\u003E相比於人，機器的優勢自不待言：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E比如計算快，一秒鐘能執行百億次計算；比如存儲大，輕鬆存儲千億以上漢字；比如穩定，不會因心情、狀態等影響處理結果。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp class=\"ql-align-justify\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F576db580c7bf4ce4b41c96f57c2e312a\" img_width=\"638\" img_height=\"371\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E但機器也有機器的侷限，尤其是面對文字這種博大精深的對象物。在早期，機器還沒那麼“聰明”的時候，它的工作原理更像是word文檔裏的“查找”功能，需要匹配相應的詞彙庫。用王長虎的話就是，“機器將信息轉化成二進制的0和1存儲下來，以此爲基礎，表達文字、圖片。人編寫程序，即一組指令，機器按照順序執行，對既定的一段存儲做操作，最終輸出結果。”\u003C\u002Fp\u003E\u003Cp\u003E這種把關機制就像“馬奇諾防線”，可以輕鬆繞開。早期互聯網用戶很多都有這種經歷：在輸入內容的時候，只要把其中一些詞改成拼音，或在中間空上一格，就輕輕鬆鬆地避開了機器審覈。\u003C\u002Fp\u003E\u003Cp\u003E但現在，僵化的“馬奇諾防線”已經不存在了，過去十年裏，技術領域出現了最大的技術進步：機器學習。“這樣一來，人不需要寫出具體的指令序列，也能讓機器做很多的事情……在機器學習的狀態下，人只需要提供充分、具體的樣本，機器經過訓練就能總結出一套判斷準則。”\u003C\u002Fp\u003E\u003Cp\u003E王長虎說，靈犬正是機器學習反低俗的產物。\u003C\u002Fp\u003E\u003Cp\u003E那如何才能讓機器像人一樣思考呢？接下來就是非常“硬核”的部分了，估計看到本文的絕大部分人都不懂其中的原理。\u003C\u002Fp\u003E\u003Cp\u003E王長虎介紹說：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E第一版靈犬，採用的是詞向量與CNN技術。詞向量是讓詞蘊含語義信息；CNN是捲曲神經網絡的縮寫，這種技術架構性能好、速度快。第二版靈犬，用的是LSTM和 Attention技術。LSTM是“長短期記憶”的縮寫，這種神經網絡可以很好地對序列進行建模，對長句的識別非常好。Attention是注意力機制，可以結合詞與詞之間的信息，對句子有更全面的瞭解。最新的版本，用的技術是Bert技術與半監督技術，Bert是當前最先進的自然語言理解技術，是這個領域進展的集大成者。Bert開展了新的更大規模的網絡結構，並且使用半監督學習技術，可以利用天然的超大規模的語料庫進行訓練，使得對語義的刻畫更精準。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp class=\"ql-align-justify\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E什麼是半監督？\u003C\u002Fp\u003E\u003Cp\u003E半監督是相對於監督機制來說的，監督機制是用標註數據來訓練模型，半監督既用有標註的數據，也利用一些沒有標註、更大規模的數據來訓練。半監督技術的好處，是可以用更大規模的語料庫來訓練模型，效果更好。\u003C\u002Fp\u003E\u003Cp\u003E靈犬1.0到3.0，文本識別的準確率從79%提升到91%。\u003C\u002Fp\u003E\u003Cp\u003E這還只是文本識別，對比之下，圖片識別就更麻煩了。“靈犬3.0”的新系統可識別圖片，這是靈犬的一大里程碑。\u003C\u002Fp\u003E\u003Cp\u003E王長虎說，圖片識別的難度在於：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E文章由段落構成，段落由句子構成，句子由字詞構成；兩段低俗的話，可能運用了某個相同的詞，而字、詞作爲段落的最小單位，是可以被分割出來，並一一加以識別的。但兩張低俗的圖片，構成的特徵千差萬別，與文本不一樣的是，圖像識別的特徵提取，無論是初級特徵的形狀、顏色、紋理，還是高級特徵裏的語義，其數量是無限的，不可窮舉。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E而靈犬運用的解決方案，不僅是“機器學習”，而且是機器“深度學習”。深度學習有三個要素：一是數據量，二是算力，三是模型。王長虎說，靈犬在數據層面累積了上千萬級別的訓練數據，在模型層面，針對許多困難樣本做了模型結構調優。\u003C\u002Fp\u003E\u003Cp\u003E至於算力，這就只能期待NVIDIA等大廠的進化了，王長虎說，靈犬也在利用分佈式訓練算法以及GPU訓練集羣，加速模型的訓練和調試，利用模型壓縮技術，提升模型的預測速度。\u003C\u002Fp\u003E\u003Cp\u003E那爲什麼還需要人工判斷呢？\u003C\u002Fp\u003E\u003Cp\u003E不信你看看下面這兩張圖，你說它們是不是低俗的。\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fda47133165f74004bff1f32842c5727d\" img_width=\"540\" img_height=\"780\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E籃球寶貝正在籃球中場休息時間熱舞活躍氣氛。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fb300e1df5d0f41f8953ea6cc9ccf6e99\" img_width=\"800\" img_height=\"633\" alt=\"爲什麼說反低俗是全球難題？\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp\u003E《自由領導人民》是法國浪漫主義畫家歐仁·德拉克洛瓦爲紀念1830年法國七月革命的作品，藝術價值極高。\u003C\u002Fp\u003E\u003Cp\u003E機器遇到這種情況就很難搞了，它還是要根據具體的情況來判定。\u003C\u002Fp\u003E\u003Cp\u003E事實上，世界上大的互聯網公司，包括Facebook和谷歌，都組建有人數衆多的人工審覈團隊。\u003C\u002Fp\u003E\u003Cp\u003E原因肯定還在於，機器雖然聰明，仍然有拿不準的時候。就像3.0版本的靈犬，文本識別準確率雖然提升至了91%，但還有差不多十分之一的內容沒法做出判斷，這一比例已然放在海量內容面前，已經非常巨大。\u003C\u002Fp\u003E\u003Cp\u003E王長虎也說，沒有算法是完美的，靈犬也還在不斷地提升和迭代。另一方面，反低俗這個問題，其實是比較複雜和比較困難的。\u003C\u002Fp\u003E\u003Cp\u003E他說，至少在一些方面，現階段還有賴於人工判斷。\u003C\u002Fp\u003E\u003Cp\u003E機器只是把文字當成符號，從表面去理解它。就像蓋房子的磚塊一樣，機器只能把這些磚塊羅列和堆積起來，不完全知道某些磚塊可能比另一些磚塊更爲重要，有些磚塊需要轉換一下角度來看，或者跟別的磚塊搭配在一起看才合理。\u003C\u002Fp\u003E\u003Cp\u003E這讓我想起了網上流傳的所謂漢語八級考試中的一道題：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E領導：你這是什麼意思？小明：沒什麼意思，意思意思。領導：你這就不夠意思了。小明：小意思，小意思。領導：你這人真有意思。小明：其實也沒有別的意思。領導：那我就不好意思了。小明：是我不好意思。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E讓機器來理解上面的“意思”分別是什麼意思，估計要瘋。\u003C\u002Fp\u003E\u003Cp\u003E圖片也是如此，王長虎說：\u003C\u002Fp\u003E\u003Cblockquote\u003E\u003Cp\u003E從圖片的角度，技術同樣存在“一刀切”的侷限。例如色情內容，機器通過識別肌膚裸露面積來判定是否違規，而這個會讓一些具有歷史意義和藝術性的照片受到波及。\u003C\u002Fp\u003E\u003C\u002Fblockquote\u003E\u003Cp\u003E他介紹，Facebook 曾經因爲“裸露”，誤傷了一張著名的越戰新聞照片，照片裏一位小女孩遭到汽油彈炸傷、渾身赤裸奔跑。今日頭條也有過類似的情況。很早的時候，頭條平臺下架了一張關於吳哥窟塑像的圖片，塑像雖然“露點”，但其實是名勝古蹟。再比如芭蕾舞蹈。一些拍攝芭蕾舞的圖片，以機器的視角來看，它很類似於裙底偷拍。\u003C\u002Fp\u003E\u003Cp\u003E另一方面，技術還很難搞定的是，由於使用場景、人羣、時間而導致標準變動的內容。王長虎在這一部分舉了兩個很有說服力的例子：\u003C\u002Fp\u003E\u003Cp\u003E在八十年代早期，鄧麗君的歌曲曾被認爲是“靡靡之音”。1982年，人民音樂出版社出版了《怎樣鑑別黃色歌曲》，裏面就批判了鄧麗君歌曲。但時至今日，鄧麗君演唱的歌曲，已經成爲了華語經典歌曲的一部分。\u003C\u002Fp\u003E\u003Cp\u003E不得不說，身在一個以運營內容著稱的公司，技術男也有了很好的內容理解力和創作力。\u003C\u002Fp\u003E\u003Cp\u003E靈犬解決不了所有問題，所以今日頭條的反低俗系統，遠不止於靈犬。今日頭條目前除投入近萬人的專業審覈團隊外，還搭建了反色情、反低俗、反標題黨、反虛假信息、反低質模型數百個，結合人工、技術手段，提升內容安全的效率和準確度。\u003C\u002Fp\u003E\u003Cp\u003E至於靈犬，自去年3月推出第一代以來，到今年6月爲止，使用人次已經超過了300萬。\u003C\u002Fp\u003E\u003Cp\u003E靈犬背後的今日頭條的反低俗系統，自2012年建設以來，支撐着這個信息平臺24小時平穩運作，每天都在迭代。對於它，王長虎用這樣一句話來總結：可能是全球最實用的反低俗系統。\u003C\u002Fp\u003E\u003Cp\u003E你有想過嗎？\u003C\u002Fp\u003E\u003Cp\u003E“靈犬”背後，可能隱藏了今日頭條真正的生產力——技術自我進化的能力，以此來推動生產關係發生變革。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E"'.slice(6, -6), groupId: '6720399613313942020