摘要：\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E這篇論文裏BERT是在多類型語言推理數據集 (\u003Cstrong\u003EMNLI\u003C\u002Fstrong\u003E) 上訓練的，而測試集則是研究團隊自制的\u003Cstrong\u003EHANS\u003C\u002Fstrong\u003E數據集：\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002Fc481c47ba2c34bdc9a353e2a416b7d43\" img_width=\"1080\" img_height=\"337\" alt=\"。ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cstrong\u003E“不只一個數據集有問題”\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E這篇論文的結論給了NLP模型們當胸一擊。

"\u003Cdiv\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F4a4993c9f2e84a8e9dc8b26c174a75c0\" img_width=\"640\" img_height=\"70\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-justify\"\u003E本文經AI新媒體量子位（公衆號ID:qbitai）授權轉載，轉載請聯繫出處\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E本文約\u003Cstrong\u003E1700字，\u003C\u002Fstrong\u003E建議閱讀\u003Cstrong\u003E5分鐘。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003EBERT到底是敗在了一項怎樣的任務上？\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E有一篇中選了ACL的論文，打擊了以BERT爲首的衆多閱讀理解模型。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E研究人員認爲，包括BERT在內，許多模型的成功都是建立在虛假的線索上。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002Faa598d3b26434fc0becd3bf4b501140c\" img_width=\"300\" img_height=\"300\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-justify\"\u003E團隊用了去年誕生的\u003Cstrong\u003E觀點推理理解任務\u003C\u002Fstrong\u003E (ARCT) 考驗了BERT。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E結果發現，只要做個對抗數據集，準確率就從77%降到\u003Cstrong\u003E53%\u003C\u002Fstrong\u003E，幾乎等同於隨機猜。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E預告一下，這裏的對抗並不是把\u003Cstrong\u003Eo變成0、把I變成1\u003C\u002Fstrong\u003E的小伎倆。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E實驗說明，BERT是依靠數據集裏“\u003Cstrong\u003E虛假的統計學線索\u003C\u002Fstrong\u003E (Spurious Statistical Cues) ”來推理的。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E也就是說，它並不能真正分析出句子之間的邏輯關係。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002F30c2569422a1496297384fd30f68d523\" img_width=\"1023\" img_height=\"767\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cstrong\u003E碎成渣渣\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E那麼，BERT到底是敗在了一項怎樣的任務上？\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E\u003Cstrong\u003E觀點推理理解任務\u003C\u002Fstrong\u003E (ARCT) ，是Habernal和小夥伴們提出的閱讀理解任務，考察的是語言模型的推理能力，中選了\u003Cstrong\u003ENAACL 2018\u003C\u002Fstrong\u003E。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E一個觀點，包含前提 (Premise) ，和主張 (Claim) 。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E除此之外，觀點又有它的原因 (Reasoning) ，以及它的佐證 (Warrant) 。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F66af3a34a23744479cd3bfaea49a708e\" img_width=\"1080\" img_height=\"379\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E在ARCT裏面，AI要根據一個給定的觀點，在兩個選項裏，找出正確的佐證。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E兩個佐證句十分接近，得出的主張卻是完全相反。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E原始的ARCT數據集裏，一共有2000個觀點，配以它們的佐證。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E原本，BERT在這個數據集上表現優良，77%的最好成績，只比未經訓練的人類 (79.8%) 低不到3個百分點。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F2e5b2c68751c4dcea03041f24dac8255\" img_width=\"1080\" img_height=\"333\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E中位數，也在70%以上。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E可這樣就能說明BERT擁有推理能力了麼？\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E爲了研究BERT的選擇是如何做出的，團隊觀察了AI眼中容易分類的那些數據點。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E結果發現，BERT是利用了一些線索詞來判斷，特別是“Not”這個詞。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002Fc5c885c94da548879bc79049927e0f9f\" img_width=\"734\" img_height=\"280\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E在兩個選項裏面，如果選擇帶有“Not”的佐證句，就有\u003Cstrong\u003E61%\u003C\u002Fstrong\u003E的概率是對的。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E並且，在所有正確答案裏，有\u003Cstrong\u003E64%\u003C\u002Fstrong\u003E的佐證句都包含了“Not”。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E這是最強大的一個線索詞，但它和答案之間是虛假關係 (Spurious Relationship) ，並不是在邏輯上相關的。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E除此之外，其他的線索詞還包括了“Is”“Do”“Are”等等。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F1e2242eb6919465eabfd3df5e3f0e706\" img_width=\"500\" img_height=\"550\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E爲了證明“Not”這樣的線索詞，對AI的推理真的有影響，團隊做了一個對抗數據集。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E具體方法是，給觀點的\u003Cstrong\u003E主張\u003C\u002Fstrong\u003E (Claim) 加上一個“Not”來否定；\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E\u003Cstrong\u003E原因\u003C\u002Fstrong\u003E (Reasoning) 不變；\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E把佐證 (Warrant) 的兩個選項，對錯標籤反過來填。就是把錯誤答案和正確答案對調。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F81598af8e09e4732853b461803340738\" img_width=\"1080\" img_height=\"208\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E拿修改過的數據集，再去考BERT。它的成績就降到了盲猜水平：\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp3.pstatp.com\u002Flarge\u002Fpgc-image\u002F38ee1ebb4d354e3cb33ec2f88277fde8\" img_width=\"692\" img_height=\"246\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E研究人員覺得，將來再評估AI的閱讀理解能力，也應該採納這樣的方法，如此才能測出語言模型的推理到底有多魯棒。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cstrong\u003E前情：BERT有多神\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E在NLP領域，沒有人不知道BERT的大名。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003EBERT由谷歌推出，堪稱2018年最火的NLP模型，甚至被稱爲NLP新時代的開端。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E甫一亮相，BERT就在11項NLP任務上都取得了最頂尖的成績，將GLUE基準提升7.6%，將MultiNLI的準確率提升5.6%。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E哪怕是在XLNet等後來者的衝擊之下，BERT在SQuAD2.0排行榜上仍處於霸榜的地位，前10名中有6位都是BERT的變體。其中第一名BERT + DAE + AoA的表現甚至超過了人類。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fbb1376c5d76a46daa4e964891a6efe14\" img_width=\"1080\" img_height=\"332\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cstrong\u003E“不只一個數據集有問題”\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E這篇論文的結論給了NLP模型們當胸一擊。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003EBERT的祕密被揭穿，網友們紛紛表示這是非常值得深入探討的一個議題。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E作者本人在Reddit評論區補充說：\u003C\u002Fp\u003E\u003Cblockquote\u003E我們每隔幾個月就會聽到有關NLP的新進展，更新、更好的模型層出不窮。但當有人實際用數據集測試時，會發現這些模型並沒有真正學習到什麼。優化模型的競賽該放緩腳步了，我們更應該仔細研究研究數據集，看看它們是否真的有意義。\u003C\u002Fblockquote\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002Fb1fb9c71523f47119bd47ec96e18bfa7\" img_width=\"1080\" img_height=\"246\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E作者還說，他並不否認BERT和其他新模型的價值，但是並不相信一些Benchmark。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp1.pstatp.com\u002Flarge\u002Fpgc-image\u002F9bf248123917467ba97ab46feb7e308b\" img_width=\"1080\" img_height=\"170\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E有人直接貼出了另一篇ACL論文，說這兩項研究得出的結論幾乎一毛一樣。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002F3c312b5020ce450c82f92aaf7965dfcf\" img_width=\"1080\" img_height=\"349\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003Ehttps:\u002F\u002Farxiv.org\u002Fabs\u002F1902.01007\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E只不過，數據集不一樣了。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E這篇論文裏BERT是在多類型語言推理數據集 (\u003Cstrong\u003EMNLI\u003C\u002Fstrong\u003E) 上訓練的，而測試集則是研究團隊自制的\u003Cstrong\u003EHANS\u003C\u002Fstrong\u003E數據集：\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002Fc481c47ba2c34bdc9a353e2a416b7d43\" img_width=\"1080\" img_height=\"337\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E利用一些簡單的句子變換，就能讓AI做出錯誤的判斷。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E於是，BERT在這個新數據集上又撲街了。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E也就是說，不止ARCT一個數據集，作爲常用基準的MNLI也有類似的缺陷。\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E不過，也有人對主角論文的結論存疑：\u003C\u002Fp\u003E\u003Cblockquote\u003E這篇文章提出的觀點過於籠統，只討論了BERT的ARCT性能。既然論文想說明，那些新的NLP模型\u003Cstrong\u003E通常\u003C\u002Fstrong\u003E什麼意義都沒學明白，就應該對更多基準進行測試。顯然我們用來判斷模型表現的基準與人類判斷不完全相關，但問題是目前並沒有更好的判斷標準。\u003C\u002Fblockquote\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cdiv class=\"pgc-img\"\u003E\u003Cimg src=\"http:\u002F\u002Fp9.pstatp.com\u002Flarge\u002Fpgc-image\u002Fcb69faef73ec4170a0b30ccdfdc3c33d\" img_width=\"1080\" img_height=\"303\" alt=\"！ACL論文只靠一個“Not”，就把AI閱讀理解驟降到盲猜水平\" inline=\"0\"\u003E\u003Cp class=\"pgc-img-caption\"\u003E\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E傳送門\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E論文地址：https:\u002F\u002Farxiv.org\u002Fabs\u002F1907.07355\u003C\u002Fp\u003E\u003Cp class=\"ql-align-right\"\u003E作者系網易新聞·網易號“各有態度”簽約作者\u003C\u002Fp\u003E\u003Cp class=\"ql-align-right\"\u003E編輯：文婧\u003C\u002Fp\u003E\u003Cp class=\"ql-align-right\"\u003E校對：林亦霖\u003C\u002Fp\u003E\u003Cp class=\"ql-align-center\"\u003E\u003Cstrong\u003E— 完 —\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp class=\"ql-align-justify\"\u003E關注清華-青島數據科學研究院官方微信公衆平臺“\u003Cstrong\u003ETHU數據派\u003C\u002Fstrong\u003E”及姊妹號“\u003Cstrong\u003E數據派THU\u003C\u002Fstrong\u003E”獲取更多講座福利及優質內容。\u003C\u002Fp\u003E\u003C\u002Fdiv\u003E"'.slice(6, -6), groupId: '6719696584239481358