<ruby id="bdb3f"></ruby>

    <p id="bdb3f"><cite id="bdb3f"></cite></p>

      <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
        <p id="bdb3f"><cite id="bdb3f"></cite></p>

          <pre id="bdb3f"></pre>
          <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

          <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
          <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

          <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                <ruby id="bdb3f"></ruby>

                合規國際互聯網加速 OSASE為企業客戶提供高速穩定SD-WAN國際加速解決方案。 廣告
                ## 基于邊重構的優化問題 總體見解: 基于節點嵌入建立的邊應盡可能與輸入圖中的邊相似。 第三類圖嵌入技術通過最大化邊重建概率,或最小化邊重建損失,來直接優化基于邊重建的目標函數。 后者進一步分為基于距離的損失和基于邊距的排名損失。 接下來,我們逐一介紹這三種類型。 ### 最大化邊重建概率 見解: 良好的節點嵌入最大化了在圖中觀察到的邊的生成概率。 良好的節點嵌入應該能夠重新建立原始輸入圖中的邊。 這可以通過使用節點嵌入最大化所有觀察到的邊(即,節點成對接近)的生成概率來實現。 節點對 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 和 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png) 之間的直接邊,表示它們的一階鄰近度 ,可以使用嵌入來計算 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 和 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png) 的聯合概率: ![](https://img.kancloud.cn/78/35/783541a960c19be006ffd518a44406d2_194x36.png) (13) 上述一階鄰近度存在于圖中的任何一對連接節點之間。 為了學習嵌入,我們最大化了在圖中觀察這些鄰域的對數似然。 然后將目標函數定義為: ![](https://img.kancloud.cn/c2/d3/c2d36a8b76d089325fa7bc2e72b776d7_251x41.png) (14) 同樣,![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 和 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png) 的二階鄰近度是條件概率 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png) 由 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 使用 ![](https://img.kancloud.cn/7e/e4/7ee443153fbc64825deddfa561048c6b_17x31.png) 和 ![](https://img.kancloud.cn/ca/69/ca6908bfe386dfa505a0d35496086fde_19x31.png) 生成: ![](https://img.kancloud.cn/8c/5d/8c5d02dc3a76ce1fc11e51af175ba06b_195x49.png) (15) 它可以被解釋為在圖中隨機游走的概率,它開始于 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 結束于 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png)。 因此圖嵌入目標函數是: ![](https://img.kancloud.cn/e1/13/e1137128437dda483efa54f71d5d137b_272x41.png) (16) 其中 ![](https://img.kancloud.cn/8b/58/8b5820e22a5a6057861257779fd86d48_17x15.png) 是從圖中采樣的路徑中,![](https://img.kancloud.cn/43/6f/436fc652f90e79f5c8b1adecb88e1d7b_169x32.png) 的集合。即來自每個采樣路徑的兩個端節點。 這模擬了二階鄰近度,作為從 ![](https://img.kancloud.cn/ab/b5/abb5085132b0722e654036c06cced1f0_80x16.png) 到 ![](https://img.kancloud.cn/6f/7a/6f7a9795625ec2ea546f5debd48d6217_70x16.png) 的隨機游走的概率。 ### 最小化基于距離的損失 見解: 基于節點嵌入計算的節點鄰近度,應盡可能接近基于觀察到的邊計算的節點鄰近度。 具體來說,可以基于節點嵌入來計算節點鄰近度,或者可以基于觀察到的邊憑經驗計算節點鄰近度。 最小化兩種類型的鄰近度之間的差異,保持了相應的鄰近度。 對于一階鄰近度,可以使用公式 13 中定義的節點嵌入來計算它。 經驗概率是 ![](https://img.kancloud.cn/29/85/2985761db07aadc82eba3f1782822b77_209x36.png) ,其中 ![](https://img.kancloud.cn/fd/83/fd83546f54c9db2710a940a65131073f_27x30.png) 是邊 ![](https://img.kancloud.cn/4e/16/4e1609b8055408feedc3dcf076c15ca3_23x31.png) 的權重。![](https://img.kancloud.cn/3f/96/3f9692ffd6249cbf254f22efc5a6f390_29x36.png) 和 ![](https://img.kancloud.cn/fc/b3/fcb3dabca8ac1ed1c148974466f61e86_29x36.png) 兩者之間的距離越小,就能保持更好的一階鄰近度。 使用KL-散度作為距離函數來計算 ![](https://img.kancloud.cn/3f/96/3f9692ffd6249cbf254f22efc5a6f390_29x36.png) 和 ![](https://img.kancloud.cn/fc/b3/fcb3dabca8ac1ed1c148974466f61e86_29x36.png) 間的差異,并且省略了一些常量,在圖嵌入中保留一階鄰近度的目標函數是: ![](https://img.kancloud.cn/05/69/0569b2e86d457fef9ec76e2c0fd5e59f_286x41.png) (17) 同樣,![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 和 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png) 的二階鄰近度是由節點 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 生成的條件概率 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png)(公式 15)。 ![](https://img.kancloud.cn/64/ff/64ff7f1ea911d037c43063f5a4a5dec4_74x36.png) 的經驗概率計算為 ![](https://img.kancloud.cn/b0/07/b007421a253038e01ddfd11498be188b_140x36.png),其中 ![](https://img.kancloud.cn/3f/88/3f88318930c13151b7acf63b275ad159_119x31.png) 是節點的出度(無向圖的情況中是度) ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png)。與公式 10 相似,計算公式 15 非常昂貴。 再次將負采樣用于近似計算來提高效率。 通過最小化 ![](https://img.kancloud.cn/c9/29/c929242e3208d6273d5ee35d90a872af_74x36.png) 和 ![](https://img.kancloud.cn/03/80/03807b7f994350e5a71221f75c7dc04e_74x36.png) 之間的 KL 差異,保持二階鄰近度的目標函數是: ![](https://img.kancloud.cn/5e/d9/5ed9b363ca4f39f1e5ea596378a6f87e_284x41.png) (18) **表8:**基于邊重建的圖嵌入。 ![](https://img.kancloud.cn/bb/37/bb37b1bebee8adc299fc2821ea185e16_87x32.png) 是指公式 14,16~19 之一。例如 ,![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (word-label)是指 公式 18,帶有單詞節點和標簽節點。 ![](https://img.kancloud.cn/08/43/084325a374d761f39c72e0b9862b2ac5_25x30.png) 表示節點 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 的類型。 | GE算法 | 目標 | 鄰近度階數 | | --- | --- | --- | | PALE [18] | ![](https://img.kancloud.cn/72/de/72de460f266e7f6968f34e918a05930b_43x41.png) (節點,節點) | 1 | | NRCL [4] | ![](https://img.kancloud.cn/dc/94/dc948499715ef45a966cbc95736b026a_46x30.png) (節點,鄰居節點)+ ![](https://img.kancloud.cn/b4/63/b4636a53741812a77d097d6ae690d6df_17x15.png) (屬性損失) | | PTE [124] | ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (單詞,單詞)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (單詞,文檔)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (單詞,標簽) | | | APP [3] | ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (節點,節點)) | | | GraphEmbed [83] | ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (單詞,單詞)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (單詞,時間)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (單詞,位置)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (時間,地點)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (位置,位置)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (時間,時間) | 2 | | [41,42] | ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (車站,公司), ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (車站,角色), ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (目的地,出發地) | | PLE [84] | ![](https://img.kancloud.cn/dc/94/dc948499715ef45a966cbc95736b026a_46x30.png) (提示,類型)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (提示,特性)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (類型,類型) | | IONE [26] | ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (節點,節點)+ ![](https://img.kancloud.cn/b4/63/b4636a53741812a77d097d6ae690d6df_17x15.png) (錨對齊) | | HEBE [45] | ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (節點,超邊中的其他節點) | | GAKE [38] | ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (節點,鄰居上下文)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (節點,路徑上下文)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (節點,邊上下文) | | CSIF [64] | ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (用戶對,擴散內容) | | ESR [69] | ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (實體,作者)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (實體,實體)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (實體,單詞)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (實體,場地) | | LINE [27] | ![](https://img.kancloud.cn/36/72/36727f7b6ab395aff0be176b3c624d2a_41x41.png) (節點,節點)+ ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png) (節點,節點)) | | EBPR [71] | ![](https://img.kancloud.cn/b4/63/b4636a53741812a77d097d6ae690d6df_17x15.png) (AUC 排名)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (節點,節點)+ ![](https://img.kancloud.cn/ea/3f/ea3f7dcfb692a36d5fb7bd4dbec295e3_43x41.png) (節點,節點上下文) | 1 和 2 | | [94] | ![](https://img.kancloud.cn/dc/94/dc948499715ef45a966cbc95736b026a_46x30.png) (問題,答案) | 1,2 和 更高 | ### 最小化基于邊距的排名損失 在基于邊距的排名損失優化中,輸入圖的邊指代節點對之間的相關性。 圖中的一些節點通常與一組相關節點相關聯。 例如,在cQA網站中,一組答案被標記為與給定問題相關。 對損失的見解是直截了當的。 見解: 節點的嵌入更類似于相關節點的嵌入,而不是任何其他不相關節點的嵌入。 ![](https://img.kancloud.cn/e7/93/e79379c274684b94560bfe3344cd7448_59x32.png) 表示節點 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 和 ![](https://img.kancloud.cn/99/ca/99ca1db217ecc34711addcbc6a025696_19x31.png) 的相似性得分, ![](https://img.kancloud.cn/ab/67/ab67ebe442169c0bddac99ca59d8d23b_28x37.png) 表示與 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 相關的節點集, ![](https://img.kancloud.cn/d6/e1/d6e1fb953b3b097b1afd6125e8819635_28x37.png) 表示不相關的節點集。 基于邊距的排名損失定義為: ![](https://img.kancloud.cn/cb/c0/cbc0f71742464299898afd89b549c68c_420x51.png) (19) 其中 ![](https://img.kancloud.cn/84/b4/84b4ef9d60485e76b697fe833d824cce_13x31.png) 是邊距。 減少損失排名,可以促進 ![](https://img.kancloud.cn/47/0d/470dfcb5364b655242ebc320ca13bdc7_63x37.png) 和 ![](https://img.kancloud.cn/60/a9/60a95fc1cff8c57a9fb31adaa0d5df31_63x37.png) 之間的巨大邊距,從而保證 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 的嵌入更接近其相關節點而不是任何其他不相關節點。 在表 8 中 ,我們基于其目標函數和保留的節點鄰近度,總結了基于邊重建的現有圖嵌入方法。 通常,大多數方法使用上述目標函數之一(公式 14,16~19)。 [71]優化 AUC 排名損失,這是基于邊距的排名損失的替代損失(公式 19 )。 請注意,當在圖嵌入期間同時優化另一個任務時,該任務特定的目標將被納入總體目標中。 例如,[26]旨在對齊兩個圖。 因此,網絡對齊的目標函數與 ![](https://img.kancloud.cn/63/d4/63d456bef2ad5aee0a5200a164e96dc4_41x41.png)(公式 18)一起優化。 值得注意的是,大多數現有知識圖嵌入方法選擇優化基于邊距的排名損失。 回想一下知識圖 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 由三元組 ![](https://img.kancloud.cn/f4/fb/f4fbad8bac836529b9acbe99b5514876_74x30.png) 組成,表示頭部實體 ![](https://img.kancloud.cn/4d/02/4d02d731fbc012f45588375ef38a6fe5_14x15.png) 通過關系 ![](https://img.kancloud.cn/6b/28/6b2823984fcc41cb05e3436a8f946d06_12x17.png) 鏈接到尾部實體 ![](https://img.kancloud.cn/59/6d/596d1b97dea72e9c93ca706efbe4a66d_10x17.png)。 嵌入 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 可以解釋為,保留真正三元組的排名 ![](https://img.kancloud.cn/f4/fb/f4fbad8bac836529b9acbe99b5514876_74x30.png) ,優于 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 中不存在的假的三元組 ![](https://img.kancloud.cn/85/55/85557367d8ab3acf919f63cc33602ae2_83x32.png)。 特別是在知識圖嵌入中,類似于公式 19 的 ![](https://img.kancloud.cn/47/0d/470dfcb5364b655242ebc320ca13bdc7_63x37.png),能量函數 ![](https://img.kancloud.cn/75/ce/75ce8c1596c9fa927802ca5583dd3da9_54x32.png) 為三元組 ![](https://img.kancloud.cn/f4/fb/f4fbad8bac836529b9acbe99b5514876_74x30.png) 而設計。 這兩個函數之間略有不同。![](https://img.kancloud.cn/47/0d/470dfcb5364b655242ebc320ca13bdc7_63x37.png) 表示節點嵌入 ![](https://img.kancloud.cn/07/40/0740edb420c2cc4fd3da7398d2deb689_17x31.png) 和 ![](https://img.kancloud.cn/ac/30/ac3090483a579daa9ef0171aed562aaa_23x37.png) 之間的相似性得分,而 ![](https://img.kancloud.cn/75/ce/75ce8c1596c9fa927802ca5583dd3da9_54x32.png) 是嵌入 ![](https://img.kancloud.cn/4d/02/4d02d731fbc012f45588375ef38a6fe5_14x15.png) 和 ![](https://img.kancloud.cn/59/6d/596d1b97dea72e9c93ca706efbe4a66d_10x17.png) 在關系 ![](https://img.kancloud.cn/6b/28/6b2823984fcc41cb05e3436a8f946d06_12x17.png) 方面的距離得分。![](https://img.kancloud.cn/75/ce/75ce8c1596c9fa927802ca5583dd3da9_54x32.png) 的一個例子是 ![](https://img.kancloud.cn/d0/30/d030229602b446ad34ce4d19dc1a217e_93x32.png),其中關系表示為嵌入空間中的變換 [91]。![](https://img.kancloud.cn/75/ce/75ce8c1596c9fa927802ca5583dd3da9_54x32.png) 的其他選項總結在表 9 中。 因此,對于知識圖嵌入,公式 19 變為: ![](https://img.kancloud.cn/33/51/3351a96a94b347a9a6d4cc906889a114_390x69.png) (20) 其中 ![](https://img.kancloud.cn/53/b8/53b8bc31110f63d0a87ba1f675d0fbd3_15x15.png) 是輸入知識圖中的三元組。 現有的知識圖嵌入方法主要是在他們的工作中優化公式 20。它們之間的區別在于 ![](https://img.kancloud.cn/75/ce/75ce8c1596c9fa927802ca5583dd3da9_54x32.png) 的定義,如表 9 所示。 知識圖嵌入相關工作的更多細節,已在 [13] 中進行了詳細的回顧。 **表9:**使用基于邊距的排名損失的知識圖嵌入。 | GE算法 | 能量函數 ![](https://img.kancloud.cn/1f/51/1f51a72f3a6032fa296781b933200599_53x32.png) | | --- | --- | | TransE [91] | ![](https://img.kancloud.cn/d0/30/d030229602b446ad34ce4d19dc1a217e_93x32.png) | | TKRL [53] | ![](https://img.kancloud.cn/be/d0/bed09c9229f4b70776b28652b6fcd671_139x32.png) | | TransR [15] | ![](https://img.kancloud.cn/02/90/02905b798cc097afce7d89ce9a8941a1_134x34.png) | | CTransR [15] | ![](https://img.kancloud.cn/5d/e6/5de643fc2b88aad7416c820da75b8000_233x34.png) | | TransH [14] | ![](https://img.kancloud.cn/fd/1d/fd1d0b52841c30ddb65eb29a412530df_256x35.png) | | SePLi [39] | ![](https://img.kancloud.cn/c5/a9/c5a98f9bb10c0527e625a9795eb24bcf_147x35.png) | | TransD [125] | ![](https://img.kancloud.cn/a6/dd/a6dd82b60d5347951dbf7cc1be547935_146x34.png) | | TranSparse [126] | ![](https://img.kancloud.cn/6c/03/6c0328ab8a9a633e3936d4da500b53b5_209x35.png) | | m-TransH [127] | ![](https://img.kancloud.cn/0d/1b/0d1b7736cdbe0ed78ed1895d610b8aef_325x36.png) | | DKRL [128] | ![](https://img.kancloud.cn/98/b1/98b1672c313a6fe27627d774f73c2135_319x32.png) | | ManifoldE [129] | 球面: ![](https://img.kancloud.cn/4a/58/4a586014c28545d120a7916f136283a4_157x34.png) | | | 超平面: ![](https://img.kancloud.cn/9b/9f/9b9f523b30f37709faab27a21735ca88_247x35.png) | | | ![](https://img.kancloud.cn/6b/10/6b10584a2706314d0e769a301c1e90ed_15x31.png) 是希爾伯特空間的映射函數 | | TransA [130] | ![](https://img.kancloud.cn/27/90/27905bd786b95118531a0fda1b01bbec_82x32.png) | | puTransE [43] | ![](https://img.kancloud.cn/27/90/27905bd786b95118531a0fda1b01bbec_82x32.png) | | KGE-LDA [60] | ![](https://img.kancloud.cn/d0/30/d030229602b446ad34ce4d19dc1a217e_93x32.png) | | SE [90] | ![](https://img.kancloud.cn/97/3e/973e99789a092ada10f5559638a7649e_107x32.png) | | SME [92]線性 | ![](https://img.kancloud.cn/9e/96/9e96973c6ff1edd4fd6102ab81322824_294x35.png) | | SME [92]雙線性 | ![](https://img.kancloud.cn/9e/96/9e96973c6ff1edd4fd6102ab81322824_294x35.png) | | SSP [59] | ![](https://img.kancloud.cn/4c/e0/4ce00f7a5cb0436d8a080d2b006c5f40_158x35.png),![](https://img.kancloud.cn/a8/e6/a8e6d09ab1ad0d1c809968a7912e92f1_142x35.png) | | NTN [131] | ![](https://img.kancloud.cn/97/ce/97ce717792232e673126618afa596f02_261x35.png) | | HOLE [132] | ![](https://img.kancloud.cn/50/57/5057710fbfcd6a366a1ad3f2dfb1dcc9_64x35.png) ,其中 ![](https://img.kancloud.cn/92/a6/92a6f324cb83fb9e01c532d51db5a2fc_12x17.png) 是環形相關度 | | MTransE [133] | ![](https://img.kancloud.cn/d0/30/d030229602b446ad34ce4d19dc1a217e_93x32.png) | 請注意,一些研究聯合優化排名損失(公式式20 )和其他目標來保留更多信息。 例如,SSP [59]使用公式 20 聯合優化了主題模型的丟失,將文本節點描述用于嵌入。 [133]對單語關系進行分類,并使用線性變換來學習實體和關系的跨語言對齊。 還存在一些工作,為三元組 ![](https://img.kancloud.cn/f4/fb/f4fbad8bac836529b9acbe99b5514876_74x30.png) 定義匹配度分數而不是能量函數。 例如,[134]定義了雙線性分數函數 ![](https://img.kancloud.cn/ad/bb/adbb437292ab21f09b76afe50d1b0f64_58x35.png) 它增加了常態約束和交換約束,在嵌入之間加入類比結構。 ComplEx [135]將嵌入擴展到復數域并將 ![](https://img.kancloud.cn/ad/bb/adbb437292ab21f09b76afe50d1b0f64_58x35.png) 的實部定義為得分。 總結:基于邊重建的優化適用于大多數圖嵌入設定。 據我們所知,只有非關系數據(第 3.1.4 節)和整圖嵌入(第 3.2.4 節)尚未嘗試過。 原因是重建手動構造的邊不像其他圖那樣直觀。 此外,由于該技術側重于直接觀察到的局部邊,因此不適合于整圖嵌入。 ## 圖核 見解: 整個圖結構可以表示為一個向量,包含從中分解的基本子結構的數量。 圖核是 R-convolution 核的一個實例[136],它是定義離散復合對象上的核的通用方法,通過遞歸地將結構化對象分解為“原子”子結構,并比較它們的所有對[93]。 圖核將每個圖示為向量,并且使用兩個向量的內積來比較兩個圖。 圖核中通常定義了三種類型的“原子”子結構。 Graphlet。graphlet 是一個大小為 K 的感應的和非同構子圖 [93]。 假設圖 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 被分解為一組 graphlet ![](https://img.kancloud.cn/56/69/5669143146e841d8f5bbd30e2ba388ca_125x32.png)。然后 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 嵌入為標準化計數的`d`維向量(表示為 ![](https://img.kancloud.cn/cd/22/cd22bc9442ee0a6261491573f66d8d3a_21x31.png))。 該 ![](https://img.kancloud.cn/4e/a2/4ea21ae287e2c9238a3fde1912e6e391_10x17.png) 的維度 ![](https://img.kancloud.cn/cd/22/cd22bc9442ee0a6261491573f66d8d3a_21x31.png) 是 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 中 Graphlet ![](https://img.kancloud.cn/63/38/6338e60eb3be79159234f505112229ae_22x30.png) 的出現頻率。 子樹模式。 在此核中,圖被分解為其子樹模式。 一個例子是 Weisfeiler-Lehman 子樹[49]。 特別是,在標記圖(即,具有離散節點標簽的圖)上進行重新標記的迭代過程。 在每次迭代中,基于節點及其鄰居的標簽生成多集標簽。 新生成的多集標簽是一個壓縮標簽,表示子樹模式,然后用于下一次迭代。 基于圖同構的 Weisfeiler-Lehman 檢驗,計算圖中標簽的出現等同于計算相應的子樹結構。 假設 ![](https://img.kancloud.cn/4d/02/4d02d731fbc012f45588375ef38a6fe5_14x15.png) 在圖上執行重新標記的迭代 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 。 它的嵌入 ![](https://img.kancloud.cn/cd/22/cd22bc9442ee0a6261491573f66d8d3a_21x31.png) 包含 ![](https://img.kancloud.cn/4d/02/4d02d731fbc012f45588375ef38a6fe5_14x15.png) 塊。 該 ![](https://img.kancloud.cn/4e/a2/4ea21ae287e2c9238a3fde1912e6e391_10x17.png) 中的維度 ![](https://img.kancloud.cn/1a/4b/1a4b638c70c7b3cac13db476a488223e_12x31.png) 第一塊 ![](https://img.kancloud.cn/cd/22/cd22bc9442ee0a6261491573f66d8d3a_21x31.png) 是頻率 ![](https://img.kancloud.cn/4e/a2/4ea21ae287e2c9238a3fde1912e6e391_10x17.png) -th標簽被分配給一個節點 ![](https://img.kancloud.cn/1a/4b/1a4b638c70c7b3cac13db476a488223e_12x31.png) 第二次迭代。 隨機游走 。 在第三種類型的圖核中,圖被分解為隨機游走或路徑,并表示為隨機游走的出現次數[137]或其中的路徑[138]。 以路徑為例,假設圖 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 被分解成 ![](https://img.kancloud.cn/a9/5a/a95a6b70fecd0e89d85d2fb1e3942ce7_13x15.png) 個最短路徑。將第`i`個路徑表示為三元組 ![](https://img.kancloud.cn/5a/32/5a32936da1e5c06a08ded9acfabf49b3_91x30.png),其中 ![](https://img.kancloud.cn/fb/e9/fbe914e3aed448b4ae9773095e161035_16x30.png) 和 ![](https://img.kancloud.cn/72/ac/72ac07ed01b746a1019c0ec3c340960c_16x30.png) 是起始節點和結束節點的標簽, ![](https://img.kancloud.cn/45/fd/45fd1eb5b26859b51b17a24992954e61_19x31.png) 是路徑的長度。 然后 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 表示為`d`維向量 ![](https://img.kancloud.cn/cd/22/cd22bc9442ee0a6261491573f66d8d3a_21x31.png),其中第`i`個維度是 ![](https://img.kancloud.cn/93/81/93813561d7c4a4c5407befea94a96eb0_15x30.png) 中第`i`個三元組的頻率。 簡介:圖核專為整圖嵌入(Sec.3.2.4)而設計,因為它捕獲整個圖的全局屬性。 輸入圖的類型通常是同構圖(第 3.1.1 節)[93]或帶有輔助信息的圖(第 3.1.3 節)[49]。 ## 生成模型 生成模型可以通過規定輸入特征和類標簽的聯合分布來定義,以一組參數為條件[139]。 一個例子是 Latent Dirichlet Allocation(LDA),其中文檔被解釋為主題上的分布,主題是單詞上的分布[140]。 采用生成模型進行圖嵌入有以下兩種方法。 ### 潛在語義空間中的圖嵌入 見解: 節點嵌入到潛在的語義空間中,節點之間的距離解釋了觀察到的圖結構。 第一種基于生成模型的圖嵌入方法,直接在潛在空間中嵌入圖。 每個節點表示為潛在變量的向量。 換句話說,它將觀察到的圖視為由模型生成的。 例如,在LDA中,文檔嵌入在“主題”空間中,其中具有相似單詞的文檔具有類似的主題向量表示。 [70]設計了類似LDA的模型來嵌入基于位置的社交網絡(LBSN)圖。 具體來說,輸入是位置(文檔),每個位置包含訪問該位置的一組用戶(單詞)。 由于某些活動(主題),用戶訪問相同的位置(單詞出現在同一文檔中)。 然后,模型被設計為將位置表示為活動的分布,其中每個活動具有對用戶的吸引力分布。 因此,用戶和位置都表示為“活動”空間中的向量。 ### 包含潛在語義的圖嵌入 見解: 圖中接近且具有相似語義的節點的嵌入應該更緊密。 可以通過生成模型,從節點描述中檢測節點語義。 在這一系列方法中,潛在語義用于利用輔助節點信息進行圖嵌入。 嵌入不僅由圖結構信息決定,而且由從其他節點信息源發現的潛在語義決定。 例如,[58]提出了一個統一的框架,它共同集成了主題建模和圖嵌入。 其原理是如果嵌入空間中兩個節點接近,它們也具有相似的主題分布。 設計從嵌入空間到主題語義空間的映射函數,以便關聯兩個空間。 [141]提出了一種生成模型(貝葉斯非參數無限混合嵌入模型),以解決知識圖嵌入中的多關系語義問題。 它發現了關系的潛在語義,并利用混合關系組件進行嵌入。 [59]從知識圖三元組和實體和關系的文本描述中嵌入知識圖。 它使用主題建模來學習文本的語義表示,并將三元組嵌入限制在語義子空間中。 上述兩種方法的區別在于嵌入空間是第一種方式的潛在空間。相反,在第二種方式中,潛在空間用于整合來自不同來源的信息,并有助于將圖嵌入到另一個空間。 簡介:生成模型可用于節點嵌入(Sec.3.2.1)[70]和邊嵌入(Sec.3.2.2)[141]。 在考慮節點語義時,輸入圖通常是異構圖(第 3.1.2 節)[70]或帶有輔助信息的圖(第 3.1.3 節)[59]。 ## 混合技術和其它 有時在一項研究中結合了多種技術。 例如,[4]通過最小化基于邊的排序損失來學習基于邊的嵌入(第 4.3 節),并通過矩陣分解來學習基于屬性的嵌入(第 4.1 節)。 [51]優化基于邊距的排名損失(第 4.3 節),基于矩陣分解的損失(第 4.1 節)作為正則化項。 [32]使用LSTM(第 4.2節)來學習cQAs的句子的嵌入,以及基于邊際的排名損失(第[4.3](#sec:ml)節)來結合好友關系。 [142]采用CBOW / SkipGram(第 4.2 節)進行知識圖實體嵌入,然后通過最小化基于邊際的排名損失來微調嵌入(第 4.3 節)。 [61]使用word2vec(第 4.2 節)嵌入文本上下文和TransH(第 4.3 節)嵌入實體/關系,以便在知識圖嵌入中利用豐富的上下文信息。 [143]利用知識庫中的異構信息來提高推薦效果。 它使用TransR(第 4.3 節)進行網絡嵌入,并使用自編碼器進行文本和視覺嵌入(第 4.2 節)。 最后,提出了一個生成框架(第 4.5 節),結合協同過濾與項目的語義表示。 除了引入的五類技術之外,還存在其他方法。 [95]提出了根據原型圖距離的圖的嵌入。 [16]首先使用成對最短路徑距離嵌入一些標志性節點。 然后嵌入其他節點,使得它們到標志性子集的距離盡可能接近真實的最短路徑。 [4]聯合優化基于鏈接的損失(最大化節點的鄰居而不是非鄰居的觀測似然)和基于屬性的損失(基于基于鏈接的表示學習線性投影)。 KR-EAR [144]將知識圖中的關系區分為基于屬性和基于關系的關系。 它構造了一個關系三元編碼器(TransE,TransR)來嵌入實體和關系之間的相關性,以及一個屬性三元編碼器來嵌入實體和屬性之間的相關性。 Struct2vec [145]根據用于節點嵌入的分層指標,來考慮節點的結構性標識。 [146]通過近似高階鄰近矩陣提供快速嵌入方法。 ## 總結 我們現在總結并比較表10中所有五類圖嵌入技術的優缺點。 **表10:**圖嵌入技術的比較。 | 類別 | 子類別 | 優點 | 缺點 | | --- | --- | --- | --- | | 矩陣分解 | 圖拉普拉斯算子 | 考慮全局節點鄰近度 | 大量的時間和空間開銷 | | | 節點鄰近矩陣分解 | | | 深度學習 | 帶有隨機游走 | 有效而強大, | a)僅考慮路徑中的局部上下文 | | | | b)難以發現最優采樣策略 | | | 沒有隨機游走 | | 高計算開銷 | | 邊重構 | 最大化邊重建概率 | | 僅使用觀察到的局部信息來優化 | | | 最小化基于距離的損失 | 相對有效的的訓練 | 例如邊(一跳的鄰居) | | | 最小化基于邊距的排名損失 | | 或者排序節點對 | | 圖核 | 基于graphlet | 有效,只計算所需的原子子結構 | a)子結構不是獨立的 | | | 基于子樹模式 | | b)嵌入維度指數性增長 | | | 基于隨機游走 | | | 生成模型 | 在潛在的空間中嵌入圖 | 可解釋的嵌入 | a)難以證明分布的選擇 | | | 將潛在語義合并到圖嵌入中 | 自然地利用多個信息源 | b)需要大量訓練數據 | 基于矩陣分解的圖嵌入,基于全局成對相似性的統計量學習表示。 因此,它可以勝過某些任務中基于深度學習的圖嵌入(涉及隨機游走),因為后者依賴于單獨的局部上下文窗口 [147,148]。 然而,鄰近度矩陣構造或矩陣的特征分解時間和空間開銷大[149],使得矩陣分解效率低且對于大圖不可擴展。 深度學習(DL)已經在不同的圖嵌入方法中顯示出有希望的結果。 我們認為DL適合于圖嵌入,因為它能夠自動識別復雜圖結構中的有用表示。 例如,具有隨機游走的DL(例如,DeepWalk [17],node2vec [28],metapath2vec [46])可以通過圖上的采樣路徑自動利用鄰域結構。 沒有隨機游走的DL可以模擬同構圖中可變大小的子圖結構(例如,GCN [72],struc2vec [145],GraphSAGE [150]),或者異構圖中類型靈活的節點之間的豐富交互(例如,HNE [33],TransE [91],ProxEmbed [44]),變為有用的表示。 另一方面,DL也有其局限性。 對于具有隨機游走的DL,它通常觀測同一路徑中的節點的局部鄰居,從而忽略全局結構信息。 此外,很難找到“最優采樣策略”,因為嵌入和路徑采樣不是在統一框架中聯合優化的。 對于沒有隨機游走的DL,計算成本通常很高。 傳統的深度學習架構假設輸入數據在1D或2D網格上,來利用GPU [117]。 然而,圖沒有這樣的網格結構,因此需要不同的解決方案來提高效率[117]。 基于邊重建的圖嵌入,基于觀察到的邊或排序三元組來優化目標函數。 與前兩類圖嵌入相比,它更有效。 然而,使用直接觀察到的局部信息來訓練這一系列方法,因此所獲得的嵌入缺乏對全局圖結構的認識。 基于圖核的圖嵌入將圖轉換為單個向量,以便于圖級別的分析任務,例如圖分類。 它比其他類別的技術更有效,因為它只需要在圖中枚舉所需的原子子結構。 然而,這種“基于結構袋”的方法有兩個局限[93]。 首先,子結構不是獨立的。 例如,大小為`k+1`的 graphlet 可以從大小為`k` graphlet 的派生,通過添加新節點和一些邊。 這意味著圖表示中存在冗余信息。 其次,當子結構的大小增加時,嵌入維度通常呈指數增長,導致嵌入中的稀疏問題。 基于生成模型的圖嵌入可以自然地在統一模型中利用來自不同源(例如,圖結構,節點屬性)的信息。 直接將圖嵌入到潛在語義空間中,會生成可以使用語義解釋的嵌入。 但是使用某些分布對觀察進行建模的假設很難證明是正確的。 此外,生成方法需要大量的訓練數據來估計適合數據的適當模型。 因此,它可能不適用于小圖或少量圖。
                  <ruby id="bdb3f"></ruby>

                  <p id="bdb3f"><cite id="bdb3f"></cite></p>

                    <p id="bdb3f"><cite id="bdb3f"><th id="bdb3f"></th></cite></p><p id="bdb3f"></p>
                      <p id="bdb3f"><cite id="bdb3f"></cite></p>

                        <pre id="bdb3f"></pre>
                        <pre id="bdb3f"><del id="bdb3f"><thead id="bdb3f"></thead></del></pre>

                        <ruby id="bdb3f"><mark id="bdb3f"></mark></ruby><ruby id="bdb3f"></ruby>
                        <pre id="bdb3f"><pre id="bdb3f"><mark id="bdb3f"></mark></pre></pre><output id="bdb3f"></output><p id="bdb3f"></p><p id="bdb3f"></p>

                        <pre id="bdb3f"><del id="bdb3f"><progress id="bdb3f"></progress></del></pre>

                              <ruby id="bdb3f"></ruby>

                              哎呀哎呀视频在线观看