Duration: 1 2 3 4 5 6 7 8 9 10 11 12 2024202320222021202020192018201720162015 lớn 1 2 3 4 5 6 7 8 9 10 11 12 2024202320222021202020192018201720162015 Field: All fields
Natural sciences & engineering
Social sciences và humanities
Divisions: All divisions
School of Business
School Economics, Finance và Accounting
School of Electrical Engineering
School of Biotechnology
School of Computer Science và Engineering
School of Biomedical Engineering
School of Industrial Engineering & Management
School of Civil Engineering & Management
School of Languages
School of Chemical và Environmental Engineering
Department of Physics
Department of Mathematics
Center for Public Administration
Research Center for Infectious Diseases
Office of Human Resources Management
Office of Undergraduate Academic Affairs
Office of Graduate Affairs
Office of Research and Development Office of External and Public Relations
Office of Finance và Planning
Office of Student Services
Office of Facility Management
Office of quality Assurance
Center of Information Services
RCECenter of Innovation & Technology Transfer
Office of International Academic Collaboration
Office of Procurement Services
Office of Inspection và Legal Affairs
Office of General Administration
Project Management
Type: All types
SCI-E journal papers
SSCI journal papersnon-ISI journal papers
AHCI journal papers
ESCI journal papers
Scopus journal papers
Domestic journal papers
International conference papers
Domestic conference papers
Book Chapters
Authors: Search

1 Pub.ID 4636 Thuy Thanh Doan Nguyen, De Nguyen, Phu Phong Vo, Doan Ngoc Hoan , Khoa Tien Le , Kenji Kinashi, Vu rã Huynh, Phuong Tuyet Nguyen, Van Ha Hoang, Huu Thinh Nguyen Pham: The roles of ethanol & isopropanol as hole scavengers in the photoreduction reaction of graphene oxide by Ti
O2: A competition of oxygenated groups removal & carbon defects invasion. Journal of Molecular Liquids 381(1): 121831 (July 2023).
2 Pub.ID 4892 Tran Nguyen Lan, Le vào Nhan: Correlated reference-assisted variational quantum eigensolver. The Journal of Physical Chemistry A : Accepted (June 2023). Q2
3 Pub.ID 5006 Vu Dinh Thao, Nguyen Thi Hoa, Nguyen Thi Thuy , Nguyen Thanh Vinh, Nguyen Thi Cam Tien, Nguyen Trung Dung, Kun-Yi Andrew Lin, Dinh Thi Mai Thanh, Nguyen Thu Phuong, Tran Thi Trang, Manh B. Nguyen, Nguyen Nhat Huy: Synthesis of Fe,Mn-Cporous/CF và its application as cathode for electro-Fenton decomposition of organics in water: A comprehensive study. Journal of Environmental Chemical Engineering 11(3): 109698 (June 2023). Q1
4 Pub.ID 4873 Mai đưa ra Trung Nguyen, Tran Cao Thanh Ngoc , Huy Cuong Nguyen, Dang Dung Le, Xuan Huy Nguyen: Experimental investigation on shear behaviours of textile reinforced concrete beams. European Journal of Environmental và Civil Engineering : Published online (May 2023). Q2
5 Pub.ID 4896 Le Phuong Hien, Tran Hoang Thai, Trinh Phan Ngoc Khanh, vì chưng Quoc Dat, Tran Le Giang , Vo Van Toi , Nguyen Thi Hiep : Effects of oxidation degree on the physicochemical properties of xanthan gum hydrogels containing N,O-carboxymethyl chitosan. Soft Materials : Accepted (May 2023). Q3
6 Pub.ID 4897 Tuan-Ngan Tang, Thu Hai-Anh Nguyen, Chien Minh Tran, Vinh Khanh Doan, Ngoc Thi-Thanh Nguyen, Binh Thanh Vu, Dang Ngoc Thao Nhi, Thanh Tu Duong, Viet Hung Pham, Lam dai Tran, Vo Van Toi , Nguyen Thi Hiep : FABRICATION OF SILVER NANOPARTICLE-CONTAINING ELECTROSPUN POLYCAPROLACTONE MEMBRANE COATED WITH CHITOSAN OLIGOSACCHARIDES FOR SKIN WOUND CARE. Journal of Science: Advanced Materials và Device : Accepted (May 2023). Q1
7 Pub.ID 4979 Nguyễn Trung Nghĩa, lưu giữ Minh Long, Vo Thi Luu Phuong , Nguyen Thi Thanh Sang , Đỗ núm Cường, Nguyen Ngoc-Thanh: Reinforcement learning - based adaptation & scheduling methods for multi-source DASH. Computer Science và Information Systems 20(1): 157-173 (May 2023). Q3
8 Pub.ID 4987 Nguyen Thi Thuy Loan , Thang Mai, Giao-Huy Pham, Unil Yun, bay Vo: An efficient method for mining high occupancy itemsets based on equivalence class và early pruning. Knowledge-Based Systems 267: 110441 (May 2023). Q1
9 Pub.ID 4767 Nguyen Ngoc Thanh Tien, Nguyen Thi Hiep , Le Ngoc Lieu , Tran Tien Khoi , Aurore Richel: Biodegradable films from dragon fruit (Hylocereus polyrhizus) peel pectin and potato starches crosslinked with glutaraldehyde. Food Packaging và Shelf Life : Published online (May 2023). Q1
10 Pub.ID 4792 Pham Huu Anh Ngoc , Tran quan liêu Ky: On stability of numerical solutions of neutral stochastic delay differential equations with time‐dependent delay. Mathematical Methods in the Applied Sciences 46(9): 11246-11261 (May 2023). Q1
11 Pub.ID 4835 Quoc-Hung Phan, Quoc-Thinh Dinh, Hsian-Min Chen, Chi-Hsiang Lien, Pham Thi Thu Hien : Effects of graphene layer addition on sensitivity of surface plasmon resonance sensor for immunoglobulin M detection. Optics and Lasers in Engineering : Published online (May 2023). Q1
12 Pub.ID 4608 Chia-Nan Wang, Chao-Fen Pan , Nguyen Hoang Phu , Pei-Chun Fang: Integrating Fuzzy AHP and TOPSIS Methods khổng lồ Evaluate Operation Efficiency of Daycare Centers. Mathematics : Published online (April 2023). Q1
13 Pub.ID 4659 Vu Bao Khanh , Tuan KA Hoang, Vy Anh Tran, Phung Thanh Khoa , Nhi LP Truong: Elastic Analysis of ZIF-8 and ZIF-8 filled with Hydrogen Molecules by density Functional Theory. Materials Today Communications : Published online (April 2023). Q2
14 Pub.ID 4677 Trang T.D. Nguyen, Nguyen Thi Thuy Loan , Quang-Thinh Bui, Unil Yun, bay Vo: An efficient topological-based clustering method on spatial data in network space. Expert Systems With Applications 215: 119395 (April 2023). Q1
15 Pub.ID 4954 Luu Huynh Ngoc Dung, Dang Le Hang, Le Vo Tuong Van, vì Ngoc Thuy Duong, Nguyen Thi Thanh Tuyen, Nguyen Thi Trang Thuy, Nguyen Thi Phuong, Hoang Le Son , Tran Ngoc Quyen: Topical cream based on nanoformulation of Chromolaena odorata extract for accelerating burn wound healing. Journal of Drug Delivery Science và Technology : Published online (April 2023). Q1
16 Pub.ID 4971 Huynh Kha Tu , Thi Phuong Linh Le, Muhammad Arif - The Superior University, Thien Khai Tran-University of Foreign Languages and Information Technology: A Deep Learning model of Traffic Signs in Panoramic Images Detection. Intelligent Automation và Soft Computing 37(1): 402-418 (April 2023). Q3
17 Pub.ID 5000 Hoang Van Thanh, Nguyen Thi Lan Phi, Nguyen Tien Khoi, Nguyen Xuan Hoan, Pham Van Hung : Green extraction và biological activity of phenolic extracts from cashew nut testa using a combination of enzyme and ultrasound-assisted treatments. Journal of the Science of Food and Agriculture : Published online (April 2023). Q1
18 Pub.ID 4804 T.-H. Vu, Nguyen Toan Van , Q.-V. Pham, D. B. Da Costa, S. Kim: Short-Packet Communications in UAV-Based NOMA Systems under Imperfect CSI & SIC. IEEE Transactions on Cognitive Communications & Networking : Published online (April 2023). Q1
19 Pub.ID 4807 Tran Vu Khanh : A General Estimate for the d-bar-Neumann Problem. Acta Mathematica Vietnamica : Published online (April 2023). Q3
trăng tròn Pub.ID 4855 Mai Van Thanh Tam, Bui quang Thanh, Nguyen Thi Ai Nhung, Phan Tu Quy, Krishna Prasad Shrestha, Fabian Mauss, Binod Raj Giri, Huynh Kim Lam : An Ab Initio RRKM-Based Master Equation Study for Kinetics of OH-Initiated Oxidation of 2-Methyltetrahydrofuran và Its Implications in Kinetic Modeling. Energies : Published online (April 2023). Q1
21 Pub.ID 4610 Duong Bao Chau, Tran Van Nhi, Nguyen Hoang An, Le Nhat Thong, Ha Huy Bien, Do Ngoc Phuc Chau , Huynh Chan Khon , Le Minh Thong , Nguyen Phuong Thao , Nguyen Thi Thu Hoai : Impacts of COVID-19 crisis & some related factors on the mental health of 37150 Vietnamese students: a cross-sectional online study. BMC Public Health 23(445): 1-12 (March 2023). Q1
22 Pub.ID 4617 Nguyễn Thị Phương Quyên , Phan Nguyen Ky Phuc , Chao-Lung Yang, Hendri Sutrisno, Bao-Han Lương, Thi Huynh Anh Le , Thanh Tung Nguyen: Time-series anomaly detection using dynamic programming based longest common subsequence on sensor data. Expert Systems with Applications : Published online (March 2023). Q1
23 Pub.ID 4363 Vu Thanh Binh, Nguyen Dang Ngoc Phuc, Tran Minh Phuong Nam, Tang Tuan Ngan, vày Minh Thai, Vo Van Toi , Nguyen Thi Hiep : Fabrication of endothelial cell-lining polyurethane/ polycaprolactone tubular scaffold coated with conjugated linoleic acid for small-diameter vascular graft. Fibers and Polymers : Published online (March 2023). Q2
24 Pub.ID 4690 Anh Nguyen, Ngoc-Thanh Nguyen, Nguyen Thi Thuy Loan , bay Vo: Mining inter-sequence patterns with Itemset constraints. Applied Intelligence : Published online (March 2023). Q2
25 Pub.ID 4953 Nguyen Van Anh, Nguyen Phuong Thao , Le Minh An, Amirhossein Bazrafshan, Sisunandar Sisunandar, Sundaravelpandian Kalaipandian, Steve W. Adkins , Nguyen Thien Quang : A practical framework for the cryopreservation of palm species.. In Vitro Cellular & Developmental Biology - Plant : Published online (March 2023). Q2
26 Pub.ID 4955 Duong Bao Chau, Tran Van Nhi, Nguyen Hoang An, Le Nhat Thong, Ha Huy Bien, Do Ngoc Phuc Chau , Huynh Chan Khon , Le Minh Thong , Nguyen Phuong Thao , Nguyen Thi Thu Hoai : Impacts of COVID-19 crisis và some related factors on the mental health of 37150 Vietnamese students: a cross-sectional online study. BMC Public Health 23(445): 1-12 (March 2023). Q1
27 Pub.ID 4736 Ha Thi Thanh Huong , Thanh Truc-Quynh Nguyen, Chau Bao Dinh Hoang, Minh Dung Hoang Le, Ngoc Tram Anh Vo, Halle Quang, Christopher Nguyen, Claire Goodman, George M. Savva, Van Luan Pham, Trung Thu Tran, Vo Van Toi : Assessing cognitive decline in Vietnamese older adults using the Montreal Cognitive Assessment-Basic (Mo
CA-B) và Informant Questionnaire on Cognitive Decline in the Elderly (IQCODE) during the COVID-19 pandemic: a feasibility study. The Clinical Neuropsychologist : Published online (March 2023).
28 Pub.ID 5005 Vo Thi Thanh Thuy, Dao Nhat Tan, Nguyen Le Phuc Khai, Nguyen Thi Thuy , Nguyen Thi Cam Tien, Lam Pham Thanh Hien, Dang Van Thanh, Nguyen Nhat Huy: Degradation of enrofloxacin in water by Fe3 O4
Graph representation learning và application?1 số triết lý đồ thị cơ bản1 số bài bác toán điển hình nổi bật của Graph Neural Network vào thực tếLink Prediction
Node Classification
Community Detection
Node Embedding - Graph Representation Learning
Spectral vs Spatial Graph Neural Network
Sage (an inductive learning method)1 số áp dụng trong thực tế1 số việc và hướng trở nên tân tiến khác
Hạn chế với lưu ý1 số paper và nguồn tài liệu xứng đáng chú ýTài liệu tham khảo
Graph representation learning và application?

Chắc hẳn đối với những bạn đã xúc tiếp với ML, DL thì không còn xa lạ gì với những bài xích toán nổi bật như:

Computer Vision: cùng với dữ liệu đó là ảnh, video. Các bài toán như: Image Classification, Object Detection, Image Segmentation,...NLP: cùng với dữ liệu đó là từ (word), thường xuyên được màn trình diễn dưới dạng sequence. Những bài toán như: Neural Machine Translation, Text Classification, Text Summarization, Topic Modeling,...Sound: tài liệu là những nguồn âm thanh, thuận lợi biểu diễn dưới dạng 1D hoặc 2D. Những bài toán như: TTS, STT, Sound Recognition, ...... Và còn tương đối nhiều các loại dữ liệu khác nữa

Tuy nhiên, cũng có tương đối nhiều bài toán cùng kiểu tài liệu khác, bọn họ khó hoàn toàn có thể biểu diễn tài liệu với dạng 1D, 2d như thông thường, hay các dạng dữ liệu Non-Euclidean. Lấy ví dụ như:

Dữ liệu social - social network
Liên kết trên mạng internet
Tương tác giữa những phân tử, nguyên tử - protein-protein interaction (PPI)....

Bạn đang xem: Giải mã hình ảnh bằng mô hình mạng học sâu sử dụng trích xuất đặc trưng (Image decoding using deep learning models with feature extraction)


Với phần nhiều dạng dữ liệu tính chất như vậy, cũng yêu cầu hầu như mục tiêu không giống nhau tùy yêu cầu của bài bác toán, lấy ví dụ như:Phân tích dữ liệu mạng xã hội để nắm bắt được các xu hướng của xã hội hiện tại, các nhóm đối tượng người dùng khách hàng
Các lưu ý kết bạn, follow những page trên nền tảng quen thuộc là facebook
Phân tích sự shop ở lever phân tử, nguyên tử nhằm mục tiêu mục đích ship hàng cho các vấn đề về y sinh học, ví dụ như phân tích công dụng phụ của thuốc
Xây dựng các hệ thống nhắc nhở sản phẩm cho các trang web dịch vụ thương mại điện tử từ tài liệu tương tác của người dùng....


Lấy 1 lấy một ví dụ trong Computer Vision, đưa dụ với câu hỏi phân loại ảnh chó mèo - Cat-Dog classification


1 mô hình đã rất phổ cập là CNN được sử dụng. CNN gồm các kernel (hoặc filter) với size cố định, có tính năng giống như 1 cửa sổ trượt, tự trái quý phái phải, từ bên trên xuống dưới, nhằm mục đích trích đúc kết được những đặc trưng từ một bức ảnh. Các kernel (filter) thực chất chính là trọng số của mô hình CNN vẫn được cập nhật dần trong quá trính training với backpropagation. Mỗi kernel có 1 giá trị riêng, học tập được các feature khác nhau từ bức ảnh, có kernel thì làm khá nổi bật các đường biên giới của đối tượng, có kernel thì làm nổi rõ từng vùng riêng biệt của bức ảnh, ...


Trong thực tiễn tồn tại tương đối nhiều dạng dữ liệu non-euclidean data. Nếu như trong việc xử lý hình ảnh dùng CNN, chúng ta sử dụng các filter thắt chặt và cố định tổng hòa hợp giá trị của các điểm pixel lân cận nhau thì trong graph neural network tương tự như như vậy. Cũng chính là tổng đúng theo giá trị của những nút lân cận nhau. Mặc dù các nút trên đồ gia dụng thị là không tồn tại thứ tự cùng số degree (hay số cạnh links với từng nút) là rất khác nhau!


Tương tự các bài toán về ML, DL khác, giải pháp biểu diễn đơn giản và dễ dàng nhất cho những nút cùng cạnh trên thiết bị thị là vấn đề biểu diễn các nút / cạnh kia dưới dạng những vector embedding, tiếp kia sử dụng những embedding này cho những downstream task khác như node classification, graph clustering, ...


Với ví dụ với cùng một đồ thị như hình dưới, những nút trên vật thị được ánh xạ lịch sự 1 không gian vector mới qua một hàm f(x). 2 nút uuu và vvv trên đồ gia dụng thị được xem như là tương đồng với nhau nếu khoảng cách giữa 2 vector embedding zuz_uzu​ và zvz_vzv​ trên không khí mới là nhỏ


1 số lý thuyết đồ thị cơ bản

Trước lúc đi sâu phân tích các bài toán với vấn đề tính chất của GNN, chúng ta cùng ôn lại 1 chút kỹ năng về lí thuyết đồ gia dụng thị đã!

1 thiết bị thị được trình diễn dưới dạng G = (V, E) với:

G là đồ vật thị được cấu thành
V là tập hợp các nút của đồ gia dụng thì (vertices / node)E là tập hợp các cạnh kết nối những nút của thứ thị (edge)eij=(vi,vj)∈Ee_ij = (v_i, v_j) in Eeij​=(vi​,vj​)∈E là biểu diễn các cạnh e∈Ee in Ee∈E nối trường đoản cú nút viv_ivi​ tới nút vjv_jvj​ của vật thị
Kí hiệu N(v)=u∈V∣(v,u)∈EN(v) = u in V N(v)=u∈V∣(v,u)∈E là những nút kề uuu (nút làng mạc giềng có chung cạnh) cùng với nút vvv


Các thuật ngữ này là tương đương nhau lúc biểu diễn các bài toán về đồ dùng thị:

G(V, E) ~ System (Object, Interaction)System ~ Network, Graph
Object ~ Node, vertices
Interaction ~ Link, Edges

Adjacency matrix (ma trận kề) A, là một trong ma trận vuông form size nxn (với n là tổng số nút của đồ gia dụng thị)

Aij=1A_ij = 1Aij​=1 nếu như eij∈Ee_ij in Eeij​∈EAij=0A_ij = 0Aij​=0 nếu eij∉Ee_ij otin Eeij​∈/EAdjacency matrix (A) cũng được gọi là 1 weighted-matrix, miêu tả trọng số các cạnh của đồ thị. Với hình minh họa Adjacency matrix bên trên thì những cạnh có trọng số như nhau nhưng tất cả thể biến hóa lại tùy việc và dữ liệu

Degree matrix (ma trận bậc) D, là 1 ma trận đường chéo vuông nxn, chứa thông tin bậc của từng đỉnh, với

D_ii = sum^n_i = 1 A_ijDii​=∑i=1n​Aij​Chú ý rằng với vật dụng thị có hướng (direct matrix) thì bậc của từng nút chỉ tính những cạnh nối gồm chiều tới nút đó

Identity matrix (ma trận đối kháng vị) I, là 1 trong ma trận đường chéo nxn, với các giá trên đường chéo cánh chính = 1, sót lại = 0

Iij=1I_ij = 1Iij​=1 nếu i==ji == ji==j, ngược lại = 0

Laplacian matrix hay ma trận dẫn nạp L, với L=D−AL = D - AL=D−A

Directed graph với undirect graph

Undirect graph tốt ma trận vô hướng, khi cạnh nối giữa 2 đỉnh i và j là như nhau, tuyệt eij=ejie_ij = e_jieij​=eji​Direct graph tốt ma trận bao gồm hướng, gồm chiều khẳng định từ đỉnh viv_ivi​ cho tới vjv_jvj​ cùng tồn tại liên kết cạnh eije_ijeij​

Self-loop: nút có cạnh nối trường đoản cú nó tới thiết yếu nó


Multi-graph: là các đồ thị với các cặp đỉnh kề nhau có tương đối nhiều hơn 1 cạnh nối liên kết giữa chúng

Heterogeneous với homogeneous graph

Homogeneous graph: có thể hiểu là các đồ thị đơn, khi những nút và cạnh của trang bị thị chỉ biểu diễn duy tuyệt nhất 1 đối tượng, ví dụ như nút trình diễn con người và cạnh biểu diễn những người là bạn bè với nhauHeterogeneous graph: tốt multi-model graph, là những đồ thị bao gồm nút với cạnh diễn tả nhiều mối links giữa các đối tượng người dùng với nhau, liên quan mật thiết cho tới 1 tư tưởng rộng rộng là knowledge graph


Bi-partite graph (đồ thị 2 phía): là 1 đồ thị khá quánh biệt, rất có thể phân các đỉnh thành 2 tập không giao nhau, tức không có cạnh nối 2 đỉnh bất kỳ thuộc cùng 1 tập.


Mỗi nút trên thứ thị, tùy bài toán cũng sẽ có nhãn (label) ứng cùng với từng nút. Ví dụ nhiều người đang xây dựng 1 việc phân loại thể nhiều loại của paper dựa trên những citation giữa những paper với nhau. Các nút là các paper, những cạnh thể hiện các paper có link (citation) với nhau thì nhãn của nút hoàn toàn có thể là: Computer Vision, NLP, Reinforcement Learning,...

Node feature: các nút của vật dụng thị cũng đều có thể bao hàm các đặc trưng (hoặc feature) riêng rẽ của từng nút. Các đặc tính này hoàn toàn có thể được trích rút thêm từ các thông tin của nút đó. Ví dụ:

Với 1 câu hỏi social network, những nút trong mạng miêu tả 1 người, node feature là các đặc trưng như tuổi, giới tính, công việc, trình độ chuyên môn học vấn,...Với 1 bài toán về phân nhiều loại topic đến document, các nút của thứ thị là các document, node feature rất có thể được biểu diễn dễ dàng bằng 1 binary vector với số chiều bằng con số từ trong từ điển (hay vocab), ví dụ là 50.000 từ, với mức giá trị 1 biểu thị từ có lộ diện trong từ điển và ngược lại. Hoặc hoàn toàn có thể biểu diễn dễ dàng và đơn giản hơn bằng cách sử dụng các mô hình language model hoặc word embedding để sinh được 1 feature vector ứng cùng với từng tự hoặc từng đoạn, lấy ví dụ như mình có thể sử dụng 1 mô hình doc2vec nhằm ánh xạ 1 document thành 1 vector 300D....

Với ma trận adjacency matrix (A) bên trên, một số điểm dễ phân biệt rằng:

Ma trận A cũng trình bày trọng số những cạnh của đồ dùng thị
Đa số những trường hợp là 1 trong ma trận thưa (hay sparse matrix), hay tỉ lệ 1/0 bên trên toàn trang bị thị là khôn xiết bé
Trong nhiều bài toán, nhằm thuận tiện, quanh đó việc áp dụng adjacency matrix thì tín đồ ta cũng sử dụng adjacency menu để thể hiện cạnh nối giữa 2 đỉnh mang lại thuận tiện

Reference: https://towardsdatascience.com/graph-theory-and-deep-learning-know-hows-6556b0e9891b

1 số bài toán điển hình

Link Prediction


Là bài bác toán dự đoán xem 2 nút trong mạng có mối contact hoặc tất cả cạnh nối bắt đầu giữa 2 nút tuyệt không.

Node classification


Là bài toán phân loại từng nút (node) trên thiết bị thị ứng với những nhãn (label) tương ứng, đó cũng là vấn đề khá phổ cập nhất vào GNN


Clustering & Community detection


Là việc phân cụm cộng đồng hay graph clustering
Node Embedding

Nói về Graph-based Learning, trước tiên ta cần nói tới Graph-based Embedding, bao gồm 2 phân đội chính:

Vertex Embedding (Node embedding): hay vấn đề ánh xạ 1 nút trong vật dụng thị thanh lịch 1 không gian latent space khác với D-dims. Ta trả toàn có thể sử dụng các latent space này nhằm mục đích visualization, hay áp dụng vào những downstream task như: node classifition, graph clustering, ...Graph Embedding: tương tự như trên, dẫu vậy là việc ánh xạ cả 1 đồ dùng thị / graph hoặc sub-graph thành 1 vector duy nhất, ví dụ như việc ánh xạ quý phái latent space của các cấu trúc phân tử để đối chiếu với nhau. Bài toán ánh xạ này sẽ liên quan nhiều tới những bài toán về graph/sub-graph classification

Rất nhiều các giải thuật về graph-based learning (graph-based embedding, graph neural network) nói thông thường đều dựa trên giả định rằng các nút ở ngay gần nhau sẽ có được các đặc thù về feature là tương tự nhau. Ví dụ việc bạn follow ai sinh sống trên twitter cũng sẽ phần nào giúp ta đoán được rằng user đó suy nghĩ vấn đề gì bên trên mạng làng hội, hoàn toàn có thể là các vấn đề liên quan đến học tập thuật như: machine learning, deep learning; hay những vấn đề về chính trị, tôn giáo, nhan sắc tộc bằng việc follow những user liên quan,... Trường đoản cú đó, những nhà cách tân và phát triển sẽ dựa trên những mối tương tác đó để xây đắp mô hình mang lại những mục đích riêng, ví dụ như như: social network analysis, recommender engine,...

2 nút không kết nối trực tiếp với nhau vẫn hoàn toàn có thể có những điểm sáng giống nhau, ví dụ điển hình nổi bật nhất là trong việc về colaborative filtering vào recommender system. Lúc 2 user A, B trọn vẹn không liên quan đến nhau, user A say mê các thành phầm P1, P2, P3, P4; user B say mê các thành phầm P1, P3, P4. Vậy nhiều kỹ năng rằng thói quen tải đồ của 2 user là khá kiểu như nhau và khối hệ thống tiến hành nhắc nhở thêm cho user B thành phầm P2, ... Hay ví dụ như hình dưới, nút 5 cùng 6 không connect trực tiếp với nhau nhưng có chung các nút "làng giềng" nên giả định rằng 2 nút này sẽ khá giống nhau, tương đương với nhau về phương diện context


Random Walk là gì?

Về Vertex Embedding (Node Embedding), đầu tiên ta phải xem xét tư tưởng Random-Walk là gì?

Nếu các bạn đã từng làm việc với những bài toán về NLP vào ML, DL nói chung, kiên cố hẳn chúng ta cũng được biết 1 mô hình word embedding rất thịnh hành và quen thuộc là Word2Vec. Về mặt lý thuyết mình xin phép không nói kĩ trong bài xích blog này, các bạn có thể tìm hiểu thêm tại những bài blog không giống trên fips.edu.vn như:


Ý tưởng đơn giản của Word2Vec là thiết kế 1 mô hình có chức năng ánh xạ những từ thanh lịch 1 không khí vector new và trả định rằng các từ thường xuất hiện thêm cùng nhau, thuộc 1 context sẽ sở hữu các embedding vector ngay gần nhau (euclide distance, cosine distance,..). Word2Vec có 2 quy mô chính:CBOW: sử dụng những context word để predict target word trọng tâm (các từ vào ô xanh trường đoản cú target word, ô white là context word)Skip-gram: sử dụng target word để predict các context word xung quanh


Walk là 1 mô hình Node Embedding khá đối kháng giản, dựa trên ý tưởng chủ đạo trường đoản cú Word2Vec, mà cụ thể là từ mô hình Skip-gram. Trong paper của Deep
Walk có kể tới 1 thuật ngữ là Graph Sampling sử dụng random walk hay bước đi ngẫu nhiên trên đồ thị. Random walk đơn giản dễ dàng là bài toán chọn đi ngẫu nhiên tới những nút bóng giềng trong vật dụng thị, kể cả bước tiến tiếp theo hoàn toàn có thể quay lại nút trước đó. Bằng việc sampling áp dụng random walk, ta đã đưa dữ liệu từ một dạng cấu tạo phức tạp hơn là đồ gia dụng thị (với rất nhiều nút với cạnh nối cùng với nhau) lịch sự dạng màn trình diễn sequence 1D, tựa như như những chữ cái tiếp tục nhau trong 1 câu vậy. Những nút lúc này được biểu diễn như những từ trong mô hình word2vec với độ lâu năm câu (hay số bước nhảy của random walk) không vậy định. Với ta rất có thể sử dụng luôn luôn được quy mô Word2Vec để vận dụng trực tiếp lên dạng tài liệu đồ thị này!


Ví dụ như ảnh trên, tự 2 đỉnh A và F, bước đi ngẫu nhiên với cách nhảy = 3 vẫn sinh ra các sequence như: A -> C -> F -> G, F -> G -> E -> D, ...


Bằng cách đó, sau khi thực hiện training mô hình, từng nút trên mạng sẽ được biểu diễn bởi 1 embedding vector (ví dụ 128 chiều). Ta có thể sử dụng phần embedding này thực hiện visualize nhằm xem đối sánh tương quan giữa những nút với nhau, bằng các thuật toán giảm chiều dữ liệu như: t-SNE, UMAP, ... Hoặc sử dụng cho những downstream task cho những bài toán con, ví dụ như việc thực hiện SVM để tiến hành phân loại những embedding vector vào những nhãn khớp ứng (node classification). Lấy một ví dụ với quy mô Deep
Walk bên trên tập dữ liệu karate club gồm 4 nhãn. Sau khoản thời gian tiến hành visualize, có thể thấy các phân bóc tách khá ví dụ qua color sắc



Node2Vec cũng chính là 1 quy mô Node Embedding dựa trên phát minh của Deep
Walk và Word2Vec. Điểm biệt lập của Node2Vec là xung quanh việc áp dụng random walk như thông thường, tế bào hình ra mắt thêm 2 thông số kỹ thuật P với Q để điều chỉnh lại bước đi ngẫu nhiên trên thứ thị.


Với ppp (hay còn sót lại là return parameter) quy định tài năng quay lại 1 nút trước kia trên bước tiến ngẫu nhiên. Cùng với ppp bự thì ít có công dụng quay lại nút trước đó với ngược lại.

Với qqq (hay sót lại là in-out parameter) quy định năng lực bước đi "gần" hay "xa" so với nút ban đầu. Với q>1q > 1q>1 thì bước tiến ngẫu nhiên có xu thế đi quanh lẩn quẩn nút thuở đầu và ngược lại, rời khỏi xa ngoài nút ban đầu.

Ví dụ cùng với việc áp dụng node2vec trước và sau khi áp dụng lên tập dữ liệu về persona data


1 số các quy mô về Vertex Embedding chúng ta có thể tham khảo thêm như: LINE (Line Large-scale Information Network Embedding), HOPE, ....

Điểm hạn chế những các quy mô Vertex/Node Embedding nói chung

Nhìn chung, các quy mô Node Embedding đều tìm hiểu việc ánh xạ các nút trong vật thị sang 1 không khí vector mới, với những nút cạnh bên nhau, có context tương tự nhau đang ở sát nhau.

Tuy nhiên, có 1 số vấn đề như sau:

Giả dụ cùng với 2 quy mô Deep
Walk cùng Node2Vec bên trên, đều dựa trên ý tưởng của Word2Vec. Nếu trong một bài toán gồm domain hẹp và ít tất cả sự update trong quy mô thì không sự việc gì nhưng đối với các nút new (bao gồm những liên kết mới) trong thiết bị thị thì chúng sẽ tiến hành ánh xạ như thế nào? bạn dạng thân mã sản phẩm Word2Vec với các từ không tồn tại trong trường đoản cú điển sẽ không tồn tại embedding vector biểu diễn cho trường đoản cú đó.Thứ hai, như ta đang bàn về 1 số những khái niệm tầm thường trong đồ vật thị như mặt trên. Hiện nay tại, ta mới chỉ sử dụng thông tin là những nút kề bên nhau để xây dừng mô hình, còn chưa sử dụng những thông tin khác như node feature tuyệt thuộc tính của từng nút trong đồ gia dụng thị. Ví dụ, với một bài toán về social network analytic, ngoài các kết nối thân người với người thì những thông tin phiên bản thân của từng người như: giới tính, độ tuổi, trình trạng hiện nay tại, ... Cũng vô cùng đề nghị thiết. Các mô hình không có khả năng adapt, generalization xuất sắc trên những unseen data được call là tranductive learning method, ngược lại là inductive learning method

Trong phần tiếp, ta đang đề cập cho tới các quy mô thuở ban đầu của GNN cũng như các quy mô liên quan mang lại 2 có mang tranductive với inductive learning trên và hướng cải thiện

Spectral vs Spatial Graph Neural Network
Thực tế, các mô hình về graph neural network đã và đang được mày mò từ hơi lâu, vào khoảng thời hạn 2014 đến thời điểm này thì mới dành được sự quan liêu tâm nhiều hơn thế từ cộng đồng và được phân chia khá cụ thể thành 2 phân lớp chính:Spectral Graph Neural Network: tương quan đến những khái niệm về phân tách ma trận eigen-decomposition, eigenvector, eigenvalues,... Tuy nhiên, các phương thức về spectral-based thường xuyên có giá cả tính toán khá to và dần dần bị sửa chữa bởi các cách thức spatial-basedSpatial Graph Neural Network: là 1 cách thức đơn giản hơn hết về mặt toán học và mô hình. Spatial-based method dựa trên phát minh việc xây dựng các node embedding dựa vào vào những node lấn cận.


Reference https://ai.stackexchange.com/questions/14003/


Để dễ dàng và đơn giản và dễ hiểu, ta tư tưởng 1 mô hình GCN như sau:

1 đồ dùng thị G=(V,E)G = (V, E)G=(V,E)1 ma trận adjacency matrix A nxn
X in R^n x dX∈Rnxd là ma trận feature ứng với các nút của đồ vật thị, với nnn là tổng con số nút và ddd là số chiều của node feature. Node embedding như ta đã và đang đề cập làm việc trên, liên quan đến các thông tin của nút đó.

Để dễ hình dung, họ hãy làm 1 số ví dụ bé dại như sau:

Ví dụ 1

Với 1 thiết bị thị vô phía như hình dưới


Đồ thị tất cả 6 nút từ bỏ A -> F. Để solo giản, với từng nút sẽ được biểu diễn bằng 1 trọng số (hay lấy một ví dụ node embedding hiện tại của nút A = <0.1>)

Với đưa định từ đầu rằng những nút ở kề bên nhau là gần giống nhau. Trường đoản cú đó, ta tiến hành 1 phép toán đơn giản để tổng hòa hợp lại thông tin của những nút ở bên cạnh của nút viv_ivi​ nỗ lực thể, bằng cách lấy trung bình những giá trị của những nút lận cận + quý hiếm của nút viv_ivi​, ta thu giá tốt trị new ppp, lắp giá trị new ppp này mang lại nút viv_ivi​. Đối với các nút khác cũng thực hiện tương tự trong 1 step. Các step tiếp nối cũng liên tục thực hiện phép toán vừa nêu với tất cả các nút vào mạng. Sau step 1, ta thu được các giá trị mới cho đồ vật thị như sau:



Thực hiện tương tự như cho tất cả các nút trong step 2


Có thể thấy rằng, giá trị hiện tại của những nút trong mạng vẫn được điều chỉnh lại cùng san đều hơn giữa các nút, số đông nút ngay sát nhau sẽ có được giá trị sát nhau hơn, phần nhiều nút có cấu trúc liên kết như là nhau như nút E và F hồ hết nhận cực hiếm là kiểu như nhau.

Nếu gọi A0A^0A0 là cực hiếm nút A tại step 0, tương tự như các cùng với nút không giống thì ta có công thức


Bằng phép thế, ta có


Có thể thấy rằng, cùng với 2 step, giá chỉ trị hiện tại của nút A bị ảnh hưởng bởi những nút bên trong phạm vi 2 cách nhảy tính từ nút A, bao hàm cả 5 nút còn lại. Nhưng nếu đưa sử có một nút G nối độc lập với nút F chẳng hạn thì giá trị bây giờ của A chưa bị tác động bởi nút G (vì 3 cách nhảy)

Với phép toán tính mức độ vừa phải (mean) mặt trên, ta hoàn toàn có thể thay cầm bằng 1 số phép toán khác, được điện thoại tư vấn là aggregation function (sẽ được đề cập kĩ rộng tại mô hình Graph
Sage). Cầm lại, giá trị của A1A_1A1​ sẽ tiến hành biểu diễn tóm gọn như sau




Với N(v)N(v)N(v) là tập hợp những nút lân cận của nút vvv

Ví dụ 2


Kèm theo đó là node feature xi∀x∈Xx_i forall x in Xxi​∀x∈X ứng với từng nút trong đồ dùng thị. Ở đây, bản thân định nghĩa thiên nhiên 1 ma trận X như bên dưới


Và giờ hãy thực hiện phép nhân ma trận dễ dàng AX, ta thu được


Có thể hay thấy rằng, quý giá ma trận 6x2 thu được hiện nay tại, cùng với mỗi cực hiếm tại từng dòng là tổng tất cả các trọng số của những nút lân cận. Ví dụ như với nút 0 links với 3 nút 0, 1, 2 thì vector representation bây giờ của nút 0 ứng với cùng một vector 1x2 = <6, -6> (với 1 * 1 + 1 * 2 + 1 * 3 = 6 với 1 * -1 + 1 * -2 + 1 * -3 = -6)


1 hidden layer của GCN có thể được trình diễn như sau: Hi=f(Hi−1,A)H^i = f(H^i - 1, A)Hi=f(Hi−1,A), vào đó:

H^iHi màn biểu diễn đầu ra của layer sản phẩm công nghệ i + 1, mỗi layer Hi
H^iHi tương ứng với cùng một ma trận có kích thước NNN x Fi
F^iFi. Với Fi
F^iFi biểu hiện số feature áp sạc ra của từng nút trên layer Hi
H0=XH^0 = XH0=X, gồm trọng số được khởi tạo luôn luôn là node feature của từng nút

Trong đó, hàm f có thể được biểu diễn đơn giản dễ dàng bằng 1 công thức sau: Hi+1=f(Hi,A)=σ(AHi
Wi)H^i + 1 = f(H^i, A) = sigma(A H^i W^i)Hi+1=f(Hi,A)=σ(AHi
Wi), với:

W^iWi là ma trận trọng số ứng cùng với layer lắp thêm iiiσsigmaσ là 1 trong hàm kích hoạt phi tuyến đường tính (activation function), lấy ví dụ như hàm Re

Nhưng với bí quyết hiện tại, bao gồm 2 điểm tiêu giảm như sau:

Dễ thấy rằng, bằng bài toán nhân thêm ma trận A, với từng nút, cực hiếm mà các nút kề bên contribute đến nút viv_ivi​ lúc này đúng bằng tổng số feature của các nút đó tuy thế chưa bao hàm nút viv_ivi​. Ta có thể khắc phục điều đó bằng cách "cộng thêm" identity matrix vào ma trận A, tức A = A + IVới gần như nút có degree phệ (tức phần lớn nút liên kết với nhiều nút khác) thì chúng gây tác động lớn rộng trong thừa trình update trọng số của tế bào hình. 1 điều nữa, các khoảng giá chỉ trị bây giờ của A không hề được normalize, tức trả toàn rất có thể dẫn tới vấn đề vanishing / exploding gradient trong quy trình backprop. Bởi đó, ta rất có thể normalize A bằng cách D−1AD^-1AD−1A, với D là degree matrix. Điều đó đồng nghĩa tương quan với vấn đề lấy mức độ vừa phải feature của các nút lạm cận.

Từ đó, công thức ban đầu được thay đổi thành

Wi)H^i + 1 = f(H^i, A) = sigma(A H^i W^i) = sigma(D^-1A H^i W^i)Hi+1=f(Hi,A)=σ(AHi

Trong paper, tác giả sử dụng Symmetric Normalization, đổi cách làm thành

Wi)sigma(D^-1A H^i W^i) = sigma(D^-1/2A D^-1/2 H^i W^i)σ(D−1AHi

với H0=XH^0 = XH0=X

Reference http://web.stanford.edu/class/cs224w/slides/08-GNN.pdf

Những điểm yếu kém / hạn chế của mô hình GCN truyền thống và phía cải thiện

Nhìn chung, quy mô GCN trong paper Semi-Supervised Classification with Graph Convolutional Networks - 2016 được xây đắp khá đơn giản, tuy vậy còn 1 vài giảm bớt như sau:Memory requirement: trọng số của mô hình vẫn được update qua từng epoch, tuy nhiên với mỗi epoch được update theo full-batch gradient descent, không hẳn mini-batch gradient descent, tức việc cập nhật trên cục bộ điểm tài liệu cùng 1 lúc. Điều kia cũng hoàn toàn dễ hiểu chính vì trong công thức update bên trên, mô hình vừa bắt buộc giữ toàn thể trọng số cùng ma trận adjacency matrix A. Với 1 tập dữ liệu nhỏ như CORA dataset (2708 paper~node với 5429 citation / edge) thì chưa hẳn vấn đề nhưng với 1 tập dữ liệu to hơn với hàng triệu node với dense-adjacency matrix thì bí quyết tiếp cận này hoàn toàn không phù hợp khi memory requirement là khôn cùng lớn!Directed edges and edge features: quy mô hiện tại về GCN được ra mắt tại paper đã chưa thực hiện thêm các yếu tố khác ví như edge feature (adj matrix A hiện tại chỉ là binary matrix) với directed graph (tức ma trận gồm hướng). Hướng cách xử trí trong paper hiện nay đang bị giới hạn cùng với undirected graph (ma trận vô hướng).Limiting assumption: bài toán cộng adjacency matrix A cùng với identity matrix I để sở hữu thêm feature của chính nút đó. Bí quyết làm này sẽ giả định rằng nút viv_ivi​ và những nút cạnh bên của viv_ivi​ vẫn contribute cho tới viv_ivi​ là như nhau, ta rất có thể nhân thêm 1 tham số λlambdaλ để kiểm soát và điều chỉnh lại trọng số của nút viv_ivi​: A=A+λIA = A + lambda IA=A+λI. λlambdaλ thực chất hoàn toàn có thể là 1 trainable parameter, hiện trong paper fix cứng = 1 với tác giả cũng có đề cập thêm về thông số kỹ thuật này trên mục 7.2 (limitations and future work).Transductive setting: với hồ hết nút mới thêm vào thiết bị thị (kèm theo các liên kết mới), quy mô GCN có tác dụng tổng quan lại hóa (generalization) vô cùng kém với rất nhiều nút mới đó cùng yêu cầu yêu cầu re-training để update lại tế bào hình!Graph
Sage (an inductive learning method)Vào năm 2017, 1 paper mới với tên thường gọi Inductive Representation Learning on Large Graphs - 2017 hay Graph
Sage được đề xuất, với hơi nhiều cách tân về mặt mô hình so cùng với paper GCN - 2016. Hoàn toàn có thể tóm gọn trong 1 số ý như sau:An inductive learning method, tức Graph
Sage có tác dụng tổng quát tháo hóa xuất sắc hơn với các unseen data
Vẫn dựa trên ý tưởng phát minh sinh các node embedding dựa trên các node lấn cận. Vào paper Graph
Sage, tác giả đề cập cho tới việc xây cất các hàm aggrerate nhằm tổng hòa hợp lại tin tức từ các nút ở bên cạnh và khuyến cáo 3 hàm aggrerate tương ứng.Mini-batch update gradient descent và là một spatial gnn method, khắc chế được hạn chế lớn số 1 của GCN là việc cập nhật theo full-batch gradient descent


Tổng quan, mô hình Graph
Sage được sản xuất cũng dựa trên ý tưởng là tổng hợp tin tức từ những nút lấn cận. Cụ thể giải thuật như sau:Input: thiết bị thị G=(V,E)G = (V, E)G=(V,E), các lưu ý feature xv∈X,∀v∈Vx_v in X, forall v in Vxv​∈X,∀v∈V, ∀k∈1,...,Kforall k in 1, ..., K∀k∈1,...,K, cùng với KKK là số aggregator function được áp dụng liên tiếp nhau
Output: embedding vector zv∀v∈Vz_v forall v in Vzv​∀v∈V


Ta có, hv0=xvh^0_v = x_vhv0​=xv​, với với từng aggre function sản phẩm công nghệ k, trên từng nút v∈Vv in Vv∈V, ta tổng hợp tin tức từ các nút ở kề bên u,∀u∈N(v)u, forall u in N(v)u,∀u∈N(v), thu được 1 vector màn trình diễn h
N(v)k​. Những hàm aggre biểu diễn có thể sử dụng 1 số những hàm đơn giản và dễ dàng như mean, pooling, ... Tuyệt thậm chí những mạng như lstm

Với thông tin thu được tổng phù hợp từ các nút bên cạnh h
N(v)k​, ta tiến hành concat h
N(v)k​ với tin tức của nút vvv trên step trước đó (k - 1).

Với vector mới vừa mới được concat, ta đưa sang một fully connected layer dễ dàng với 1 hàm kích hoạt phi con đường tính sống cuối, lấy ví dụ Re
LU. Đồng thời normalize hvk,k∈Kh^k_v, k in Khvk​,k∈K

Sau lúc thực hiện đo lường và thống kê qua K lần (K aggre function), ta thu được feature vector zv≡hv
K,∀v∈Vz_v equiv h^K_v, forall v in Vzv​≡hv

Ta có thể stack nhiều aggre function tiếp tục nhau với ý muốn muốn mô hình sẽ sâu hơn cùng học được rất nhiều các abstract feature. Mặc dù nhiên, với tài liệu đồ thị, vấn đề stack vô số aggre function cũng không lấy lại khác hoàn toàn quá nhiều về khía cạnh kết quả, thậm chỉ ảnh hưởng đến performance của tế bào hình. Hay ta áp dụng 1, 2 aggre function là đủ.

Bằng việc thi công các hàm aggre function như vậy, trọng số của mô hình dần được cập nhật dựa trên thông tin những nút kề bên u,∀u∈N(v)u, forall u in N(v)u,∀u∈N(v) của nút vvv. Khi đó, tế bào hình có chức năng tổng quát tháo hóa giỏi hơn (better generalization) với những điểm tài liệu mới (unseen node). Với các unseen node bắt đầu như vậy, embedding vector được tạo ra dựa trên tin tức từ những nút cạnh bên của unseen node với từ chính node feature của nút đó. Giải thuật này có tính vận dụng cao hơn, cân xứng với nhiều vấn đề mà dữ liệu to hơn và biến hóa thường xuyên như: dữ liệu mạng xạ hội, dữ liệu những trang wikipedia được liên kết, tài liệu từ những paper new khi cite / reference tới các paper trước đó, giỏi dữ liệu người tiêu dùng upvote, video hay follow user chủ yếu trên trang web fips.edu.vn này trên đây


Aggregator functions

Dữ liệu dạng đồ thị không có tính sản phẩm công nghệ tự, kha khá về địa chỉ như các dạng tài liệu như sequence, image, ... đề xuất giả định rằng những aggregator function được tư tưởng cũng yêu cầu có đặc điểm là symmetric (tức ít bị ảnh hưởng bởi hoán vị của các nút lân cận). Trong paper bao gồm đề cập cho tới việc thực hiện 3 aggregator function là mean, pooling với LSTM

Mean aggregator, là một trong non-parametric function và symmetric, đơn giản và dễ dàng là bài toán lấy mức độ vừa phải vector của những nút ở kề bên tại mỗi vị trí, tốt element-wise mean operation. Việc triển khai concat 2 vector bên trên đoạn pseudo code trên gần tương tự như 1 "skip connection" vào mạng redidual network.

LSTM aggregator, là một parametric function. LSTM có thiết kế cho những bài toán dạng sequence, tức không phải symmetric. Tuy nhiên, trong paper gồm đề cập tới câu hỏi sử dụng các hoán vị bỗng dưng từ input đầu vào là các nút lấn cận. Hiệu quả thu được cũng khá khả quan so với các aggregator function khác

Pooling aggregator, vừa là 1 trong những parametric function cùng symmetric, có thiết kế theo công thức. Với σsigmaσ là activation function, maxmaxmax là toán tử element-wise max-pooling operation


Loss function

Với việc supervised learning, đầu ra gồm các feature embedding zvz_vzv​, ta rất có thể thiết kế thêm các layer, dễ dàng và đơn giản như 1 mạng fully connected layer sống cuối, với số node đầu ra bằng số class, hàm loss function sử dụng là cross entropy

Với việc un-supervised learnig, mặc dù không có label, tuy vậy với cách xây dựng từ mô hình, những node embedding thu được sau khoản thời gian training hoàn toàn có thể được áp dụng lại ở những downstream task.

Từ đó, hàm loss function được có mang cho câu hỏi un-supervised learning như sau:


Trong đó, uuu cùng vvv là 2 nút cạnh bên nhau, cạnh bên trong số bước đi ngẫu nhiên thắt chặt và cố định đã xác định từ trước. QQQ là tập hợp các cặp negative sample, tức 2 nút ko lận cận nhau. σsigmaσ là sigmoid function.

Dễ thấy rằng, việc tính loss là dựa vào các nút lạm cận, tùy số bước trong bước đi ngẫu nhiên phải giúp mô hình có chức năng tổng quát hóa rộng trên toàn dữ liệu, với khi áp dụng cho các unseen node; khác trọn vẹn với việc huấn luyện và giảng dạy embedding cố định và thắt chặt cho từng node như các quy mô node embedding như Deep
Walk hoặc Node2Vec. Đó đó là sự biệt lập lớn nhất giữa các mô hình tranductive learning (Deep
Walk, Node2Vec) với các mô hình inductive learning như Graph

How khổng lồ apply?


1 số vận dụng trong thực tế

Sage - Pinterest Recommender Engine

Pinterest là 1 mạng làng mạc hội chia sẻ hình hình ảnh rất phổ biến. Nguồn tin tức trên Pinterest được xây cất dựa trên những thông tin về pins và boards. Với pins giống như như tác dụng lưu / yêu thích ảnh từ tín đồ dùng, còn boards là tổng phù hợp các hình ảnh cùng 1 nhà đề, có liên quan đến nhau, được xây dựng vị cộng đồng. Bài toán đặt ra với các kĩ sư Pinterest là làm sao để tăng thêm lượng thúc đẩy từ người dùng, bằng cách recommend các boards có liên quan khi người tiêu dùng thực hiện nay pin / save 1 bức ảnh nào đó

Tập dữ liệu mà mặt Pinterest giữ trữ tương đối lớn, khoảng tầm 2 tỉ lượt pins cùng 1 tỉ những boards, với khoảng 18 tỉ connection (edge) giữa các pin với board. Trọng trách của việc recommend là desgin được cỗ node embedding cho những pins nhằm từ đó tiến hành recommend các ảnh tương đồng hoặc các board gồm liên quan. Và mặt Pinterest có thừa kế từ mô hình Graph
ta vừa luận bàn bên trên bằng cách xây dựng 1 bi-partite graph (đồ thị 2 phía) với cùng 1 bên là các pins, một bên là những boards và liên kết giữa pins-boards


Với Node Embedding được khởi tạo ban đầu, các nhà cách tân và phát triển bên Pinterest tận dụng các metadata từ nhiều kiểu tài liệu khác nhau, tự cả hình ảnh và text để tạo những node embedding xix_ixi​ thuở đầu ứng cùng với từng node. ở kề bên đó, trong paper Pin
Sage còn nhắc tới các hướng improve khác như: Producer consumer mini-batch construction, Efficient Map
Reduce Inference
, Negetive Sampling Mining, Curriculum Training, ...

Xem thêm: Sửa Lỗi Không Thấy Biểu Tượng Pin Laptop Trên Thanh Công Cụ Windows 10/8/7

Trong quá trình thực hiện A/B test, đội ngũ mặt Pinterest cũng thấy rằng tính năng của khối hệ thống được tăng thêm đáng kể


Chi tiết về hướng áp dụng và cải thiện của Pin
Sage, các bạn có thể đọc thêm tại những nguồn sau:

Eat - user-based recommender engine

Mỗi bipartite graph sẽ được xây dựng để phục vụ cho 1 mục đích recommend riêng, lấy ví dụ như hình ảnh gif mặt dưới



Có 1 điểm chăm chú trong giải pháp xây dựng node embedding ban đầu. Vì những nút hiện nay tại bao gồm 3 thực thể không giống nhau (user-dish-restaurant, còn ví dụ như của pinterest bên trên là 2 thực thể pin-board) nên các nút sẽ sở hữu các initial embedding với số chiều khác nhau. Ta tiến hành thiết lập thêm 1 mạng MLP ứng cùng với từng nút thực thể nhằm quy về 1 node embedding với số chiều là cầm cố định.

Vì 1 user rất có thể đặt 1 món ăn đủ lần hoặc đặt món ăn thường xuyên từ một số bên hàng, phải trong phần loss function cũng triển khai sửa đổi để re-ranking lại những nút trong thiết bị thị

Bên Uber cũng tiến hành thực hiện A/B testing với cũng nhận thấy n