Giải mã hình ảnh bằng mô hình mạng học sâu sử dụng trích xuất đặc trưng (image decoding using deep learning models with feature extraction)

Chắc hẳn đối với những bạn đã xúc tiếp với ML, DL thì không còn xa lạ gì với những bài xích toán nổi bật như:

Tuy nhiên, cũng có tương đối nhiều bài toán cùng kiểu tài liệu khác, bọn họ khó hoàn toàn có thể biểu diễn tài liệu với dạng 1D, 2d như thông thường, hay các dạng dữ liệu Non-Euclidean. Lấy ví dụ như:

Trước lúc đi sâu phân tích các bài toán với vấn đề tính chất của GNN, chúng ta cùng ôn lại 1 chút kỹ năng về lí thuyết đồ gia dụng thị đã!

1 thiết bị thị được trình diễn dưới dạng G = (V, E) với:

Các thuật ngữ này là tương đương nhau lúc biểu diễn các bài toán về đồ dùng thị:

Adjacency matrix (ma trận kề) A, là một trong ma trận vuông form size nxn (với n là tổng số nút của đồ gia dụng thị)

Degree matrix (ma trận bậc) D, là 1 ma trận đường chéo vuông nxn, chứa thông tin bậc của từng đỉnh, với

Identity matrix (ma trận đối kháng vị) I, là 1 trong ma trận đường chéo nxn, với các giá trên đường chéo cánh chính = 1, sót lại = 0

Laplacian matrix hay ma trận dẫn nạp L, với L=D−AL = D - AL=D−A

Directed graph với undirect graph

Self-loop: nút có cạnh nối trường đoản cú nó tới thiết yếu nó

Multi-graph: là các đồ thị với các cặp đỉnh kề nhau có tương đối nhiều hơn 1 cạnh nối liên kết giữa chúng

Heterogeneous với homogeneous graph

Mỗi nút trên thứ thị, tùy bài toán cũng sẽ có nhãn (label) ứng cùng với từng nút. Ví dụ nhiều người đang xây dựng 1 việc phân loại thể nhiều loại của paper dựa trên những citation giữa những paper với nhau. Các nút là các paper, những cạnh thể hiện các paper có link (citation) với nhau thì nhãn của nút hoàn toàn có thể là: Computer Vision, NLP, Reinforcement Learning,...

Node feature: các nút của vật dụng thị cũng đều có thể bao hàm các đặc trưng (hoặc feature) riêng rẽ của từng nút. Các đặc tính này hoàn toàn có thể được trích rút thêm từ các thông tin của nút đó. Ví dụ:

Với ma trận adjacency matrix (A) bên trên, một số điểm dễ phân biệt rằng:

Reference: https://towardsdatascience.com/graph-theory-and-deep-learning-know-hows-6556b0e9891b

Link Prediction

Node classification

Clustering & Community detection

Nói về Graph-based Learning, trước tiên ta cần nói tới Graph-based Embedding, bao gồm 2 phân đội chính:

Rất nhiều các giải thuật về graph-based learning (graph-based embedding, graph neural network) nói thông thường đều dựa trên giả định rằng các nút ở ngay gần nhau sẽ có được các đặc thù về feature là tương tự nhau. Ví dụ việc bạn follow ai sinh sống trên twitter cũng sẽ phần nào giúp ta đoán được rằng user đó suy nghĩ vấn đề gì bên trên mạng làng hội, hoàn toàn có thể là các vấn đề liên quan đến học tập thuật như: machine learning, deep learning; hay những vấn đề về chính trị, tôn giáo, nhan sắc tộc bằng việc follow những user liên quan,... Trường đoản cú đó, những nhà cách tân và phát triển sẽ dựa trên những mối tương tác đó để xây đắp mô hình mang lại những mục đích riêng, ví dụ như như: social network analysis, recommender engine,...

2 nút không kết nối trực tiếp với nhau vẫn hoàn toàn có thể có những điểm sáng giống nhau, ví dụ điển hình nổi bật nhất là trong việc về colaborative filtering vào recommender system. Lúc 2 user A, B trọn vẹn không liên quan đến nhau, user A say mê các thành phầm P1, P2, P3, P4; user B say mê các thành phầm P1, P3, P4. Vậy nhiều kỹ năng rằng thói quen tải đồ của 2 user là khá kiểu như nhau và khối hệ thống tiến hành nhắc nhở thêm cho user B thành phầm P2, ... Hay ví dụ như hình dưới, nút 5 cùng 6 không connect trực tiếp với nhau nhưng có chung các nút "làng giềng" nên giả định rằng 2 nút này sẽ khá giống nhau, tương đương với nhau về phương diện context

Random Walk là gì?

Về Vertex Embedding (Node Embedding), đầu tiên ta phải xem xét tư tưởng Random-Walk là gì?

Nếu các bạn đã từng làm việc với những bài toán về NLP vào ML, DL nói chung, kiên cố hẳn chúng ta cũng được biết 1 mô hình word embedding rất thịnh hành và quen thuộc là Word2Vec. Về mặt lý thuyết mình xin phép không nói kĩ trong bài xích blog này, các bạn có thể tìm hiểu thêm tại những bài blog không giống trên fips.edu.vn như:

Deep
Walk

Node2Vec

Với ppp (hay còn sót lại là return parameter) quy định tài năng quay lại 1 nút trước kia trên bước tiến ngẫu nhiên. Cùng với ppp bự thì ít có công dụng quay lại nút trước đó với ngược lại.

Với qqq (hay sót lại là in-out parameter) quy định năng lực bước đi "gần" hay "xa" so với nút ban đầu. Với q>1q > 1q>1 thì bước tiến ngẫu nhiên có xu thế đi quanh lẩn quẩn nút thuở đầu và ngược lại, rời khỏi xa ngoài nút ban đầu.

Ví dụ cùng với việc áp dụng node2vec trước và sau khi áp dụng lên tập dữ liệu về persona data

Điểm hạn chế những các quy mô Vertex/Node Embedding nói chung

Nhìn chung, các quy mô Node Embedding đều tìm hiểu việc ánh xạ các nút trong vật thị sang 1 không khí vector mới, với những nút cạnh bên nhau, có context tương tự nhau đang ở sát nhau.

Tuy nhiên, có 1 số vấn đề như sau:

Trong phần tiếp, ta đang đề cập cho tới các quy mô thuở ban đầu của GNN cũng như các quy mô liên quan mang lại 2 có mang tranductive với inductive learning trên và hướng cải thiện

Reference https://ai.stackexchange.com/questions/14003/

Để dễ dàng và đơn giản và dễ hiểu, ta tư tưởng 1 mô hình GCN như sau:

Để dễ hình dung, họ hãy làm 1 số ví dụ bé dại như sau:

Ví dụ 1

Đồ thị tất cả 6 nút từ bỏ A -> F. Để solo giản, với từng nút sẽ được biểu diễn bằng 1 trọng số (hay lấy một ví dụ node embedding hiện tại của nút A = <0.1>)

Với đưa định từ đầu rằng những nút ở kề bên nhau là gần giống nhau. Trường đoản cú đó, ta tiến hành 1 phép toán đơn giản để tổng hòa hợp lại thông tin của những nút ở bên cạnh của nút viv_ivi​ nỗ lực thể, bằng cách lấy trung bình những giá trị của những nút lận cận + quý hiếm của nút viv_ivi​, ta thu giá tốt trị new ppp, lắp giá trị new ppp này mang lại nút viv_ivi​. Đối với các nút khác cũng thực hiện tương tự trong 1 step. Các step tiếp nối cũng liên tục thực hiện phép toán vừa nêu với tất cả các nút vào mạng. Sau step 1, ta thu được các giá trị mới cho đồ vật thị như sau:

Có thể thấy rằng, giá trị hiện tại của những nút trong mạng vẫn được điều chỉnh lại cùng san đều hơn giữa các nút, số đông nút ngay sát nhau sẽ có được giá trị sát nhau hơn, phần nhiều nút có cấu trúc liên kết như là nhau như nút E và F hồ hết nhận cực hiếm là kiểu như nhau.

Nếu gọi A0A^0A0 là cực hiếm nút A tại step 0, tương tự như các cùng với nút không giống thì ta có công thức

Có thể thấy rằng, cùng với 2 step, giá chỉ trị hiện tại của nút A bị ảnh hưởng bởi những nút bên trong phạm vi 2 cách nhảy tính từ nút A, bao hàm cả 5 nút còn lại. Nhưng nếu đưa sử có một nút G nối độc lập với nút F chẳng hạn thì giá trị bây giờ của A chưa bị tác động bởi nút G (vì 3 cách nhảy)

Với phép toán tính mức độ vừa phải (mean) mặt trên, ta hoàn toàn có thể thay cầm bằng 1 số phép toán khác, được điện thoại tư vấn là aggregation function (sẽ được đề cập kĩ rộng tại mô hình Graph
Sage). Cầm lại, giá trị của A1A_1A1​ sẽ tiến hành biểu diễn tóm gọn như sau

Ví dụ 2

GCN

1 hidden layer của GCN có thể được trình diễn như sau: Hi=f(Hi−1,A)H^i = f(H^i - 1, A)Hi=f(Hi−1,A), vào đó:

Trong đó, hàm f có thể được biểu diễn đơn giản dễ dàng bằng 1 công thức sau: Hi+1=f(Hi,A)=σ(AHi
Wi)H^i + 1 = f(H^i, A) = sigma(A H^i W^i)Hi+1=f(Hi,A)=σ(AHi
Wi), với:

Nhưng với bí quyết hiện tại, bao gồm 2 điểm tiêu giảm như sau:

Từ đó, công thức ban đầu được thay đổi thành

Hi+1=f(Hi,A)=σ(AHi
Wi)=σ(D−1AHi
Wi)H^i + 1 = f(H^i, A) = sigma(A H^i W^i) = sigma(D^-1A H^i W^i)Hi+1=f(Hi,A)=σ(AHi
Wi)=σ(D−1AHi
Wi)

σ(D−1AHi
Wi)=σ(D−1/2AD−1/2Hi
Wi)sigma(D^-1A H^i W^i) = sigma(D^-1/2A D^-1/2 H^i W^i)σ(D−1AHi
Wi)=σ(D−1/2AD−1/2Hi
Wi)

với H0=XH^0 = XH0=X

Reference http://web.stanford.edu/class/cs224w/slides/08-GNN.pdf

Những điểm yếu kém / hạn chế của mô hình GCN truyền thống và phía cải thiện

Ta có, hv0=xvh^0_v = x_vhv0​=xv​, với với từng aggre function sản phẩm công nghệ k, trên từng nút v∈Vv in Vv∈V, ta tổng hợp tin tức từ các nút ở kề bên u,∀u∈N(v)u, forall u in N(v)u,∀u∈N(v), thu được 1 vector màn trình diễn h
N(v)kh^k_N(v)h
N(v)k​. Những hàm aggre biểu diễn có thể sử dụng 1 số những hàm đơn giản và dễ dàng như mean, pooling, ... Tuyệt thậm chí những mạng như lstm

Với thông tin thu được tổng phù hợp từ các nút bên cạnh h
N(v)kh^k_N(v)h
N(v)k​, ta tiến hành concat h
N(v)kh^k_N(v)h
N(v)k​ với tin tức của nút vvv trên step trước đó (k - 1).

Với vector mới vừa mới được concat, ta đưa sang một fully connected layer dễ dàng với 1 hàm kích hoạt phi con đường tính sống cuối, lấy ví dụ Re
LU. Đồng thời normalize hvk,k∈Kh^k_v, k in Khvk​,k∈K

Sau lúc thực hiện đo lường và thống kê qua K lần (K aggre function), ta thu được feature vector zv≡hv
K,∀v∈Vz_v equiv h^K_v, forall v in Vzv​≡hv
K​,∀v∈V

Ta có thể stack nhiều aggre function tiếp tục nhau với ý muốn muốn mô hình sẽ sâu hơn cùng học được rất nhiều các abstract feature. Mặc dù nhiên, với tài liệu đồ thị, vấn đề stack vô số aggre function cũng không lấy lại khác hoàn toàn quá nhiều về khía cạnh kết quả, thậm chỉ ảnh hưởng đến performance của tế bào hình. Hay ta áp dụng 1, 2 aggre function là đủ.

Bằng việc thi công các hàm aggre function như vậy, trọng số của mô hình dần được cập nhật dựa trên thông tin những nút kề bên u,∀u∈N(v)u, forall u in N(v)u,∀u∈N(v) của nút vvv. Khi đó, tế bào hình có chức năng tổng quát tháo hóa giỏi hơn (better generalization) với những điểm tài liệu mới (unseen node). Với các unseen node bắt đầu như vậy, embedding vector được tạo ra dựa trên tin tức từ những nút cạnh bên của unseen node với từ chính node feature của nút đó. Giải thuật này có tính vận dụng cao hơn, cân xứng với nhiều vấn đề mà dữ liệu to hơn và biến hóa thường xuyên như: dữ liệu mạng xạ hội, dữ liệu những trang wikipedia được liên kết, tài liệu từ những paper new khi cite / reference tới các paper trước đó, giỏi dữ liệu người tiêu dùng upvote, video hay follow user chủ yếu trên trang web fips.edu.vn này trên đây

Aggregator functions

Dữ liệu dạng đồ thị không có tính sản phẩm công nghệ tự, kha khá về địa chỉ như các dạng tài liệu như sequence, image, ... đề xuất giả định rằng những aggregator function được tư tưởng cũng yêu cầu có đặc điểm là symmetric (tức ít bị ảnh hưởng bởi hoán vị của các nút lân cận). Trong paper bao gồm đề cập cho tới việc thực hiện 3 aggregator function là mean, pooling với LSTM

Mean aggregator, là một trong non-parametric function và symmetric, đơn giản và dễ dàng là bài toán lấy mức độ vừa phải vector của những nút ở kề bên tại mỗi vị trí, tốt element-wise mean operation. Việc triển khai concat 2 vector bên trên đoạn pseudo code trên gần tương tự như 1 "skip connection" vào mạng redidual network.

LSTM aggregator, là một parametric function. LSTM có thiết kế cho những bài toán dạng sequence, tức không phải symmetric. Tuy nhiên, trong paper gồm đề cập tới câu hỏi sử dụng các hoán vị bỗng dưng từ input đầu vào là các nút lấn cận. Hiệu quả thu được cũng khá khả quan so với các aggregator function khác

Pooling aggregator, vừa là 1 trong những parametric function cùng symmetric, có thiết kế theo công thức. Với σsigmaσ là activation function, maxmaxmax là toán tử element-wise max-pooling operation

Loss function

Với việc supervised learning, đầu ra gồm các feature embedding zvz_vzv​, ta rất có thể thiết kế thêm các layer, dễ dàng và đơn giản như 1 mạng fully connected layer sống cuối, với số node đầu ra bằng số class, hàm loss function sử dụng là cross entropy

Với việc un-supervised learnig, mặc dù không có label, tuy vậy với cách xây dựng từ mô hình, những node embedding thu được sau khoản thời gian training hoàn toàn có thể được áp dụng lại ở những downstream task.

Từ đó, hàm loss function được có mang cho câu hỏi un-supervised learning như sau:

Trong đó, uuu cùng vvv là 2 nút cạnh bên nhau, cạnh bên trong số bước đi ngẫu nhiên thắt chặt và cố định đã xác định từ trước. QQQ là tập hợp các cặp negative sample, tức 2 nút ko lận cận nhau. σsigmaσ là sigmoid function.

Dễ thấy rằng, việc tính loss là dựa vào các nút lạm cận, tùy số bước trong bước đi ngẫu nhiên phải giúp mô hình có chức năng tổng quát hóa rộng trên toàn dữ liệu, với khi áp dụng cho các unseen node; khác trọn vẹn với việc huấn luyện và giảng dạy embedding cố định và thắt chặt cho từng node như các quy mô node embedding như Deep
Walk hoặc Node2Vec. Đó đó là sự biệt lập lớn nhất giữa các mô hình tranductive learning (Deep
Walk, Node2Vec) với các mô hình inductive learning như Graph
Sage.

Pin
Sage - Pinterest Recommender Engine

Pinterest là 1 mạng làng mạc hội chia sẻ hình hình ảnh rất phổ biến. Nguồn tin tức trên Pinterest được xây cất dựa trên những thông tin về pins và boards. Với pins giống như như tác dụng lưu / yêu thích ảnh từ tín đồ dùng, còn boards là tổng phù hợp các hình ảnh cùng 1 nhà đề, có liên quan đến nhau, được xây dựng vị cộng đồng. Bài toán đặt ra với các kĩ sư Pinterest là làm sao để tăng thêm lượng thúc đẩy từ người dùng, bằng cách recommend các boards có liên quan khi người tiêu dùng thực hiện nay pin / save 1 bức ảnh nào đó

Tập dữ liệu mà mặt Pinterest giữ trữ tương đối lớn, khoảng tầm 2 tỉ lượt pins cùng 1 tỉ những boards, với khoảng 18 tỉ connection (edge) giữa các pin với board. Trọng trách của việc recommend là desgin được cỗ node embedding cho những pins nhằm từ đó tiến hành recommend các ảnh tương đồng hoặc các board gồm liên quan. Và mặt Pinterest có thừa kế từ mô hình Graph
Sage ta vừa luận bàn bên trên bằng cách xây dựng 1 bi-partite graph (đồ thị 2 phía) với cùng 1 bên là các pins, một bên là những boards và liên kết giữa pins-boards

Với Node Embedding được khởi tạo ban đầu, các nhà cách tân và phát triển bên Pinterest tận dụng các metadata từ nhiều kiểu tài liệu khác nhau, tự cả hình ảnh và text để tạo những node embedding xix_ixi​ thuở đầu ứng cùng với từng node. ở kề bên đó, trong paper Pin
Sage còn nhắc tới các hướng improve khác như: Producer consumer mini-batch construction, Efficient Map
Reduce Inference, Negetive Sampling Mining, Curriculum Training, ...

Xem thêm: Sửa Lỗi Không Thấy Biểu Tượng Pin Laptop Trên Thanh Công Cụ Windows 10/8/7

Trong quá trình thực hiện A/B test, đội ngũ mặt Pinterest cũng thấy rằng tính năng của khối hệ thống được tăng thêm đáng kể

Uber
Eat - user-based recommender engine

Mỗi bipartite graph sẽ được xây dựng để phục vụ cho 1 mục đích recommend riêng, lấy ví dụ như hình ảnh gif mặt dưới

Có 1 điểm chăm chú trong giải pháp xây dựng node embedding ban đầu. Vì những nút hiện nay tại bao gồm 3 thực thể không giống nhau (user-dish-restaurant, còn ví dụ như của pinterest bên trên là 2 thực thể pin-board) nên các nút sẽ sở hữu các initial embedding với số chiều khác nhau. Ta tiến hành thiết lập thêm 1 mạng MLP ứng cùng với từng nút thực thể nhằm quy về 1 node embedding với số chiều là cầm cố định.

Vì 1 user rất có thể đặt 1 món ăn đủ lần hoặc đặt món ăn thường xuyên từ một số bên hàng, phải trong phần loss function cũng triển khai sửa đổi để re-ranking lại những nút trong thiết bị thị

Bên Uber cũng tiến hành thực hiện A/B testing với cũng nhận thấy n