GIẢI MÃ HÌNH ẢNH BẰNG MÔ HÌNH MẠNG TÍCH CHẬP (IMAGE DECODING USING CONVOLUTIONAL NEURAL NETWORK MODELS)

One Shot Learning One Shot Learning là một trong những thuật toán xác minh khuôn mặt thực hiện một tập huấn luyện hạn chế nhằm học một hàm similarity nhằm mục tiêu ước lượng sự khác biệt giữa hai tấm hình. Hàm này được áp dụng cho nhị tấm ảnh thường được ký kết hiệu $d( extrmimage 1, extrmimage 2)$.

Siamese Network Siamese Networks nhắm đến việc học cách mã hóa tấm hình ảnh để rồi định lượng sự không giống nhau giữa hai tấm ảnh. Với một tấm hình ảnh đầu vào $x^(i)$, cổng output được mã hóa thường được ký kết hiệu là $f(x^(i))$.

Triplet loss Triplet loss $ell$ là 1 hàm mất đuối được giám sát dựa trên màn trình diễn nhúng của bộ ba hình hình ảnh $A$ (mỏ neo), $P$ (dương tính) với $N$(âm tính). Ảnh mỏ neo và ảnh dương tính các thuộc một lớp, trong những lúc đó ảnh âm tính thuộc về một tờ khác. Bằng những gọi $alphainmathbbR^+$ là tham số margin, hàm mất mát này được khái niệm như sau:

Neural style transfer

Ý tưởng phương châm của neural style transfer là tạo thành một ảnh $G$ dựa trên một nội dung $C$ và một phong cách $S$.

Tầng kích hoạt trong một tầng $l$ mang lại trước, tầng kích hoạt được ký hiệu $a^$ cùng có những chiều là $n_H imes n_w imes n_c$

Hàm mất mát ngôn từ Hàm mất mát nội dung $J_ extrmcontent(C,G)$ được áp dụng để khẳng định nội dung của hình ảnh được sản xuất $G$ biệt lập với văn bản gốc trong hình ảnh $C$. Nó được định nghĩa như bên dưới đây:

Ma trận phong thái Ma trận phong thái $G^$ của một tầng mang lại trước $l$ là 1 trong ma trận Gram mà mỗi nhân tố $G_kk"^$ của ma trận khẳng định sự đối sánh tương quan giữa kênh $k$ và kênh $k"$. Nó được tư tưởng theo tầng kích hoạt $a^$ như sau:

Lưu ý: ma trận phong thái cho hình ảnh phong phương pháp và ảnh được tạo được ký hiệu tương xứng là $G^(S)$ cùng $G^(G)$.

Hàm mất mát phong thái Hàm mất mát phong thái $J_ extrmstyle(S,G)$ được sử dụng để khẳng định sự biệt lập về phong thái giữa ảnh được tạo $G$ và hình ảnh phong bí quyết $S$. Nó được định nghĩa như sau:

Hàm mất mát tổng quát Hàm mất mát tổng thể được định nghĩa là sự phối hợp của hàm mất mát văn bản và hàm mất non phong cách, độ đặc trưng của chúng được khẳng định bởi nhị tham số $alpha,eta$, như dưới đây:

Lưu ý: quý hiếm của $alpha$ càng béo dẫn tới việc quy mô sẽ vồ cập hơn mang đến nội dung, trong những khi đó, quý hiếm của $eta$ càng phệ sẽ khiến nó ân cần hơn cho phong cách.

Những kiến trúc sử dụng computational tricks

Generative Adversarial Network Generative adversarial networks, hay còn được gọi là GAN, là sự kết hợp giữa mô hình khởi chế tác và mô hình phân biệt, khi mà quy mô khởi tạo nỗ lực tạo ra hình hình ảnh đầu ra chân thực nhất, kế tiếp được gửi vô mô hình phân biệt, mà kim chỉ nam của nó là rõ ràng giữa ảnh được tạo nên và ảnh thật.

Lưu ý: có tương đối nhiều loại GAN không giống nhau bao gồm từ văn phiên bản thành ảnh, sinh nhạc với tổ hợp.

Res
Net kiến trúc Residual Network (hay nói một cách khác là Res
Net) sử dụng những khối residual (residual blocks) với một lượng lớn các tầng để sút lỗi huấn luyện. Phần đông khối residual tất cả những đặc thù sau đây:

Inception Network phong cách xây dựng này thực hiện những inception module và nhắm tới việc thử các tầng tích chập khác nhau để tăng hiệu suất trải qua sự đa dạng và phong phú của các feature. Thay thể, phong cách xây dựng này áp dụng thủ thuật tầng tích chập $1 imes1$ để hạn chế gánh nặng nề tính toán.

Kết quả thu được với bài toán tái cấu tạo lại tin tức từ bảng biểu, từ trên xuống dưới:

Mình sẽ đề cập kĩ hơn về những baseline models mình thực hiện bên dưới.

Document Understanding là 1 trong topic research khôn cùng rộng, bao gồm nhiều câu hỏi con bên trong, là quá trình sử dụng AI hay các công nỗ lực RPA (Robot Process Automation) để tự động hóa quá trình phân loại, tìm kiếm kiếm, nhận dạng với trích rút thông tin từ 1 loại văn bạn dạng (document) bất kỳ nào đó. Chuyển động được trên những loại văn bản có kết cấu như: giấy CMND, giấy khai sinh,... Hay các loại văn bản phi cấu trúc, phức tạp hơn như: hóa đơn, bảng biểu,...

1 số các topic trong Document Understanding như:

Các chúng ta có thể tham khảo thêm tại các nguồn tài liệu sau:

Định nghĩa bài toán: là vấn đề phát hiện, dấn dạng, trích rút thông tin và lưu giữ đúng mực bố viên và hình hài của bảng biểu, từ đó hoàn toàn có thể lưu trữ các thông tin dạng bảng biểu dưới những format rất có thể chỉnh sửa được như Docx, Excel,... Là việc có tính áp dụng cao trong bài toán số hóa văn bản, chỉnh sửa, tra cứu kiếm cùng truy vấn các tài liệu. Vào thời gian cách đây không lâu mới nhận ra sự quan lại tâm nhiều hơn từ xã hội nghiên cứu, những SOTA model và solution được chào làng hơn.

Các vấn đề con nổi bật về dữ liệu bảng (table):

Trong bài blog này, mình sẽ có được đề cập cho tới 3 vấn đề đầu, việc thứ 4 về Table Understanding sẽ không còn nói trên đây.

Để có thể thực hiện những bài toán về TSR với TR, họ cùng tư tưởng 1 số đối tượng người tiêu dùng cơ phiên bản trong bảng biểu trước, bao gồm:

Để dễ hiểu hơn, hãy cùng quan sát hình minh họa mặt dưới:

Mình lâm thời gọi các đường đỏ là các đường phân bóc tách hàng / cột. Dễ thấy, nếu phân phân thành các grid thì bảng này bao gồm 4x3=12 ô grid nhỏ. Còn trường hợp hợp các grid của thuộc 1 span-cell thì bao gồm 9 cells (2 span-cells và 7 single-cells). Cùng với cách phân loại grid như vậy, ta có 1 table 4 hàng, 3 cột; những đường phân tách hàng gồm index là 0,1,2,3,4 (đường kẻ đỏ ngang và 2 biên bên trên dưới), các đường phân tách cột bao gồm index là 0,1,2,3 (đường kẻ đỏ dọc cùng 2 biên trái phải). Từ đó, ta sản xuất được những relative position của từng cell bao hàm 4 thông số kỹ thuật (start_row, end_row, start_col, end_col).

Ví dụ: cell Australia tất cả relative position là (1, 3, 0, 1), cell Precipitation 2001-2005 bao gồm relative position là (0, 1, 0, 3), cell Queensland có tọa độ (2, 3, 1, 2), tương tự như với những cell khác,... Còn absolute position là vị trí thiết yếu xác, lấy ví dụ (100, 100, 150, 120),...

Các phần về Column Header Cell với Projected Row Header Cell, các chúng ta cũng có thể nhìn ảnh minh họa dưới (trong paper Table
Transformer)

Ngoài ra, để ship hàng cho 2 bài bác toán quan trọng TSR cùng TR, phần bảng cũng được phân tạo thành các một số loại bảng không giống nhau:

Hay ví dụ như cách phân nhiều loại trong tập dữ liệu TNCR, bảng được phân thành 5 loại:

1 số tập tài liệu về TD, TSR với TR điển hình

Deep
De
SRT

Table
Net

Graph
TSR

Phần modeling có phong cách thiết kế theo dạng đồ gia dụng thị (graph) và quy mô hóa với Graph Neural Network (GNN). Các bạn có thể tham khảo bài xích blog sau của mình để gọi hơn về GNN:

Với GNN, các node trong mạng được trình diễn là những bounding-box của chữ (text), ví như hình thì những chữ như: Method, D1, D2, P, R, F1,... Sẽ ứng với từng node (đỉnh) trong graph. Các cạnh của thiết bị thị đó là các mặt đường nối các đỉnh. Paper mô hình hóa việc TSR dưới dạng 1 bài xích Edge-classification (phân loại cạnh của trang bị thị), tức với các đỉnh và cạnh đã có, ta sẽ xác minh xem những cạnh vừa tạo sẽ thuộc 1 trong những 3 label: 0 / 1 / 2 (0 là không tồn tại liên hệ, 1 ứng với mặt đường xanh lá trên tức tất cả mối tương tác ngang, 2 ứng với con đường đỏ tức bao gồm mối tương tác dọc)

Mối contact ngang (đường xanh lá) tức 2 cell gần cạnh ứng với cạnh chính là thuộc cùng 1 mẫu hoặc span-cell và các cell bé của nó. Ví như cell Method là 1 trong những row-span cell, sẽ có 2 đường nối cho tới 2 cell ở bên cạnh khác là D1 cùng P. Tương tự đối với mối contact dọc (đường đỏ)

Bằng việc xác định các mối tương tác giữa từng cell (0 / 1 / 2) như vậy, ta có thể xác định được các span-cell và tiến hành tái cấu trúc bảng như hình biểu hiện trên. Với một row-span cell Method gồm 2 dòng nhỏ và 2 column-span D1, D2 cùng với 3 cột nhỏ (P, R, F1).

Tuy nhiên, phương pháp này cũng xuất hiện những tinh giảm nhất định, mình đang đề cập kĩ hơn ở chỗ Section lớn bên dưới.

Reference:

Table2HTML

Về phần model, Table-MASTER được dựa trên mã sản phẩm MASTER, là 1 mã sản phẩm OCR (nhận dạng ký kết tự) cần sử dụng transformer. Tuy nhiên, trường hợp chỉ output ra những thẻ HTML string thì chỉ nhận ra được phần cấu tạo của bảng thôi (không tất cả nội dung), không nhận ra được tọa độ những cell thì không tồn tại căn cứ để mapping phần nội dung vào từng cell tương ứng! bởi vì đó, vào phần mã sản phẩm của Table-MASTER được thiết kế thêm 1 nhánh nhỏ dại Transformer-layer nữa bỏ phần Bounding-box Regression, tương tự như các model Object Detection, để xác định tọa độ bounding box của các cell (single-cell hoặc span-cell). Từ đó, tối ưu đồng thời cả hai nhánh output đầu ra của model

1 tool không giống cũng implement theo hướng Table2HTML là Paddle
Structure từ bỏ Paddle
OCR. Mặc dù nhiên, phần model có thiết kế bé dại gọn lại với CNN-Seq2Seq-Attention, hiện tại support thêm các feature khác ví như Layout Analysis, export khổng lồ editable format (Excel).

Reference:

Deep Split-Merge

Về cách thức tạo ground-truth label đến Split-model như hình trên, mình sẽ diễn đạt kĩ hơn ở chỗ Pipeline bên dưới!

Như vậy, sau khi đã khẳng định các vùng phân tách, ta rất có thể nhận biết được những grid trên table (4 mặt hàng x 3 cột = 12 grids cùng với table trên). Cùng với Merge-model để xác minh span-cell thì khá khác 1 chút, model output ra 2 ma trận (1 cho xác định column-span cell, 1 mang lại row-span cell), giá trị trong đoạn <0, 1>, với giá trị 1 biểu thị rằng 2 grid gần nhau rất cần phải merge để chế tạo thành 1 span-cell mới

Ví dụ với grid 4x3 (M x N) đang có, ta sẽ có 2 ma trận ground-truth 2 chiều là gt_D đến row-span cell cùng với size: (M - 1) x N = (3 x 3) với gt_R cho column-span cell cùng với size: M x (N - 1) = 4 x 2. Các bạn nhìn 2 ma trận gt cùng với số 1 bộc lộ rằng một phần các mặt đường ngang/dọc màu đỏ cần xóa đi để chế tạo ra thành 1 span-cell, lấy ví dụ như với gt_D đó là phần đường red color cắt ngang qua chữ Australia! Cuối cùng, khi tất cả được những thông tin về tọa độ đúng mực của những grid và khẳng định được những span-cell, ta trả toàn hoàn toàn có thể thực hiện tại tái cấu trúc chính xác thông tin bảng!

Reference:

Split-Embed-Merge

Embed-model với grid đã xác định từ Split-model, áp dụng Roi-Align nhằm extract feature từng vùng grid của ảnh, điện thoại tư vấn là Vision Module. Đồng thời, Embed thực hiện thêm Text-Module với BERT có tác dụng feature extraction nhằm trích rút thêm text feature. Sau đó, 2 phần module được kết hợp với nhau để triển khai input cho mã sản phẩm thứ 3 là Merge, với đưa định rằng bài toán dùng cả vision-feature cùng text-feature sẽ giúp model đạt độ chính xác cao hơn khi tái cấu tạo bảng. Với thực nghiệm trong paper cũng cho thấy thêm điều đó!

Merge-model với ý tưởng cũng giống như như Deep-Split-Merge. Tuy nhiên, phần modeling, paper sử dụng 1 GRU model với Attention, tại từng timestep tất cả output là một trong những merged-map Mx
N dimension (Mx
N là kích thước grid tự Split-model), biểu hiện rằng tại timestep này, những grid nào rất cần được merge với nhau, thể hiện là 1, trái lại là 0. Tự đó, triển khai tái cấu trúc bảng tương tự như Deep-Split-Merge.

LGPMA

Phương pháp được xây dựng dựa vào Mask-RCNN, 1 model instance-segmentation, với đầu ra bao gồm cả bounding-box và mask segment. Model bao hàm 4 module chính: Aligned Bounding-box Detection, LPMA (local pyramid mask alignment), GPMA (global pyramid mask alignment) cùng Aligned Bounding-box Refinement.

Align Bounding-box Detection sử dụng các feature trích rút từ Roi-Align, gồm 2 nhánh đầu ra output là bbox-classification với bbox-regression, tựa như như trong model của Mask-RCNN, dùng để làm nhận biết những non-empty cells. Mặc dù nhiên, phần dấn diện cell này cũng không dễ để xác minh các cell, bởi dễ bị nhầm lẫn với những cell trống (empty-cells) khác. Vị đó, paper lời khuyên các module sau nhằm alignment và refinement các proposed-cell đó.

LPMA bao gồm 2 nhánh con, 1 đến binary segmentation dùng làm nhận biết những text region (vùng chứa chữ), 1 nhánh khác đến pyramid mask regression task để dìm diện 2 pyramid-mask của từng vùng text. Phần mask regression này thì trong paper có xem thêm từ 1 model text-detect là pyramid mask text detector, với việc dùng những soft-label segmentation, như bài toán tạo 2 mask với gradient giảm dần trường đoản cú vùng trung trung ương của text, xác định cho tất cả vertical mask và horizontal mask. Hình minh họa bên dưới:

GPMA cũng là một trong module segmentation, cùng với 2 module nhỏ tuổi hơn là Global segmentation cùng Global pyramid mask regression. Phần Global segmentation thì dễ dàng là 1 binary segmentation module để nhận thấy aligned-cells, bao hàm cả non-empty cells với empty-cells (khác với phần Align Bounding-box detection chỉ nhận diện non-empty cells). Phần Global pyramid mask regression dùng để nhận diện tất cả các non-empty cells trên chỉ cách 2 đầu ra là horizontal pyramid mask cùng vertical pyramid mask, cũng triển khai tạo soft-label segmentation như LPMA bên trên.

Phần loss function của LGPMA hơi "cồng kềnh", bao gồm nhiều thành phần:

Các loss RPN, CLS, BOX, MASK thì giống như như model Mask-RCNN thông thường. LPMA-loss với GPMA-loss là pyramid label regression loss, buổi tối ưu với pixel-wise L1 loss. SEG-loss là loss mang đến global binary segment của GPMA, thực hiện Dice-loss. Các hệ số lambda_1, lambda_2, lambda là các trọng số, trong phần thực nghiệm đầy đủ set = 1.

Module cuối là Aligned Bounding-box Refinement dùng làm tinh chỉnh lại phần dấn diện cell, bằng phương pháp voting các vùng segment được tạo ra bởi các local-mask cùng global-mask của các module trước đó. Sau đó, phần post-process cũng bao gồm 3 module bé là: Cell matching dùng làm nhận biết các cell cùng hàng, cùng cột; Empty Cell Search dùng để xác định các empty-cells cùng Empty Cell Merging dùng để làm merge những empty-cell ngay gần nhau.

1 hình ảnh kết trái với việc cho biết thêm tác dụng của module refinement khi điều khiển lại bbox location của từng cell cho chính xác!

Có thể thấy mô hình này có thiết kế khá phức hợp và với nhiều module bé bên trong, trích rút cả local và global feature rồi từ kia voting để refinement lại cấu trúc của bảng.

Reference:

TGRNet

Paper quy mô hóa việc với 2 module chính: Cell spatial location với Cell logical location prediction. Phần module Cell spatical location có chức năng xác xác định trí các cell của table, hay cell bounding-box. Cùng với backbone Resnet50-FPN, phối hợp cùng với 1 module Split-aggregation Module ngay sau để segment 3 đối tượng người sử dụng chính: background, cell với boundary (vùng phân chia). Sau đó, để giám sát và đo lường vị trí những cell, paper dựa trên những vùng connected-component sẽ segment được để xác định các bounding-box của từng cell.

Reference:

Table-Transformer

Về phần quy mô của Pub
Table áp dụng 1 mã sản phẩm object detection theo hình thức query-based là DETR nhằm xác định vị trí các đối tượng. Trong paper, người sáng tác dùng tập data này cho 3 task: Table Detection, Table Structure Recognition cùng Table Functional Analysis, hình ảnh mô tả như mặt dưới:

Table Detection là bài toán phát hiện tại bảng, vào paper thì tiếp cận theo hướng nhận thấy và xác minh 2 class: bảng thẳng cùng bảng bị xoay. Table Structure Recognition là vấn đề tái kết cấu lại bảng, được định nghĩa bằng việc xác định các: dòng, cột cùng span-cell (ảnh giữa); tự đó có thể tái cấu trúc lại bảng chính xác dựa bên trên việc xác minh phần giao nhau giữa những bbox của từng class. Table Functional Analysis là việc khẳng định phần Column Header (có thể đọc là tiêu đề của bảng) với projected-row-header cell (là những cell được kéo dài, như đề mục chia tách từng phần của bảng vậy). Có để ý rằng, ground-truth bounding-box của từng đối tượng người dùng trong dataset này là dilated-bounding-box, tức những bbox phần đa được mở rộng đến điểm chính giữa của vùng phân bóc tách giữa những cell, không có vùng white hay khoảng cách giữa chúng.

Trong paper gây ra 2 model: 1 mã sản phẩm Table Detection với 2 class (bảng thẳng, bảng bị chuyển phiên ngược chiều kim đồng hồ), 1 mã sản phẩm Detection khác gộp cả hai task TSR với TFA. Phần data của Pub
Table thì không hẳn là dạng bảng đã crop như Pub
Tab
Net, vào phần mã sản phẩm thứ 2 cũng có mang thêm class là table, tức bài toán phát hiện ra cùng lúc 6 đối tượng, bao gồm: Table, Table Row, Table Column, Table Spanning Cells, Table Column Header, Projected Row Header Cell. Rồi sau đó, thực hiện công việc xử lý post-process quan trọng để thu được phần cấu tạo bảng tương ứng. Các bạn cũng có thể crop lại hình ảnh cho sát dựa trên class table, rồi tựa như train model TSR cùng với 5 class còn lại.

Tại repo chủ yếu của paper bắt đầu chỉ cung ứng file weight (20 epochs) mang lại Table Detection model. Dưới đây là phần metric evaluation cùng với m
AP mang đến 2 task, không hề nhỏ và quá trội hoàn toàn so cùng với baseline là Faster-RCNN!

Bên trên thì tôi cũng đã giới thiệu tương đối các các phương thức về Table Structure Recognition. Mình đã và đang thử nghiệm 1 vài cách thức trong số đó như: Graph
TSR, Split-Merge, Table2HTML, LGPMA, Table-Transformer và nhận thấy 1 vài yếu điểm và tiêu giảm như sau:

Từ đó, bản thân mới xây cất pipeline hiện tại gồm nhiều mã sản phẩm để nỗ lực vẫn gia hạn được độ chính xác và đạt độ tổng quan tốt trên dữ liệu thực tế. Phần pipeline như sau:

Các phần mã sản phẩm và phương pháp được thực hiện:

Table Detection

Về việc chọn dataset cho bài toán Table Detection, ưu tiên chọn các tập dataset với lượng sample lớn, nhiều chủng loại với nhiều nhiều loại bảng. Bên cạnh đó, việc annotate thêm data cho mã sản phẩm này cũng không khó, theo format của câu hỏi Object Detection và tùy một số