Tóm tắt văn bản / LLM + DiffusionCNN/DailyMailBộ dữ liệu tin tức tiếng Anh từ CNN và Daily Mail. Mỗi mẫu gồm bài báo nguồn và bản tóm tắt tham chiếu (highlights), dùng để huấn luyện và đánh giá mô hình tóm tắt văn bản.
TỪ BIỂU DIỄN ẨN ĐẾN NGÔN NGỮ

Hai hướng tiếp cận
Không gian ẩn

Hiệu chỉnh bản nháp và lập kế hoạch nội dung bằng mô hình khuếch tán.

01 Văn bản nguồn

0 từ

02 Cấu hình

Sinh bản nháp, ước lượng tín hiệu hiệu chỉnh bằng DLM và sinh lại bản tóm tắt.
○ Đang kiểm tra máy suy luận…
Kết quả được sinh bởi mô hình đã huấn luyện. Chất lượng phụ thuộc văn bản đầu vào.
✦
Khám phá các ví dụ đã kiểm chứng

Mở “Ví dụ minh họa” để xem đầu ra thực nghiệm và các đoạn nguồn hỗ trợ nhận xét.

Ví dụ khác

Kết quả tổng thể

Trực quan kết quả

BaselineRLDRDPSR-LLM
RLDR

Cải thiện tính nhất quán với nguồn

Cải thiện cả sáu chỉ số trên ba mô hình nền. SummaC của Qwen tăng từ 40,227 lên 66,417.

DPSR-LLM

Bao phủ nội dung qua kế hoạch ẩn

R@1 và R@Lsum cao hơn RLDR trên ba mô hình nền. SummaC thấp hơn baseline; cần kiểm tra tên riêng, con số và quan hệ sự kiện.

PHƯƠNG PHÁP 01 · RLDR

Học tín hiệu hiệu chỉnh (Residual Latent Diffusion for LLM Draft Refinement)

DLM ước lượng tín hiệu hiệu chỉnh có điều kiện theo văn bản nguồn và bản nháp. Bộ nhớ ẩn và bộ kết nối dựa trên truy vấn hỗ trợ LLM sinh lại bản tóm tắt.

Văn bản nguồn→LLM · Bản nháp→DLM · Hiệu chỉnh ẩn→Query bridge + LLM→Tóm tắt
PHƯƠNG PHÁP 02 · DPSR-LLM

Lập kế hoạch (Diffusion Plan-Guided Source Representation for LLM Summarization)

DLM tạo kế hoạch ẩn để truy vấn biểu diễn nguồn. Bộ nhớ nguồn được định hướng bởi kế hoạch đi vào LLM qua gated cross-attention.

Văn bản nguồn→DLM · Kế hoạch ẩn→Truy xuất biểu diễn nguồn→Gated cross-attention→Tóm tắt