Mô hình tạo sinh

Trong phân loại bằng thống kê, có hai cách tiếp cận chính là tiếp cận tạo sinh (sinh mẫu) và tiếp cận phân biệt. Hai cách này tính toán các bộ phân lớp (classifier) bằng nhiều cách khác nhau, tùy theo mức độ của mô hình thống kê. Thuật ngữ đặt tên cho các mô hình này không nhất quán,^[a] nhưng ba loại chính có thể được phân biệt đó là Jebara (2004):

Cho một biến quan sát (observable variable) X và một biến đích (target variable) Y, một mô hình sinh mẫu là một mô hình thống kê của phân phối xác suất đồng thời (joint probability distribution) trên X × Y, $P(X,Y)$ ;^[1]
Một mô hình phân biệt (discriminative model) là một mô hình xác suất có điều kiện của biến đích Y, cho trước một biến quan sát x, ký hiệu, $P(Y|X=x)$ ; và
Các phân lớp tính toán được tính toán mà không sử dụng mô hình xác suất cũng được gọi một cách ít chặt chẽ là "phân biệt".

Việc phân biệt giữa hai lớp cuối cùng này không được thực hiện một cách nhất quán;^[2] Jebara (2004) đề cập đến ba loại này là học tạo sinh, học điều kiện, và học phân biệt, nhưng Ng & Jordan (2002) chỉ phân biệt hai loại, gọi chúng là các phân lớp tạo sinh (phân phối đồng thời) và các phân lớp phân biệt (phân phối có điều kiện hoặc không có phân phối), không phân biệt giữa hai lớp sau.^[3] Tương tự, một bộ phân lớp dựa trên một mô hình tạo sinh là một phân lớp tạo sinh, trong khi một bộ phân lớp dựa trên một mô hình phân biệt là một phân lớp phân biệt, mặc dù thuật ngữ này cũng đề cập đến các bộ phân lớp không dựa trên một mô hình.

Xem thêm

Chú thích

^ Three leading sources, Ng & Jordan 2002, Jebara 2004, and Mitchell 2015, give different divisions and definitions.

Tham khảo

^ Ng & Jordan (2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y|x)$ , and then picking the most likely label y.
^ Jebara 2004, 2.4 Discriminative Learning: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."
^ Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."

Liên kết ngoài

Shannon, C. E. (1948). “A Mathematical Theory of Communication” (PDF). Bell Labs Technical Journal. 27 (July, October): 379–423, 623–656. doi:10.1002/j.1538-7305.1948.tb01338.x. hdl:10338.dmlcz/101429. Bản gốc (PDF) lưu trữ ngày 6 tháng 6 năm 2016. Truy cập ngày 25 tháng 1 năm 2021.
Mitchell, Tom M. (2015). “3. Generative and Discriminative Classifiers: Naive Bayes and Logistic Regression” (PDF). Machine Learning.
Ng, Andrew Y.; Jordan, Michael I. (2002). “On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes” (PDF). Advances in Neural Information Processing Systems.
Jebara, Tony (2004). Machine Learning: Discriminative and Generative. The Springer International Series in Engineering and Computer Science. Kluwer Academic (Springer). ISBN 978-1-4020-7647-3.
Jebara, Tony (2002). Discriminative, generative, and imitative learning (PhD). Viện Công nghệ Massachusetts. hdl:1721.1/8323., (mirror Lưu trữ 2020-01-13 tại Wayback Machine, mirror), published as book (above)

[1] Three leading sources, Ng & Jordan 2002, Jebara 2004, and Mitchell 2015, give different divisions and definitions.

[ngjordan2002generative-2] Ng & Jordan (2002): "Generative classifiers learn a model of the joint probability, $p(x,y)$ , of the inputs x and the label y, and make their predictions by using Bayes rules to calculate $p(y|x)$ , and then picking the most likely label y.

[3] Jebara 2004, 2.4 Discriminative Learning: "This distinction between conditional learning and discriminative learning is not currently a well established convention in the field."

[4] Ng & Jordan 2002: "Discriminative classifiers model the posterior $p(y|x)$ directly, or learn a direct map from inputs x to the class labels."

[a]

[1]

[2]

[3]