Xin chào tất cả các bạn. Tuần trước, tôi có giới thiệu công cụ Automoderator, một công cụ lùi sửa tự động do bên Wikimedia phát triển cho các dự án Wikimedia. Công cụ này giống các bot lùi sửa tự động trên enwiki, simplewiki và một số wiki khác, kiểm tra và lùi lại sửa đổi gây hại dựa trên mô hình học máy "Xác suất Nguy hại" (Revert Risk). Công cụ này có một ưu thế là không phụ thuộc vào các đặc trưng của ngôn ngữ sử dụng, có thể dùng trên nhiều dự án Wikimedia ngôn ngữ khác nhau. Bản thân công cụ do Wikimedia phát triển và duy trì nên sẽ không cần phải tốn nhiều thời gian xây dựng một bot lùi sửa riêng. Nhằm giúp triển khai công cụ này về Wikipedia tiếng Việt để giải quyết việc phá hoại vẫn còn tồn tại trên đây khi các tuần tra viên không phải lúc nào cũng online 24/24, tôi mở thảo luận này nhằm tìm đồng thuận đưa Automoderator về Wikipedia tiếng Việt. Thảo luận diễn ra trong vòng 15 ngày kể từ dấu chữ ký này của tôi. Sau thảo luận này, nếu có đồng thuận từ cộng đồng, một task Phabricator sẽ được đưa lên để bắt đầu quá trình triển khai công cụ Automoderator. Cảm ơn các bạn rất nhiều và mời các bạn dành chút thời gian để đưa ra ý kiến của mình. Anstertrò chuyện·đặt yêu cầu04:27, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Phần 1: Đưa công cụ Automoderator về Wikipedia tiếng Việt
Nếu Automoderator và dự án Citron tôi đang làm cùng hoạt động, thì sẽ giảm tải 2 vấn đề quan trọng trong hoạt động tuần tra: (1) Lùi sửa đổi phá hoại, (2) Báo cáo liên kết rác. Từ đó, cộng đồng có thể tập trung vào các hoạt động khác mang tính xây dựng hơn là bảo trì. Dang (thảo luận) 08:23, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Đồng ý Có người chấp nhận đứng ra thầu thì ok thôi. Hy vọng công cụ này sẽ giúp giảm tải gánh nặng cho các tuần tra viên. Thay vì theo dõi và lùi sửa các sửa đổi linh tinh, họ có thể có thời gian để săn rối (tình hình là rối càng ngày càng tinh vi + tăng mạnh trong thời gian 2-3 năm qua) hoặc viết bài chất lượng cho dự án. SicMundusCreatusEst (tiếng Latin) 08:17, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Đồng ý Công cụ này sẽ giúp ích rất nhiều cho các tuần tra viên, giúp các tuần tra viên có thể đỡ tốn thời gian lùi sửa đổi lặt vặt (v.d. phá hoại rõ ràng) và tập trung thực hiện những sửa đổi mang tính xây dựng cho bách khoa toàn thư nhiều hơn, v.d. chống rối, viết bài viết chất lượng tốt, v.v. Đây là dự án mà tôi mong muốn thực hiện nhiều nhất để như là một aid giúp đỡ trong việc tuần tra, giúp việc tuần tra hàng ngày của tôi và các thành viên khác đỡ bị nặng hơn. Tôi sẽ cùng giám sát hoạt động của công cụ này cùng Plantaest trong quá trình triển khai và chạy bot, để có đánh giá chi tiết về hiệu quả của công cụ trong việc hỗ trợ tuần tra chống phá hoại. Anstertrò chuyện·đặt yêu cầu08:40, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Bạn có thể bỏ qua bước này nếu không đồng ý triển khai Automoderator.
Automoderator là công cụ có thể thiết lập cục bộ trên Wikipedia tiếng Việt bằng cách sử dụng Special:CommunityConfiguration/AutoModerator. Chỉ có bảo quản viên mới có quyền kích hoạt và thiết lập công cụ này, và mọi thiết lập sẽ được lưu vào một trang JSON có tên là MediaWiki:AutoModeratorConfig.json. Hãy cho biết đề xuất của bạn về thiết lập ban đầu cho Automoderator. Thiết lập này sau khi triển khai xong có thể được tùy chỉnh sao cho phù hợp với hiện trạng của cộng đồng. Bạn có thể đề xuất: ngưỡng cho mô hình "Xác suất Nguy hại", quyền người dùng mà Automoderator sẽ không thực hiện việc lùi sửa, v.v.
Mặc định là cẩn trọng nhất (most cautious). Mức độ này nên dùng cho việc thử công cụ này trong những lần đầu tiên. Ngoài ra, theo hình này, còn nhiều ngưỡng khác (cautious, somewhat cautious, least cautious). Mời bạn chọn một trong các mức sau:
Lùi khá ít sửa đổi (ở mức tương đối), và tỷ lệ chính xác ở mức trung bình.
Đồng ý Tôi thấy mức này ổn. "Cẩn trọng nhất" = không giúp ích được nhiều cho dự án. "Khá cẩn trọng" = hại nhiều hơn lợi do tỷ lệ sai là cao (đồng nghĩa nó sẽ lùi sửa linh tinh khá nhiều). Lúc đó, giải quyết khiếu nại từ nhiều tv tích cực thôi cũng đủ mệt. Ít lùi sửa ở đây được hiểu là ít hơn so với phương án "khá cẩn trọng", chứ không phải số lùi sửa đổi tuyệt đối là ít. Ví dụ, mỗi ngày ở Wikipedia Vi có 10k sửa đổi. 10-20% bị lùi lại không phải là một con số nhỏ. Nó sẽ giúp giảm tải khá nhiều công việc cho các tuần tra viên. SicMundusCreatusEst (tiếng Latin) 08:07, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Bạn có thể đồng ý (hoặc không đồng ý) với mỗi quyền người dùng dưới đây. Những quyền người dùng ở đây sẽ được Automoderator bỏ qua, tức là bot sẽ không bao giờ lùi lại những sửa đổi của những người có quyền này.
Hiện có trong nhóm của ĐPV, BQV, người tự đánh dấu tuần tra và bot
Đồng ý Tôi là người đề xuất cờ "autopatrolled" cách đây hơn 10 năm. Ý tưởng này sẽ giúp cờ "autopatrolled" hoạt động với đúng chức năng của nó. Những tv có cờ này mà bị phát hiện có nhiều sửa đổi gây hại thì 1 BQV bất cứ có thể rút quyền này lại. Do đó, tôi nghĩ khả năng quyền này bị lạm dụng là cực kỳ thấp. Đây là một ý tưởng hay. Tôi ủng hộ! SicMundusCreatusEst (tiếng Latin) 08:03, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Đồng ý Rối chính trị với sửa đổi lâu năm + đặc tính ẩn danh vẫn có cờ extendedconfirmed với cơ chế cấp tự động của nó. Cơ bản, một rollback và patrol thường sẽ được cấp quyền autopatrol. Phongđăng10:46, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Đồng ý Bot được giám sát bởi người dùng, chủ yếu thực hiện sửa đổi tốt, và với quy định nghiêm ngặt về bot như hiện nay (v.d. bot lạm dụng cờ để phá hoại hoặc gây hại sẽ bị cấm hoặc gỡ cờ) thì khả năng rất ít là sẽ bị lùi lại. Cho nên, việc cho công cụ bỏ qua sửa đổi của bot tôi cho là không có vấn đề gì. Anstertrò chuyện·đặt yêu cầu08:45, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Ý kiến Mang về rồi BQV nào đứng ra thầu mảng này? Ôm đồm về mà không ai quản lý cũng như không. Ví dụ, đây. Nên nhớ là chỉ có BQV mới có quyền sử dụng và cấu hình chức năng automoderator. Tôi sẽ phản đối nếu như không có bất cứ BQV nào đứng ra thầu mảng này. Tôi qua đây đọc thì thấy chưa có nhiều dự án đem quyền này xài. Đồng nghĩa là tôi không đồng ý để Wikipedia Vi làm "chuột bạch" để thí nghiệm cho cái chức năng mới này. Vài năm nữa nếu chức năng này đã được chứng minh hoạt động tốt ở nhiều dự án thì đem về đây xài cũng chưa muộn. Công cụ Content Translation hồi xưa cũng bị xách về đây và đã bị nhiều tv lạm dụng tạo ra cả núi rác (tới bây giờ vẫn chưa dọn xong, 10 năm sau vẫn chưa chắc dọn xong chứ đừng nói). Đừng bày vẽ thêm khi căn bản dự án không có đủ nhân lực. Có rất nhiều đề xuất bày vẽ cho đã xong bị chết yểu suốt nhiều năm qua. Ví dụ, 1, 2 và vân vân. SicMundusCreatusEst (tiếng Latin) 07:14, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Hiển nhiên. Tôi đã thỏa thuận với NgocAnMaster là An sẽ làm thủ tục trong tháng 10, qua tháng 11 tôi sẽ quan sát cách nó hoạt động. Mấy cái đó thì An sẽ làm vì ai làm cũng được, không cần quyền BQV. Dang (thảo luận) 07:23, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Lo ngại chủ yếu là vấn đề false positive (lùi nhầm), đây là vấn đề bình thường của các mô hình máy học, ClueBot NG của enwiki còn bị. Vì vậy, chỉ cần Automoderator hỗ trợ một phần nhỏ là được. Dang (thảo luận) 07:25, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Dang Lùi nhầm nhiều thì thành ra hại nhiều hơn lợi. Không nên so sánh với ClueBot NG của En vì căn bản Vi không có nhân lực như En để quản lý việc này. Theo tôi được biết là data để train mô hình máy học để hoạt động chống phá hoại ở dự án Wikipedia Vi là còn hạn chế. Bạn từng có ý định tạo ra 1 con bot tương tự như ClueBot NG của En, xong thấy khó quá bỏ qua. Sao giờ lại tính thầu luôn cái này? Tôi thấy chả có gì chứng minh là cái automoderator sẽ hoạt động tốt ở Wikipedia Vi. SicMundusCreatusEst (tiếng Latin) 07:36, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Đây là mô hình ổn hơn so với ORES hiện tại, mà ORES hiện tại đã được nhiều người dùng rồi, nhiều bạn đang dùng ORES để chống phá hoại, tức đã qua giai đoạn "chuột bạch". Dang (thảo luận) 07:44, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Tôi nhận định nó ổn hơn ORES, vì thời ORES thì phiên bản của viwiki là một bản dựa trên dataset cục bộ tại viwiki với thuật toán cũ kinh điển là Gradient Boosting. Còn mô hình đợt này là train dựa trên Multilingual Bert, một mô hình ngôn ngữ lớn (giống ChatGPT). Đó là lý do tôi tin về mặt kỹ thuật. Bạn có thể đọc thêm trong 2 liên kết tôi gửi ở trên. Dang (thảo luận) 07:55, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Tôi cho rằng chỉ cần Automoderator lùi được những sửa đổi rõ ràng là phá hoại thì cũng ok rồi. Đây là cách SeroBot bên Wikipedia tiếng Tây Ban Nha hoạt động, nó chạy dựa trên ORES, cứ > 95% phá hoại là lùi. Dang (thảo luận) 07:39, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Riêng tôi là tôi không tin tưởng bất cứ công cụ này do Meta tạo ra. Lý do là trong quá khứ đã có quá nhiều lần họ tạo ra những công cụ tào lao và bị nhiều cộng đồng ngôn ngữ khác nhau tẩy chay. Đợt giới hạn công cụ CT thôi họ cũng làm chả ra hồn. Quá chán với nhóm kỹ sư bất tài này của Meta, chỉ giỏi ăn tiền lương (lương khá cao). SicMundusCreatusEst (tiếng Latin) 07:39, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Tùy bạn thôi, lần trước bạn cũng lỡ miệng chê VisualEditor trong khi nhiều bạn khác cũng phản đối ý kiến này. Họ làm có cái tốt có cái tệ. Nếu đã thiên kiến rồi thì bạn có thể không tham gia thảo luận này. Dang (thảo luận) 07:40, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Dang Ai khen VisualEditor thì kệ họ, riêng tôi thì tôi chưa bao giờ xài VisualEditor. Các tv kỳ cựu của dự án tôi nghĩ cũng chả ai xài cái công cụ VisualEditor này. Ý bạn là sao? Tôi không có thiện cảm với Meta. Điều đó không đồng nghĩa tôi không có quyền tham gia vô cuộc thảo luận này. Tôi sẽ tham gia vô bất cứ cuộc thảo luận nào ở Wikipedia Vi nếu thấy cần thiết. Hại thì chống, lợi thì tôi ủng hộ. Phương châm hoạt động của tôi khá là đơn giản. SicMundusCreatusEst (tiếng Latin) 07:44, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Thiên kiến tức là luôn chê, mà không suy xét những mặt tích cực. Rõ ràng vụ VisualEditor là sai mà, khi công cụ rất hữu dụng có nhiều người dùng ngay tại viwiki. Bạn hay n thành viên kỳ cựu cũng không thay đổi được thực tế là vậy. Dang (thảo luận) 07:45, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Dang Đúng hơn thì thiên kiến là chê nhiều hơn khen. Tôi sẵn sàng lắng nghe những ưu điểm (nếu có). Bias thì ai cũng có. Ai dám tự nhận là mình có thiên kiến 0%? Quan trọng là phải có cái đầu tỉnh táo để suy tính lợi vs hại để chọn ra phương án tối ưu nhất. SicMundusCreatusEst (tiếng Latin) 07:56, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Dang Quan điểm khác nhau là bình thường. Quan điểm của tôi (dù có là thiểu số) thì tôi vẫn có quyền bảo lưu quan điểm. Quan điểm tại sao lại có đúng sai nhỉ? Bạn có nhầm lẫn gì chăng? Ví dụ nhé, ở Mỹ vẫn đang tranh cãi vụ phá thai ầm ầm. Theo bạn, pro-life hay pro-choice (quan điểm nào đúng, quan điểm nào sai?). Đã là quan điểm thì làm gì có đúng sai??? SicMundusCreatusEst (tiếng Latin) 07:47, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Dang Bạn dùng từ "đúng sai" là tôi thấy không ổn rồi. Không có đúng sai gì ở đây cả. Chỉ có đồng thuận và quan điểm thiểu số. Không phải lúc nào tôi cũng đồng ý với sự đồng thuận của cộng đồng. Tuy nhiên, tôi sẵn sàng bỏ qua quan điểm cá nhân để làm theo sự đồng thuận. Đó là cách hoạt động của dự án từ đó tới giờ. SicMundusCreatusEst (tiếng Latin) 07:52, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
@Nguyentrongphu: Tôi mới xem lại thì tôi nghĩ quan điểm thì không có đúng sai, nhưng dữ kiện (fact) thì có. Bạn nói VisualEditor hầu như có 0 người sử dụng, trong khi dữ kiện thực tế là có gần 2 triệu sửa đổi ở viwiki dùng VisualEditor. Như vậy, thông tin của bạn là sai sự thật. Còn quan điểm của bạn là pro- hay anti-WMF thì đương nhiên không có đúng sai vì tùy thuộc vào lăng kính và trải nghiệm cá nhân. Dang (thảo luận) 11:52, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Kiến trúc mô hình@P. ĐĂNG: Cái này bạn phải hỏi người tạo mô hình máy học, xem thêm thông tin tại: meta:Machine learning models/Production/Multilingual revert risk và meta:Machine learning models/Production/Language-agnostic revert risk. Bạn hỏi ChatGPT một câu như: "Meo meo là tiếng của chó hay mèo?" Bạn nghĩ rằng nó xác định bằng cách nào? Cơ chế của các mô hình LLM so với các mô hình máy học kinh điển là nó tự suy luận, chứ việc nó xác định như thế nào phụ thuộc vào rất nhiều thứ, bao gồm cả những ràng buộc suy luận đã có từ nền mô hình mà nó xây nên. Như theo hình kiến trúc, mô hình này được dựng trên một cái gọi là pre-trained model, tức là một mô hình đã có sẵn, và nó là BERT, một thuật toán LLM cạnh tranh với GPT. Dang (thảo luận) 09:20, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Thấy trang giới thiệu công cụ Automoderator nêu hoạt động dựa trên mô hình máy học. Người chuyên ngành đọc vào đương nhiên sẽ hiểu, đúng là hiện tại chưa rõ mấy thuật ngữ này, nên mới thắc mắc chút cụ thể mấy dữ liệu mô hình này hoạt động như thế nào để nắm thêm thông tin. Phongđăng09:49, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
@P. ĐĂNG: Không có gì, tôi cũng muốn giải thích dễ hiểu nhất, nhưng mà cái này khó giải thích được theo kiểu ELI5. Bạn cứ hiểu nó giống kiểu ChatGPT, tự suy luận như một con người, kiểu như nó đọc quy định rồi so thấy sửa đổi có vấn đề → lùi, đó là đặc trưng của các mô hình LLM. Còn mô hình kinh điển thường theo kiểu là dựa vào đặc tính (feature), kiểu như bạn có 5 dữ liệu về tiếng meo meo, 4 dữ liệu cho rằng đó là tiếng của mèo, 1 dữ liệu cho rằng đó là tiếng của chó, thì mô hình sẽ cho % mèo nhiều hơn. Dang (thảo luận) 09:55, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Plantaest Thanks thông tin thêm. Để hiểu rõ hơn tôi thì hay hỏi, phần nào để thảo luận cũng thêm sinh động chi tiết một chút đấy mà. Nếu vậy, để theo dõi hiệu suất của công cụ hoạt động, theo tôi sẽ có những tv truy cập nó hằng ngày. Có phải sau thảo luận này sẽ có 1 trang ghi nhật trình hoạt động của công cụ này? Phongđăng10:06, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Plantaest Ok, đã hiểu, vậy thì dễ hơn để theo dõi và truy cập. P/S Hình như, tôi thấy công cụ này dự định của cộng đồng là hỗ trợ "một phần" cho các tuần tra viên. Vậy cấu hình nó tại Wikipedia Vi có thay đổi mức hiệu suất chính của công cụ? Một phần ở đây là như thế nào? Phongđăng10:15, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
@P. ĐĂNG: Một phần là vì nó không lùi được 100% phá hoại (điều hiển nhiên). Khả năng cao nó sẽ lùi lại các phá hoại rõ ràng như tẩy trống trang. Tuy nhiên, tôi sẽ đánh giá 1 tháng để xem khả năng của nó thế nào. Dang (thảo luận) 10:17, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Plantaest Tôi nghĩ nó có thể dùng để lùi thêm như: thêm nội dung vô nghĩa, tục tĩu (ngôn từ này thì chắc phải có bộ sưu tập keywords đa dạng theo ngày nay). Nếu được thì công cụ chắc cũng ôm luôn được các sửa đổi này vì khá dễ nhận dạng. Tuần tra viên không cần tốn sức. Dự định là vậy, để xem công cụ này phát huy thế nào trước cái đã, giao cho robot nhiều việc thì đôi khi tác dụng ngược. Phongđăng10:26, ngày 13 tháng 10 năm 2024 (UTC)[trả lời]
Ok tôi đồng ý "Kiểm tra tự động". Lưu ý rằng việc này ngoài việc đặt tên cho tiện ích mở rộng và các cài đặt hệ thống thì nó cũng sẽ là tên người dùng của tài khoản đó. Phạm Ngọc Phương Linh ♥
Đồng ý Tôi cho rằng Automoderator có thể mang lại lợi ích trong việc tự động hóa một phần công việc chống phá hoại. Cần lưu ý là Automoderator được phát triển dựa trên 2 mô hình máy học được cải thiện so với thời của ORES: meta:Machine learning models/Production/Multilingual revert risk (phụ thuộc ngôn ngữ, có tiếng Việt), và meta:Machine learning models/Production/Language-agnostic revert risk (không phụ thuộc ngôn ngữ). Hiện tại, tôi đồng ý đứng ra xem xét khả năng hoạt động của nó để điều chỉnh tỷ lệ false positive (sai sót) ở mức chấp nhận được. False positive là một hiện tượng bình thường của các mô hình máy học, tương tự như hallucination (ảo giác) ở những mô hình ngôn ngữ lớn (LLM). Dang (thảo luận) 08:02, ngày 13 tháng 10 năm 2024 (UTC)
Ủng hộ Ayane aka. eunn 09:37, ngày 13 tháng 10 năm 2024 (UTC)
Ý kiến Mang về rồi BQV nào đứng ra thầu mảng này? Ôm đồm về mà không ai quản lý cũng như không. Ví dụ, đây. Nên nhớ là chỉ có BQV mới có quyền sử dụng và cấu hình chức năng automoderator. Tôi sẽ phản đối nếu như không có bất cứ BQV nào đứng ra thầu mảng này. Tôi qua đây đọc thì thấy chưa có nhiều dự án đem quyền này xài. Đồng nghĩa là tôi không đồng ý để Wikipedia Vi làm "chuột bạch" để thí nghiệm cho cái chức năng mới này. Vài năm nữa nếu chức năng này đã được chứng minh hoạt động tốt ở nhiều dự án thì đem về đây xài cũng chưa muộn. Công cụ Content Translation hồi xưa cũng bị xách về đây và đã bị nhiều tv lạm dụng tạo ra cả núi rác (tới bây giờ vẫn chưa dọn xong, 10 năm sau vẫn chưa chắc dọn xong chứ đừng nói). Đừng bày vẽ thêm khi căn bản dự án không có đủ nhân lực. Có rất nhiều đề xuất bày vẽ cho đã xong bị chết yểu suốt nhiều năm qua. Ví dụ, 1, 2 và vân vân. SicMundusCreatusEst (tiếng Latin) 07:14, ngày 13 tháng 10 năm 2024 (UTC)
Bình luận: Tôi nghĩ chúng ta nên một đặt tên tiếng Việt cho cái này. Tôi đề xuất "Hệ thống Kiểm tra tự động". Phạm Ngọc Phương Linh ♥ 
