VinUni giới thiệu V-Bench, thước đo năng lực AI dành cho người Việt

V-Bench là bộ công cụ phi lợi nhuận được phát triển nhằm đánh giá toàn diện năng lực tiếng Việt của các mô hình ngôn ngữ lớn. Ảnh: VinUni

Theo VinUni, V-Bench được xây dựng trên bộ dữ liệu gồm hơn 40.000 câu hỏi và tác vụ, bao phủ nhiều lĩnh vực, với sự tham gia của hội đồng khoa học gồm 18 chuyên gia AI người Việt trong và ngoài nước. Đây hiện là một trong những công cụ đo lường khả năng xử lý tiếng Việt của các mô hình ngôn ngữ lớn (Large Language Model - LLM) toàn diện nhất.

V-Bench chia bộ công cụ theo 2 hạng mục lớn với 5 nhóm đánh giá chuyên biệt, bao gồm: Văn hóa ngầm định - đánh giá khả năng thấu hiểu các tầng nghĩa văn hóa ẩn sâu trong ngôn ngữ Việt như phong tục, tín ngưỡng, lịch sử; Đa dạng vùng miền - kiểm tra hiểu biết về phương ngữ Bắc - Trung - Nam, cách xưng hô và văn phong đặc trưng từng vùng; An toàn và chủ quyền số - đảm bảo tuân thủ các nguyên tắc an toàn thông tin quốc gia, chống thông tin sai lệch và bảo vệ chủ quyền số Việt Nam; Ứng dụng thực tiễn - đánh giá hiệu quả trong giáo dục, y tế cộng đồng và các lĩnh vực ứng dụng cụ thể của Việt Nam; Năng lực agentic AI - đánh giá khả năng lập kế hoạch, sử dụng công cụ, RAG và hành động tự chủ trong môi trường Việt Nam.

Nhờ đó, V-Bench không chỉ đo lường khả năng trả lời câu hỏi mang tính học thuật, mà còn đánh giá sự thấu hiểu văn hóa, ngôn ngữ vùng miền và khả năng hành động của AI trong bối cảnh Việt Nam, từ đó cho ra kết quả khách quan, toàn diện, sát với thực tế, có tính tham chiếu và giá trị định hướng cao cho cộng đồng. Đặc biệt, kết quả đánh giá của V-Bench được bảo chứng bởi hội đồng chuyên gia uy tín cùng phương pháp luận nghiêm ngặt và bộ dữ liệu có quy mô đồ sộ, khoa học, công phu nhất hiện nay.

Được xây dựng theo các kỹ thuật tương đồng và phổ biến trong nghiên cứu LLM quốc tế, V-Bench cũng có khả năng tương thích cao về thuật ngữ và quy trình với hệ sinh thái benchmark quốc tế, giúp các nhà phát triển LLM toàn cầu có thể tham gia đánh giá mà không gặp rào cản về quy ước kỹ thuật.

Theo GS.TS Dương Nguyên Vũ, V-Bench hướng tới xây dựng một hệ tham chiếu AI dành cho Việt Nam, giúp các cơ quan, doanh nghiệp và tổ chức có thêm cơ sở để lựa chọn mô hình AI phù hợp với từng nhu cầu sử dụng. Ảnh: VinUni

GS.TS. Dương Nguyên Vũ - Phó Hiệu trưởng, Giám đốc Khoa học Trung tâm Nghiên cứu AI Trường Đại học VinUni, cho biết: “Với bộ dữ liệu toàn diện cùng sự góp sức hoàn toàn khách quan, phi lợi nhuận của cộng đồng chuyên gia uy tín người Việt trên toàn cầu, V-Bench mong muốn góp phần định nghĩa lại tiêu chuẩn AI tại Việt Nam và xây dựng một hệ tham chiếu AI cho quốc gia. Kết quả đánh giá của V-Bench sẽ mang tới góc nhìn toàn cảnh, giúp các tổ chức, doanh nghiệp khám phá chiều sâu năng lực của từng mô hình AI, từ đó lựa chọn mô hình tối ưu cho từng bối cảnh sử dụng và nhu cầu thực tế”.

Hiện bộ công cụ được cung cấp miễn phí tại địa chỉ https://vbench.ai/ và đã công bố kết quả đánh giá tham chiếu đối với 15 mô hình ngôn ngữ lớn.

Trong thời gian tới, VinUni sẽ tiếp tục mở rộng V-Bench với các tiêu chí đánh giá liên quan đến hình ảnh và âm thanh như nhận diện chữ Nôm, biển hiệu vùng miền, biểu đồ, di sản văn hóa, nhận diện giọng nói ba miền, hiểu ngữ cảnh qua video ngắn và xử lý các tài liệu tiếng Việt có độ dài trên 100.000 token như văn bản pháp luật, hợp đồng, sách giáo khoa và trích dẫn chính xác từ văn bản pháp quy, công báo…

Theo VinUni, V-Bench là một trong những dự án nghiên cứu AI trọng điểm của trường, hướng tới đóng góp cho cộng đồng nghiên cứu và thúc đẩy sự phát triển AI có trách nhiệm tại Việt Nam.