Zalo và hành trình làm chủ LLM tiếng Việt

Khi thế giới đang dõi theo bước đi thần tốc trong lĩnh vực AI của các cường quốc, nhóm kỹ sư công nghệ Zalo bắt đầu hành trình khát vọng: Làm chủ trí tuệ nhân tạo bằng tiếng Việt.

Sự bùng nổ của trí tuệ nhân tạo tạo sinh (Generative AI) đã làm thay đổi hoàn toàn bức tranh công nghệ toàn cầu.

Từ khi OpenAI ra mắt ChatGPT vào cuối năm 2022, hàng loạt mô hình LLM tương tự liên tục xuất hiện, ứng dụng trong nhiều lĩnh vực như y tế, giáo dục, tài chính, pháp lý… Cuộc đua trở nên gay gắt, không chỉ ở quy mô doanh nghiệp mà còn ở quy mô quốc gia về năng lực huấn luyện, hạ tầng tính toán và dữ liệu.

Các công ty lớn như OpenAI, Google, Meta hay Microsoft với tiềm lực tài chính và điều kiện thuận lợi đều đã “nhanh chân” đầu tư hàng tỷ USD để sở hữu hàng nghìn GPU cao cấp như Nvidia H100 - nhân tố cốt lõi cho việc huấn luyện các mô hình LLM. Giá cổ phiếu Nvidia tăng chóng mặt trong giai đoạn đó, phản ánh cơn khát hạ tầng của toàn thế giới.

Trong khi đó, doanh nghiệp công nghệ ở các nước đang phát triển ngoài vấn đề chi phí, còn phải đối mặt với giới hạn về xuất nhập khẩu thiết bị chip AI từ Mỹ. Điều này dẫn đến thiếu thiết bị huấn luyện và “chậm chân” hơn so với các gã khổng lồ công nghệ. Với khát vọng nội địa, Zalo cũng không nằm ngoài vòng xoáy đó.

Về dữ liệu, những bài toán học máy trước đây đã đòi hỏi lượng dữ liệu huấn luyện lớn nhưng với các mô hình ngôn ngữ lớn, đây là lượng dữ liệu khổng lồ. Để có một mô hình đủ tốt, hệ thống LLM đòi hỏi hàng chục, thậm chí hàng trăm tỷ token văn bản đầu vào. Trong khi đó, về mức độ phổ biến, tiếng Việt không “có cửa” với tiếng Anh và tiếng Trung. Điều này đã làm khó khăn tăng lên gấp bội với các nhà phát triển LLM của Việt Nam.

Năm 2023, các mô hình ngôn ngữ lớn (LLM) như GPT-3.5, GPT-4 đã làm khuynh đảo thế giới công nghệ, và nhiều doanh nghiệp Việt Nam cũng lựa chọn fine-tuned model (kỹ thuật tinh chỉnh) sẵn có của nước ngoài để đi tắt, đón đầu quá trình huấn luyện LLM.

Zalo lại chọn một con đường khác - gian nan hơn, nhưng tự chủ hơn: Tự huấn luyện mô hình từ đầu (from-scratch model). Một hướng đi đòi hỏi mọi thứ đều phải tạo dựng từ con số 0 - từ dữ liệu, kiến trúc mô hình đến toàn bộ quá trình huấn luyện. Quyết định đó không phải để chạy đua với người khổng lồ mà để hiện thực hóa khát vọng của chính người Việt: làm chủ mô hình LLM bằng tiếng mẹ đẻ.

“Chúng tôi đã lường trước những khó khăn và vẫn quyết định gia nhập cuộc chơi từ sớm. Chúng tôi không cạnh tranh trực tiếp với các “ông lớn” mà chọn thị trường ngách, nơi chúng tôi có thể làm tốt hơn. Khát vọng của chúng tôi là xây dựng một mô hình mà người Việt làm chủ hoàn toàn - từ dữ liệu đến thuật toán”, tiến sĩ Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI chia sẻ.

Dù gặp nhiều trở ngại ở ba yếu tố chính gồm hạ tầng thiết bị, dữ liệu và trình độ huấn luyện, các kỹ sư Việt Nam đã chủ động tìm giải pháp vượt khó. Điều này minh chứng cho tinh thần và sức mạnh ý chí của người Việt trong các hoàn cảnh gian nan mà cụ thể ở đây là chinh phục thách thức trong quá trình phát triển LLM cho người Việt.

Muốn huấn luyện LLM, các kỹ sư cần có hạ tầng phù hợp. Nhưng tại thời điểm đó, những GPU như H100 của Nvidia gần như là “hàng hiếm toàn cầu”. Trong khi đó, các hãng lớn đã đặt trước cả năm và trả hàng triệu USD để sở hữu. Tại Việt Nam, Zalo cũng đã cố gắng mua 8 máy chủ DGX H100 nhưng không dễ dàng, phải chờ từng đợt bàn giao của nhà sản xuất.

Trong hoàn cảnh chưa có GPU của Nvidia, các kỹ sư Việt Nam đã phải linh hoạt dùng tạm GPU dân dụng để thực nghiệm trên từng dòng mã, chạy từng mô hình nhỏ. Thay vì chờ đợi, các kỹ sư chủ động chuẩn bị để khi sở hữu thiết bị hiện đại, mọi thứ đã sẵn sàng.

Về mặt dữ liệu, thay vì trông chờ vào nguồn tài nguyên sẵn có, Zalo đầu tư xây dựng kho dữ liệu chất lượng cao riêng cho tiếng Việt, nhằm bù đắp sự thiếu hụt nghiêm trọng so với tiếng Anh và tiếng Trung.

Nhờ chiến lược phát triển linh hoạt, Zalo đã rút ngắn thời gian phát triển thành công mô hình ngôn ngữ lớn của mình từ 18 tháng dự kiến xuống còn 6 tháng. Cuối năm 2023, mô hình ngôn ngữ lớn tiếng Việt của Zalo đã chính thức được ra mắt tại sự kiện quy tụ giới công nghệ và AI hàng đầu của Việt Nam - Zalo AI Summit. Tại đây, mô hình LLM của Zalo đã có màn chào sân thông qua thử thách Kahoot do Tinhte.vn đặt ra và bất ngờ vượt lên GPT 3.5, chỉ xếp sau GPT4 - mô hình LLM được đánh giá là mạnh nhất thế giới ở thời điểm đó.

Trên nền tảng đánh giá VMLU (Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models), mô hình của Zalo đạt năng lực gấp 1.5 lần GPT-3.5 của OpenAI. Tới cuối năm 2024, mô hình này còn vượt qua những tên tuổi lớn như GPT-4 (OpenAI), Gemma-2-9B (Google) hay Phi-3-small (Microsoft), chỉ đứng sau LLaMA-3-70B của Meta về năng lực xử lý tiếng Việt trên bảng xếp hạng của VMLU.

Không chỉ dừng lại ở nghiên cứu, Zalo đang từng bước đưa công nghệ từ phòng thí nghiệm ra cuộc sống bằng việc thương mại hóa và phổ cập hóa các sản phẩm ứng dụng từ LLM.

Đầu năm 2025, trợ lý hỏi đáp tổng hợp Kiki Info - được vận hành như một tài khoản chính thức (Official Account) trên nền tảng Zalo - đã thu hút hơn 1 triệu lượt người dùng chỉ trong chưa đầy 2 tháng. Một ứng dụng khác là Thiệp AI cũng đạt con số ấn tượng 15 triệu thiệp được tạo và gửi đi chỉ trong 2 tháng.

Hành trình của Zalo không chỉ là chuyện một công ty muốn phát triển công nghệ. Đó là mảnh ghép trong bức tranh lớn hơn - nơi Việt Nam đang quyết liệt đẩy mạnh đổi mới sáng tạo, với những chủ trương từ Nghị quyết 57-NQ/TW về phát triển khoa học, công nghệ và chuyển đổi số quốc gia. Trong đó, đặc biệt nhấn mạnh đến lĩnh vực trí tuệ nhân tạo.

Sự xuất hiện và phát triển nhanh chóng của LLM tiếng Việt từ Zalo không chỉ là bước tiến công nghệ của một doanh nghiệp, mà còn là minh chứng cho năng lực nội tại và tinh thần bền bỉ của đội ngũ công nghệ Việt Nam.

Với kỹ thuật “from-scratch” - huấn luyện mô hình từ con số 0, Zalo lựa chọn con đường dài, nhưng giúp Việt Nam thực sự làm chủ AI. Không chỉ về kết quả, mà còn về toàn bộ quy trình từ kiến trúc mô hình, dữ liệu, thuật toán, đến sản phẩm ứng dụng. Thành công của Zalo cũng đã giúp Việt Nam trở thành một trong số ít quốc gia Đông Nam Á sở hữu mô hình LLM nội địa - một cột mốc mang tính chiến lược trong bối cảnh cạnh tranh công nghệ toàn cầu ngày càng gay gắt.

Trên hành trình dài phía trước, Zalo không chỉ dừng lại ở một mô hình hay một số sản phẩm mà còn tiếp tục hoàn thiện mô hình để vừa phục vụ người dùng vừa tạo ra một nền tảng AI Việt Nam có chất lượng cạnh tranh: “Hành trình phát triển AI của Zalo vẫn còn dài. Chúng tôi sẽ tiếp tục tối ưu mô hình theo cả chiều rộng và chiều sâu, đồng thời đẩy mạnh tính ứng dụng thực tiễn. Mục tiêu cuối cùng là tạo ra những sản phẩm AI chất lượng phục vụ thiết thực cho người Việt", ông Sơn cho biết thêm.

Việc Zalo phát triển thành công LLM tiếng Việt không chỉ là bước đi đột phá của một doanh nghiệp, mà còn mở ra tương lai tiềm năng cho trí tuệ nhân tạo Việt Nam. Sự bền bỉ và khát vọng của người Việt đã dẫn dắt hành trình chạm đến những kết quả xứng đáng. Tương lai AI Việt Nam sẽ không chỉ có một “Zalo”, mà còn có cả một thế hệ kỹ sư dũng cảm tiếp bước, kế thừa và chinh phục thế giới công nghệ.