CodeSteer- huấn luyện viên AI giúp mô hình ngôn ngữ ‘biết khi nào nên lập trình’

Hệ thống CodeSteer có thể nâng cao độ chính xác của các mô hình ngôn ngữ lớn trong việc giải quyết các bài toán phức tạp, chẳng hạn như lập lịch vận chuyển trong chuỗi cung ứng.

Các mô hình ngôn ngữ lớn (LLM) rất giỏi sử dụng lập luận văn bản để hiểu bối cảnh của một tài liệu và đưa ra câu trả lời hợp lý. Tuy nhiên, chính những mô hình này lại thường gặp khó khăn khi phải giải các bài toán đơn giản nhất.

Việc sử dụng văn bản để xử lý các nhiệm vụ tính toán hay thuật toán thường không phải là cách lý tưởng. Mặc dù một số LLM có thể sinh mã lệnh (như Python) để xử lý các truy vấn mang tính biểu tượng (symbolic), nhưng các mô hình lại không luôn biết khi nào cần dùng code, hoặc nên dùng loại code nào là phù hợp.

Có vẻ như LLM cần một “huấn luyện viên” để định hướng cách tiếp cận hiệu quả nhất.

CodeSteer - trợ lý thông minh giúp LLM điều hướng giữa mã lệnh và văn bản

CodeSteer là một LLM nhỏ hơn, được các nhà nghiên cứu tại MIT phát triển để hướng dẫn một LLM lớn hơn chuyển đổi linh hoạt giữa việc sinh văn bản và sinh mã lệnh cho đến khi có được câu trả lời chính xác.

CodeSteer sẽ tự động tạo ra một loạt các prompt (hướng dẫn) để điều hướng LLM lớn hơn. Nó sẽ xem xét các câu trả lời hiện tại và trước đó của mô hình sau mỗi vòng và cung cấp hướng dẫn để sửa hoặc tinh chỉnh cho đến khi đạt kết quả đúng.

Các nhà nghiên cứu phát hiện rằng, khi tích hợp CodeSteer, độ chính xác của LLM lớn trong các tác vụ biểu tượng (như nhân số, chơi Sudoku, xếp khối) được cải thiện hơn 30%. Hơn nữa, nó còn giúp các mô hình đơn giản hơn có thể vượt qua cả những mô hình tiên tiến trong các bài toán cần tư duy nâng cao.

Huấn luyện viên cho LLM - không cần can thiệp vào mô hình chính

Ví dụ, nếu bạn hỏi LLM: “Số nào lớn hơn, 9.11 hay 9.9?”, nó có thể trả lời sai do dùng lập luận văn bản. Nhưng nếu bạn yêu cầu nó viết mã Python để so sánh hai số này, mô hình có thể dễ dàng giải quyết bằng cách thực thi đoạn mã.

Mặc dù đã được tinh chỉnh để tạo code, LLM vẫn thường chọn đoạn code sai hoặc kém hiệu quả. Thay vì huấn luyện lại một mô hình lớn như GPT-4 hay Claude, các nhà nghiên cứu tại MIT lại tinh chỉnh một mô hình nhỏ hơn để hướng dẫn mô hình lớn.

“Giống như trong thể thao - huấn luyện viên không nhất thiết giỏi hơn vận động viên, nhưng vẫn đưa ra lời khuyên hữu ích. Với LLM cũng vậy”, Yongchao Chen, nghiên cứu sinh tại MIT nói.

CodeSteer hoạt động như một huấn luyện viên: nó đọc câu hỏi, xác định nên dùng văn bản hay mã lệnh, và loại mã nào là phù hợp. Sau đó, nó tạo prompt để LLM lớn trả lời. Nếu câu trả lời sai, CodeSteer tiếp tục gợi ý cách cải thiện - như thêm thuật toán tìm kiếm hoặc điều kiện ràng buộc vào đoạn mã - cho đến khi mô hình trả lời đúng.

CodeSteer còn có cơ chế kiểm tra độ phức tạp của mã lệnh, tránh việc mô hình “lười” dùng đoạn mã đơn giản không đủ chính xác. Ngoài ra, nó có khả năng tự xác thực kết quả bằng cách yêu cầu LLM viết code để kiểm tra lại đáp án.

Tạo bộ dữ liệu riêng cho bài toán phức tạp

Do thiếu bộ dữ liệu phù hợp để kiểm tra và huấn luyện, nhóm nghiên cứu đã tự xây dựng bộ SymBench gồm 37 nhiệm vụ biểu tượng phức tạp: tư duy không gian, toán học, logic thứ tự, tối ưu hóa…

Kết quả cho thấy, CodeSteer giúp tăng độ chính xác trung bình từ 53.3% lên 86.4%, vượt qua tất cả 9 phương pháp tham chiếu khác.

Hơn nữa, một mô hình LLM thông thường được hỗ trợ bởi CodeSteer thậm chí vượt qua các mô hình hiện đại chuyên biệt hóa cho bài toán lập luận phức tạp - nhưng lại tiêu tốn ít tài nguyên tính toán hơn đáng kể.

“Phương pháp này tận dụng chính năng lực sẵn có của LLM, chỉ cần thêm khả năng dùng mã lệnh thông minh là hiệu quả đã tăng vượt bậc”, Yongchao Chen cho biết thêm.

Tương lai: LLM tự điều hướng mà không cần trợ lý tách rời

Trong tương lai, nhóm nghiên cứu muốn cải thiện tốc độ lặp lại của CodeSteer và khám phá việc huấn luyện một mô hình thống nhất - có thể tự chuyển đổi giữa tư duy văn bản và sinh mã lệnh, thay vì dựa vào một mô hình phụ.

“Đây là giải pháp gọn gàng cho thách thức lớn của LLM hiện nay: cách sử dụng đúng công cụ đúng lúc”, Jinsung Yoon - nghiên cứu viên tại Google Cloud AI nhận định.

“Việc đào tạo một mô hình nhỏ để dẫn dắt một mô hình lớn là hướng đi rất tiềm năng, đặc biệt trong các ứng dụng thực tế phức tạp”, Chi Wang, nghiên cứu viên cấp cao tại Google DeepMind nói.

Nghiên cứu này được hỗ trợ bởi Văn phòng Nghiên cứu Hải quân Hoa Kỳ và Phòng Thí nghiệm AI MIT-IBM Watson.

(Theo MIT)