Trí tuệ nhân tạo ổn định được biết đến với mô hình thế hệ chuyển văn bản thành hình ảnh khuếch tán ổn định, nhưng đó không phải là tất cả những gì mà công ty khởi nghiệp AI thế hệ quan tâm đến việc phát triển. Tính ổn định AI đang bước vào thế giới tạo mã.
Vào ngày 8 tháng 8, Stability AI đã công bố bản phát hành công khai đầu tiên của StableCode, Mô hình ngôn ngữ lớn (LLM) mở mới được thiết kế để giúp người dùng tạo mã cho các ngôn ngữ lập trình. StableCode có ba cấp độ khác nhau: mô hình cơ sở cho các trường hợp sử dụng chung, mô hình hướng dẫn và mô hình cửa sổ ngữ cảnh dài có thể hỗ trợ tới 16000 mã thông báo.
*Nguồn: AI ổn định (So sánh AI ổn định với các mô hình khác có số tham số và số lượng mã thông báo được đào tạo tương tự. AI ổn định sử dụng điểm chuẩn phổ biến của Con người với các chỉ số pass@1 và pass@10 tiêu chuẩn.)*
Các mô hình StableCode được hưởng lợi từ bộ dữ liệu ngôn ngữ lập trình ban đầu từ dự án BigCode mã nguồn mở, với tính năng lọc và tinh chỉnh bổ sung do Stability AI cung cấp. Ban đầu, StableCode sẽ hỗ trợ phát triển bằng các ngôn ngữ lập trình Python, Go, Java, Java, C, Markdown và C++.
“Chúng tôi muốn sử dụng mô hình này để làm điều gì đó tương tự như Stable Diffusion, nhằm mục đích giúp mọi người trên thế giới trở thành một nghệ sĩ,” Christian Laforte, giám đốc nghiên cứu về Stability AI, cho biết trong một cuộc phỏng vấn độc quyền với VentureBeat. mô hình StableCode để làm Điều tương tự: về cơ bản hãy để bất kỳ ai có ý tưởng hay viết chương trình để giải quyết vấn đề này."
StableCode: Xây dựng trên BigCode và Big Ideas
Việc đào tạo bất kỳ LLM nào đều dựa trên dữ liệu và đối với StableCode, dữ liệu này đến từ dự án BigCode. Sử dụng BigCode làm cơ sở cho công cụ mã AI tạo LLM không phải là một ý tưởng mới. HuggingFace và ServiceNow đã ra mắt StarCoder LLM mở vào đầu tháng 5 năm nay, cơ sở của nó là BigCode.
Nhà khoa học nghiên cứu chính về Stability AI, Nathan Cooper, đã giải thích trong một cuộc phỏng vấn độc quyền với VentureBeat rằng việc đào tạo StableCode liên quan đến việc lọc và làm sạch dữ liệu BigCode trên diện rộng.
Cooper cho biết: “Chúng tôi thực sự thích BigCode, họ đã thực hiện rất nhiều công việc tuyệt vời về quản trị dữ liệu, quản trị mô hình và đào tạo mô hình. "Chúng tôi đã lấy tập dữ liệu của họ và áp dụng các bộ lọc chất lượng bổ sung, đồng thời xây dựng một phiên bản cửa sổ ngữ cảnh lớn của mô hình, sau đó được đào tạo trên cụm của chúng tôi."
Cooper cho biết, AI ổn định thực hiện một số bước đào tạo bên cạnh mô hình lõi BigCode. Các bước này bao gồm đào tạo liên tiếp bằng một ngôn ngữ lập trình cụ thể. Theo mô tả trên trang web chính thức, StableCode đã đào tạo mô hình với 560 tỷ mã thông báo mã trên cụm máy tính hiệu suất cao của nó.
"Nó có một cách tiếp cận rất giống với lĩnh vực ngôn ngữ tự nhiên bằng cách trước tiên đào tạo trước một mô hình có mục đích chung và sau đó tinh chỉnh nó trên một nhóm nhiệm vụ cụ thể, trong trường hợp này là ngôn ngữ." Cooper nói.
StableCode Độ dài mã thông báo dài hơn sẽ thay đổi quy tắc của trò chơi tạo mã
Ngoài nền tảng BigCode, phiên bản ngữ cảnh dài của StableCode mang lại lợi ích đáng kể cho người dùng.
Phiên bản cửa sổ ngữ cảnh dài của StableCode có cửa sổ ngữ cảnh gồm 16.000 mã thông báo, mà Stability AI cho biết là lớn hơn bất kỳ mô hình nào khác. Cooper giải thích rằng các cửa sổ ngữ cảnh dài hơn cho phép các gợi ý tạo mã phức tạp và chuyên biệt hơn. Điều này cũng có nghĩa là người dùng có thể có StableCode xem xét cơ sở mã có kích thước vừa phải với nhiều tệp để giúp hiểu và tạo mã mới.
Cooper cho biết: “Bạn có thể sử dụng cửa sổ ngữ cảnh dài hơn này để mô hình tìm hiểu thêm về cơ sở mã của bạn và những tính năng nào được xác định trong các tệp khác. Cơ sở mã và yêu cầu.”
Tạo mã tốt hơn với RoPE
Giống như tất cả các mô hình tạo AI hiện đại, StableCode dựa trên mạng thần kinh biến áp.
Thay vì sử dụng phương pháp ALiBi (Chú ý với xu hướng tuyến tính) để bản địa hóa đầu ra trong mô hình máy biến áp (mà StarCoder sử dụng trong mô hình mã hóa AI tổng quát mở), StableCode sử dụng một phương pháp có tên là RoPE.
Cooper cho biết, cách tiếp cận ALiBi trong mô hình máy biến áp có xu hướng cân nhắc nhiều hơn đối với các mã thông báo hiện tại so với các mã thông báo trước đây. Theo quan điểm của ông, đây không phải là cách tiếp cận lý tưởng cho mã bởi vì, không giống như ngôn ngữ tự nhiên, mã không có cấu trúc tường thuật cố định với phần đầu, phần giữa và phần cuối. Chức năng mã có thể được xác định cho bất kỳ điểm nào trong quy trình ứng dụng.
"Tôi không nghĩ rằng bản thân mã này phù hợp với ý tưởng rằng sự cân bằng này bây giờ quan trọng hơn trước đây, vì vậy chúng tôi sử dụng ... RoPE, [mà] không có sự thiên vị đó."
Hiện tại, StableCode đang ở giai đoạn đầu và mục tiêu của lần phát hành đầu tiên là tìm hiểu cách các nhà phát triển sẽ chấp nhận và sử dụng mô hình này.
Cooper cho biết: “Chúng tôi sẽ tham gia và cộng tác với cộng đồng để xem họ nghĩ ra những hướng đi hay ho nào và khám phá không gian dành cho nhà phát triển rộng rãi.
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Ổn định AI tham gia vào lĩnh vực lập trình và phát hành StableCode, một công cụ có cửa sổ ngữ cảnh lên tới 16.000 mã thông báo
Được viết bởi: Sean Michael Kerner
Nguồn: VentureBeat
Trí tuệ nhân tạo ổn định được biết đến với mô hình thế hệ chuyển văn bản thành hình ảnh khuếch tán ổn định, nhưng đó không phải là tất cả những gì mà công ty khởi nghiệp AI thế hệ quan tâm đến việc phát triển. Tính ổn định AI đang bước vào thế giới tạo mã.
Vào ngày 8 tháng 8, Stability AI đã công bố bản phát hành công khai đầu tiên của StableCode, Mô hình ngôn ngữ lớn (LLM) mở mới được thiết kế để giúp người dùng tạo mã cho các ngôn ngữ lập trình. StableCode có ba cấp độ khác nhau: mô hình cơ sở cho các trường hợp sử dụng chung, mô hình hướng dẫn và mô hình cửa sổ ngữ cảnh dài có thể hỗ trợ tới 16000 mã thông báo.
Các mô hình StableCode được hưởng lợi từ bộ dữ liệu ngôn ngữ lập trình ban đầu từ dự án BigCode mã nguồn mở, với tính năng lọc và tinh chỉnh bổ sung do Stability AI cung cấp. Ban đầu, StableCode sẽ hỗ trợ phát triển bằng các ngôn ngữ lập trình Python, Go, Java, Java, C, Markdown và C++.
“Chúng tôi muốn sử dụng mô hình này để làm điều gì đó tương tự như Stable Diffusion, nhằm mục đích giúp mọi người trên thế giới trở thành một nghệ sĩ,” Christian Laforte, giám đốc nghiên cứu về Stability AI, cho biết trong một cuộc phỏng vấn độc quyền với VentureBeat. mô hình StableCode để làm Điều tương tự: về cơ bản hãy để bất kỳ ai có ý tưởng hay viết chương trình để giải quyết vấn đề này."
StableCode: Xây dựng trên BigCode và Big Ideas
Việc đào tạo bất kỳ LLM nào đều dựa trên dữ liệu và đối với StableCode, dữ liệu này đến từ dự án BigCode. Sử dụng BigCode làm cơ sở cho công cụ mã AI tạo LLM không phải là một ý tưởng mới. HuggingFace và ServiceNow đã ra mắt StarCoder LLM mở vào đầu tháng 5 năm nay, cơ sở của nó là BigCode.
Nhà khoa học nghiên cứu chính về Stability AI, Nathan Cooper, đã giải thích trong một cuộc phỏng vấn độc quyền với VentureBeat rằng việc đào tạo StableCode liên quan đến việc lọc và làm sạch dữ liệu BigCode trên diện rộng.
Cooper cho biết: “Chúng tôi thực sự thích BigCode, họ đã thực hiện rất nhiều công việc tuyệt vời về quản trị dữ liệu, quản trị mô hình và đào tạo mô hình. "Chúng tôi đã lấy tập dữ liệu của họ và áp dụng các bộ lọc chất lượng bổ sung, đồng thời xây dựng một phiên bản cửa sổ ngữ cảnh lớn của mô hình, sau đó được đào tạo trên cụm của chúng tôi."
Cooper cho biết, AI ổn định thực hiện một số bước đào tạo bên cạnh mô hình lõi BigCode. Các bước này bao gồm đào tạo liên tiếp bằng một ngôn ngữ lập trình cụ thể. Theo mô tả trên trang web chính thức, StableCode đã đào tạo mô hình với 560 tỷ mã thông báo mã trên cụm máy tính hiệu suất cao của nó.
"Nó có một cách tiếp cận rất giống với lĩnh vực ngôn ngữ tự nhiên bằng cách trước tiên đào tạo trước một mô hình có mục đích chung và sau đó tinh chỉnh nó trên một nhóm nhiệm vụ cụ thể, trong trường hợp này là ngôn ngữ." Cooper nói.
StableCode Độ dài mã thông báo dài hơn sẽ thay đổi quy tắc của trò chơi tạo mã
Ngoài nền tảng BigCode, phiên bản ngữ cảnh dài của StableCode mang lại lợi ích đáng kể cho người dùng.
Phiên bản cửa sổ ngữ cảnh dài của StableCode có cửa sổ ngữ cảnh gồm 16.000 mã thông báo, mà Stability AI cho biết là lớn hơn bất kỳ mô hình nào khác. Cooper giải thích rằng các cửa sổ ngữ cảnh dài hơn cho phép các gợi ý tạo mã phức tạp và chuyên biệt hơn. Điều này cũng có nghĩa là người dùng có thể có StableCode xem xét cơ sở mã có kích thước vừa phải với nhiều tệp để giúp hiểu và tạo mã mới.
Cooper cho biết: “Bạn có thể sử dụng cửa sổ ngữ cảnh dài hơn này để mô hình tìm hiểu thêm về cơ sở mã của bạn và những tính năng nào được xác định trong các tệp khác. Cơ sở mã và yêu cầu.”
Tạo mã tốt hơn với RoPE
Giống như tất cả các mô hình tạo AI hiện đại, StableCode dựa trên mạng thần kinh biến áp.
Thay vì sử dụng phương pháp ALiBi (Chú ý với xu hướng tuyến tính) để bản địa hóa đầu ra trong mô hình máy biến áp (mà StarCoder sử dụng trong mô hình mã hóa AI tổng quát mở), StableCode sử dụng một phương pháp có tên là RoPE.
Cooper cho biết, cách tiếp cận ALiBi trong mô hình máy biến áp có xu hướng cân nhắc nhiều hơn đối với các mã thông báo hiện tại so với các mã thông báo trước đây. Theo quan điểm của ông, đây không phải là cách tiếp cận lý tưởng cho mã bởi vì, không giống như ngôn ngữ tự nhiên, mã không có cấu trúc tường thuật cố định với phần đầu, phần giữa và phần cuối. Chức năng mã có thể được xác định cho bất kỳ điểm nào trong quy trình ứng dụng.
"Tôi không nghĩ rằng bản thân mã này phù hợp với ý tưởng rằng sự cân bằng này bây giờ quan trọng hơn trước đây, vì vậy chúng tôi sử dụng ... RoPE, [mà] không có sự thiên vị đó."
Hiện tại, StableCode đang ở giai đoạn đầu và mục tiêu của lần phát hành đầu tiên là tìm hiểu cách các nhà phát triển sẽ chấp nhận và sử dụng mô hình này.
Cooper cho biết: “Chúng tôi sẽ tham gia và cộng tác với cộng đồng để xem họ nghĩ ra những hướng đi hay ho nào và khám phá không gian dành cho nhà phát triển rộng rãi.