TypeSafe AI ra mắt Jev, mô hình quyết định kiểu mới

TypeSafe AI đã phát hành Jev, một mô hình "gốc máy" trả về các quyết định xác suất có kiểu được thiết kế để được tiêu thụ bởi phần mềm thay vì người dùng trò chuyện. Công ty đang quảng bá hệ thống này như một con đường nhanh hơn, rẻ hơn để có được quy trình làm việc của đại lý đáng tin cậy, với các tuyên bố về độ trễ và giá cả được đặt ra so với các LLM chính thống.

Điểm chính

TypeSafe AI đã phát hành Jev, một mô hình AI đầu ra các quyết định xác suất có kiểu, có cấu trúc thay vì phản hồi bằng ngôn ngữ tự nhiên.
Startup cho biết họ có 40 triệu đô la tài trợ và đang định vị Jev cho tự động hóa câu trả lời hạn chế như định tuyến quy trình làm việc và hệ thống gọi công cụ.
TypeSafe AI tuyên bố thời gian phản hồi từ 70ms đến 500ms và định hình Jev là "nhanh hơn từ 40x đến 200x so với các LLM truyền thống", trích dẫn việc xử lý song song và thiết kế "Hệ thống Một".
Jev được niêm yết với giá 0,042 đô la cho mỗi triệu token (MTok) cho đầu vào và 0 đô la cho đầu ra, và một bản demo của TypeSafe cho thấy thời gian phản hồi 0,114 giây so với 8,566 giây cho GPT-5.6 Terra của OpenAI.

Jev Ra Mắt Như Một Mô Hình Được Xây Dựng Cho Máy, Không Phải Trò Chuyện

Mô hình mới của TypeSafe AI, Jev, được xây dựng dựa trên một giả thuyết đơn giản: nhiều quy trình làm việc của đại lý không cần văn bản. Họ cần một đối tượng quyết định mà một chương trình có thể tiêu thụ mà không cần phải phân tích, xác thực và thiết lập rào cản lần thứ hai.

Thay vì trả về ngôn ngữ tự nhiên cho một lời nhắc, Jev trả về các quyết định xác suất có kiểu, có nghĩa là đầu ra là một kiểu dữ liệu đã được định nghĩa trước như lựa chọn danh mục hoặc điểm số, kèm theo xác suất. TypeSafe đang định vị điều này một cách rõ ràng như "AI gốc máy", một sự chuyển hướng khỏi các giao diện kiểu trò chuyện nơi sản phẩm chính của mô hình là văn bản.

Công ty cho biết họ có 40 triệu đô la tài trợ và mô tả mình là một nhà sản xuất các mô hình tiên phong. Đồng sáng lập và CEO của TypeSafe AI, Diogo Almeida, được xác định là một nhà nghiên cứu cũ của OpenAI và "một trong những người đồng phát minh" của học tăng cường từ phản hồi của con người (RLHF) và ChatGPT, đã định hình mục tiêu là xây dựng trí tuệ cho các người tiêu dùng phần mềm, không chỉ cho con người.

"TypeSafe được thành lập để theo đuổi một con đường thay thế cho nghiên cứu AI, tập trung vào AI gốc máy," Almeida nói. "Tôi đã dành nhiều năm làm việc trên các mô hình được thiết kế để làm cho AI tốt hơn trong việc tương tác với con người. Nhưng nếu AI sẽ thay đổi cơ bản cách công việc được thực hiện, con người không thể là những người tiêu dùng trí tuệ duy nhất."

Tốc độ và Khẳng định Giá: Độ trễ 70–500ms và $0 Token đầu ra

Bài thuyết trình ra mắt của TypeSafe tập trung mạnh vào hai yếu tố mà các nhà giao dịch thực sự quan tâm trong các câu chuyện hạ tầng AI: độ trễ và kinh tế đơn vị.

Về hiệu suất, TypeSafe tuyên bố thời gian phản hồi của Jev dao động từ 70ms đến 500ms và cho biết nó "nhanh hơn 40x–200x so với các LLM truyền thống." Cơ chế được cung cấp là kiến trúc. Các mô hình ngôn ngữ lớn truyền thống tạo ra văn bản theo thứ tự bằng cách dự đoán token tiếp theo, trong khi Jev được mô tả là một mô hình "Hệ thống Một" trả về tất cả các đầu ra cho một truy vấn cùng một lúc, sử dụng xử lý song song.

TypeSafe cũng đã công bố một so sánh demo trực tiếp trên trang web của mình: Jev trả về phản hồi trong 0.114 giây so với 8.566 giây cho GPT-5.6 Terra của OpenAI. Gói này không bao gồm kiểm tra độc lập, vì vậy các con số nên được đọc như là hiệu suất được nhà cung cấp khẳng định dưới một thiết lập demo cụ thể.

Về giá cả, TypeSafe đã liệt kê Jev với giá $0.042 cho mỗi MTok đầu vào và $0 cho đầu ra. Vật liệu tương tự so sánh điều đó với GPT-5.6 Terra của OpenAI với giá $2.00 cho mỗi MTok đầu vào và $12 cho mỗi MTok đầu ra, và tuyên bố Jev rẻ hơn 238 lần so với "mô hình hàng đầu như Fable 5.1." Những so sánh đó rõ ràng về hướng đi, nhưng chúng không được xác nhận bởi các nguồn bổ sung trong gói.

Cá cược rộng hơn thì quen thuộc: nếu chi phí biên của việc "suy nghĩ" giảm xuống, việc sử dụng sẽ mở rộng. TypeSafe thậm chí đã đưa điều đó vào tên gọi. "Jev" tham chiếu đến nhà kinh tế học William Stanley Jevons và nghịch lý Jevons, ý tưởng rằng việc tăng cường hiệu quả có thể làm tăng tổng mức tiêu thụ thay vì giảm nó.

Bên trong Giao diện: Lựa chọn/Điểm/Noul và Đầu ra Kiểu Xác suất

Giao diện của Jev được thiết kế để trông ít giống như trò chuyện và nhiều hơn như một cuộc gọi hàm.

Một nhà phát triển bắt đầu với một "giá trị trạng thái," có thể là một đối tượng JSON hoặc một chuỗi đơn giản như "Thẻ của tôi đã bị tính phí hai lần." Jev sau đó nhận được trạng thái đó thông qua các yếu tố câu hỏi gọi là Lựa chọn, Điểm và Noul. Mỗi yếu tố trả về một loại phản hồi có cấu trúc khác nhau với xác suất, đó là điểm mấu chốt: đầu ra đã được định hình sẵn cho phần mềm.

Ví dụ của TypeSafe cho định tuyến dịch vụ khách hàng là minh họa rõ ràng nhất. Một câu hỏi hỏi bộ phận nào trong ba bộ phận nên xử lý một truy vấn trả về một phân phối xác suất: {"billing": 0.08, "technical": 0.85, "sales": 0.07}, với điểm số tự tin là 0.82. Đối với một con người, điều đó là khó xử. Đối với một động cơ quy trình làm việc, đó là một quyết định định tuyến sẵn có với một thước đo sự không chắc chắn rõ ràng.

TypeSafe mô tả Jev như một mô hình “Hệ thống Một” sử dụng kiến trúc gọi là Học Tăng cường cho Quyết định Được Hiệu chỉnh (RLCD).

Chiến lược độ tin cậy của công ty nhắm đến các cuộc gọi công cụ, có nghĩa là một tác nhân kích hoạt một chức năng bên ngoài hoặcAPI.TypeSafe lập luận rằng “Việc có một cuộc gọi công cụ ảo tưởng là bất tiện trong một tác nhân, nhưng là một yếu tố quyết định nếu nó là một phần của một hệ thống có đảm bảo độ trễ hoặc nó bị chôn sâu nhiều lớp trong chuỗi phụ thuộc,” và thêm vào: “Các mô hình hiện có, bất kể thông minh đến đâu, vẫn tạo ra ảo tưởng và có lỗi kiểu.”

TypeSafe cũng tuyên bố Jev là “không có ảo tưởng,” nhưng gói tài liệu tự nó xác định rằng đây không phải là một so sánh tương đương. Jev không xuất ra ngôn ngữ tự nhiên, và các đầu ra xác suất có cấu trúc vẫn có thể sai ngay cả khi chúng tránh được chế độ thất bại cổ điển của văn bản giả mạo như trích dẫn pháp lý giả.

Tín hiệu cho Nhà giao dịch: Áp lực Kinh tế Token và Sự chấp nhận Tự động hóa Tác nhân

Tín hiệu thị trường ngắn hạn không phải là “mô hình thông minh hơn,” mà là áp lực đường cong chi phí. Một mức giá token đầu ra $0 đã được công bố, nếu nó giữ vững trong sản xuất và quy mô, là một thách thức trực tiếp đối với giả định phổ biến rằng các hệ thống tác nhân phải trả tiền cho các thế hệ dài và các dấu vết lý luận dài dòng.

Tín hiệu thứ hai là độ trễ như một thông số sản phẩm. Nếu khoảng thời gian 70–500ms mà Jev tuyên bố có thể tổng quát ra ngoài một buổi trình diễn có kiểm soát, điều đó hỗ trợ một sự chuyển hướng sang các mô hình quyết định thời gian thực, nơi mà các đảm bảo thời gian phản hồi quan trọng hơn chất lượng trò chuyện.

Đó là sự khác biệt giữa một tác nhân có thể ngồi trong một chuỗi phụ thuộc và một tác nhân phải được cách ly phía sau các thời gian chờ.

Tín hiệu thứ ba là bằng chứng chấp nhận trong tự động hóa câu trả lời hạn chế. TypeSafe đã liệt kê các trường hợp sử dụng bao gồm phần mềm tự động hóa AI, các ứng dụng thời gian thực cần quyết định nhanh, các công việc map-reduce để phân loại các tập dữ liệu lớn, xác minh đầu vào AI, và các bộ công cụ mô hình AI.

Buổi trình diễn Doom là đáng nhớ, nhưng việc định tuyến sản xuất, xác minh và khối lượng công việc phân loại là nơi mà “bản địa máy” có thể trở thành một danh mục hoặc vẫn chỉ là một buổi trình diễn.

Cuối cùng, gói tài liệu để lại một danh sách kiểm tra rõ ràng cho những gì sẽ chuyển đổi điều này từ câu chuyện thành có thể đo lường: đánh giá bên thứ ba về độ trễ và tuyên bố “nhanh hơn 40x–200x,” bất kỳ sửa đổi nào đối với mức giá đầu vào $0.042/MTok đã công bố và giá đầu ra $0, và các thông báo tiếp theo liên quan đến khoản tài trợ $40 triệu đã nêu như mở rộng khả năng, quan hệ đối tác doanh nghiệp, hoặc mở rộng cơ sở hạ tầng.

Đọc của tôi: Nếu các Chỉ số của Jev Giữ Vững, Cuộc Chiến Cạnh Tranh Chuyển Từ ‘Thông Minh Hơn’ Sang ‘Rẻ Hơn và An Toàn Hơn để Tự Động Hóa’

Phần quyết định xem Jev có quan trọng hay không không phải là bản demo Doom, mà là liệu các đầu ra xác suất được gõ có thực sự giảm thuế vận hành của các tác nhân trong sản xuất hay không. Nếu một quy trình làm việc có thể tiêu thụ phản hồi kiểu Choice/Score mà không cần các lớp phân tích và xác thực, thì "ảo giác" không còn là một lập luận triết học mà trở thành một khoản ngân sách kỹ thuật.

Ngưỡng quan trọng là xác minh độc lập: nếu khoảng độ trễ từ 70–500ms và kết quả demo 0.114s giữ nguyên bên ngoài môi trường của TypeSafe, thì trục cạnh tranh chuyển từ chất lượng trò chuyện sang đảm bảo thời gian phản hồi và chi phí đơn vị cho mỗi quyết định, điều này làm cho tự động hóa đủ rẻ để triển khai ở mọi nơi thay vì chỉ ở những nơi đáng để chăm sóc.

Nguồn

The Register