Bản phát hành đầu tiên! ZStack AIOS hỗ trợ DeepSeek V3/R1/ Janus Pro, nhiều CPU/GPU khác nhau để triển khai riêng tư

Vào ngày 2 tháng 2 năm 2025, để đáp ứng nhu cầu ngày càng tăng về suy luận AI và các kịch bản triển khai riêng tư ứng dụng AI cấp doanh nghiệp (Private AI), ZStack đã thông báo rằng nền tảng AI Infra của họ, ZStack AIOS, hỗ trợ đầy đủ việc triển khai riêng tư của ba mô hình: DeepSeek V3/R1/Janus Pro. Nó có thể thích ứng với nhiều CPU/GPU khác nhau từ Hygon, Ascend, NVIDIA, Intel, v.v., giúp triển khai sâu hơn các ứng dụng AI cấp doanh nghiệp.

Được biết, sau khi DeepSeek ra mắt và cung cấp nguồn mở cho DeepSeek V3/R1/Janus Pro vào tháng 12 năm 2024, các nền tảng đám mây công cộng toàn cầu như AWS, Azure và Huawei Cloud đã liên tiếp công bố hỗ trợ cho DeepSeek R1 hoặc R1/V3. Là nền tảng AI Infra riêng cấp doanh nghiệp hỗ trợ DeepSeek, ZStack AIOS sẽ tận dụng tối đa các mô hình nguồn mở và các đặc tính hiệu suất cao, tiết kiệm chi phí của DeepSeek để thúc đẩy hơn nữa quy trình thương mại của AI cấp doanh nghiệp:

Hỗ trợ đầy đủ cho ba mô hình DeepSeek để đáp ứng nhu cầu AI đa dạng của doanh nghiệp

ZStack AIOS, nền tảng AI Infra, cung cấp nhiều công cụ và thành phần thiết yếu khác nhau để phát triển và ứng dụng mô hình ở lớp mô hình, hỗ trợ quản lý vòng đời của cả mô hình AI nguồn mở và độc quyền. ZStack AIOS ban đầu hỗ trợ DeepSeek V3/R1/Janus Pro. V3 phù hợp với các tác vụ xử lý ngôn ngữ tự nhiên nói chung, R1 tập trung vào các tác vụ suy luận phức tạp và Janus Pro vượt trội trong khả năng hiểu và tạo đa phương thức, đáp ứng các nhu cầu AI khác nhau của doanh nghiệp.

Hỗ trợ nhiều CPU/GPU, thích ứng với tài nguyên tính toán đa dạng của trung tâm dữ liệu doanh nghiệp

ZStack AIOS cung cấp điện toán, lưu trữ, kết nối mạng, bảo mật cũng như các tài nguyên và dịch vụ cơ bản khác ở lớp tính toán. Nó có thể hỗ trợ triển khai DeepSeek riêng tư trên nhiều tài nguyên CPU/GPU như Haiguang, Ascend, NVIDIA và Intel, thích ứng với các tài nguyên điện toán đa dạng của trung tâm dữ liệu doanh nghiệp.

ZStack AIOS có công cụ lập lịch không đồng nhất thông minh, tự động khớp với các tính năng phần cứng. Nó hỗ trợ CUDA, ROCm, CANN và các kiến ​​trúc khác cũng như thử nghiệm không cần GPU. Việc triển khai CPU của mẫu máy nhẹ DeepSeek-R1-7B đạt được hiệu suất sử dụng được là 9,26 token/s trên máy chủ đám mây 16 lõi.

Cung cấp tính linh hoạt và tùy chỉnh cho doanh nghiệp, xây dựng nền tảng trí tuệ kỹ thuật số thế hệ tiếp theo

ZStack AIOS có thể triển khai các mô hình DeepSeek trong môi trường đám mây riêng tư hoặc đám mây kết hợp dựa trên nhu cầu của doanh nghiệp, đảm bảo bảo mật dữ liệu và quyền riêng tư. Nó cũng cung cấp khả năng mở rộng linh hoạt các tài nguyên điện toán kim loại trần, máy ảo và container, hỗ trợ tích hợp với nhiều phần cứng và phần mềm khác nhau, cho phép doanh nghiệp dễ dàng kết hợp các khả năng AI vào hệ thống hiện có của họ. Tính linh hoạt và tùy chỉnh này đáp ứng nhu cầu ứng dụng AI đa dạng của người dùng doanh nghiệp.

ZStack AIOS có các công nghệ tối ưu hóa tài nguyên, chẳng hạn như suy luận đồng thời nhiều GPU để nâng cao tính khả dụng của GPU bộ nhớ nhỏ và giảm thời gian nhàn rỗi. Công nghệ phân vùng GPU phân chia sức mạnh tính toán và bộ nhớ của một GPU, cải thiện việc sử dụng các GPU có bộ nhớ lớn. Công nghệ lượng tử hóa mô hình cho phép nền tảng lượng tử hóa các mô hình, nâng cao đáng kể hiệu quả AI kết hợp với các tính năng hiệu suất cao và chi phí thấp của DeepSeek.

Nền tảng AI Infra là nền tảng công cụ quan trọng để các doanh nghiệp tăng tốc giải phóng năng suất AI, tập trung vào các kịch bản triển khai riêng ứng dụng AI cấp doanh nghiệp (Private AI). Nó hỗ trợ phát triển, triển khai, vận hành và quản lý các ứng dụng trí tuệ nhân tạo với một loạt các công cụ và nền tảng phần mềm nền tảng, có tính năng quản lý tính toán, quản lý mô hình và quản lý ứng dụng. Theo CCID Consulting, năm 2025 là năm đầu tiên áp dụng nền tảng AI Infra của Trung Quốc.

Sự gia tăng nhu cầu tính toán suy luận AI đã thúc đẩy nhu cầu mới về quản lý tài nguyên tính toán thông minh ở cấp doanh nghiệp; Các ứng dụng AI đang tăng tốc thâm nhập vào các kịch bản cấp doanh nghiệp, đồng thời các chuỗi công cụ mô hình và các thành phần quản lý vận hành giúp hạ thấp ngưỡng cho các ứng dụng AI; quyền riêng tư và bảo mật dữ liệu thúc đẩy việc triển khai riêng tư các ứng dụng AI và thế hệ cơ sở chuyển đổi kỹ thuật số doanh nghiệp mới Nền tảng AI Infra đang cho thấy xu hướng phát triển nhanh chóng. Vào tháng 1 năm 2025, CCID Consulting đã công bố “Báo cáo nghiên cứu phát triển thị trường nền tảng hạ tầng AI Trung Quốc năm 2025”, dự đoán rằng nền tảng hạ tầng AI sẽ lần lượt đạt 1,94 tỷ nhân dân tệ và 3,61 tỷ nhân dân tệ vào năm 2024 và 2025, với mức tăng trưởng hàng năm vượt 86% vào năm 2025.