Một công ty CNTT ở Ma Cao

Công ty ICT ở Ma Cao, Trung Quốc, cung cấp dịch vụ triển khai AI toàn diện cho các doanh nghiệp lớn và tổ chức công. Năm nay, khái niệm “AI trao quyền cho tương lai” đã nóng lên. Nhiều ngành công nghiệp khác nhau ở Ma Cao, Trung Quốc, rất muốn thử nghiệm các kịch bản AI theo chiều dọc và tinh chỉnh mô hình. Tuy nhiên, do sự khan hiếm và chi phí cao của tài nguyên điện toán AI cục bộ, hiệu quả phân bổ tài nguyên thấp cũng như những khó khăn về quyền riêng tư và cách ly bảo mật dữ liệu, họ phải đối mặt với tình trạng tắc nghẽn về năng lực tính toán “có sẵn nhưng không thể truy cập”: máy chủ GPU A100 nhiều thẻ đắt tiền và khó triển khai hàng loạt, buộc người dùng phải xếp hàng chờ mua hàng trần, dẫn đến xung đột lịch trình; các mẫu máy khác nhau có nhu cầu khác nhau về số lượng GPU, bộ nhớ và VRAM, dẫn đến hiệu suất cấu hình tài nguyên thấp; và đào tạo trên cùng một máy đặt ra những thách thức về cách ly quyền riêng tư dữ liệu.

Do đó, công ty đã triển khai ZStack Cloud trên hai máy chủ GPU A100 của mình, ảo hóa GPU vật lý thành nhiều đơn vị điện toán độc lập, đạt được lịch trình thống nhất và cách ly nhiều người thuê, đồng thời thực sự cho phép “một máy chủ, tái sử dụng nhiều bên”, giúp người dùng tiến hành nghiên cứu đào tạo mô hình AI song song và an toàn.

Kế hoạch xây dựng

Công ty ICT ở Macau, Trung Quốc, đã triển khai ZStack Cloud trên hai máy chủ được trang bị GPU A100 nhiều card. Bằng cách ảo hóa sức mạnh tính toán GPU, tổng hợp tài nguyên điện toán và tích hợp bộ nhớ cục bộ, họ đã xây dựng nền tảng cơ sở hạ tầng đám mây AI hiệu quả, linh hoạt và an toàn. Kiến trúc tổng thể bao gồm:

Lớp tài nguyên vật lý: Thông qua khả năng lập lịch vGPU của nền tảng ZStack Cloud, GPU vật lý được chia thành nhiều phiên bản GPU ảo khi cần, hỗ trợ phân bổ VRAM và sức mạnh tính toán linh hoạt. Đối với các kịch bản hiệu suất cao, chế độ chuyển qua toàn bộ thẻ được hỗ trợ để đáp ứng các nhu cầu sức mạnh tính toán khác nhau và tránh vấn đề “tác vụ nặng chiếm độc quyền tài nguyên”, cho phép nhiều người dùng chia sẻ máy chủ AI và cải thiện việc sử dụng GPU.

Lớp ảo hóa: Việc truyền tài nguyên GPU và CPU tài nguyên máy tính chung, việc phân bổ ảo hóa bộ nhớ được hoàn thành thông qua ZStack Cloud.

Lớp lưu trữ: Sử dụng các tài nguyên đĩa hiệu suất cao bao gồm SSD NVMe cục bộ (LocalStorage) và Mạng lưu trữ kênh sợi quang (FC-SAN) để đáp ứng các yêu cầu về thông lượng IO của quá trình đào tạo AI.

Cách ly an ninh: Thông qua cơ chế cách ly đối tượng thuê của ZStack Cloud, môi trường AI của những người dùng khác nhau được triển khai một cách riêng biệt, đảm bảo tính bảo mật dữ liệu, không xung đột tài nguyên và sự rõ ràng về quyền trong quá trình đào tạo mô hình AI.

Quản lý thống nhất: ZStack Cloud quản lý tập trung tài nguyên GPU và quyền của người dùng để tránh xung đột tài nguyên.

Lợi ích khách hàng

Hiệu quả tài nguyên AI tăng gấp 3 lần, cho phép nghiên cứu song song trên nhiều bộ phận:

Mức sử dụng tài nguyên GPU tăng hơn 200%: Cùng một máy chủ GPU vật lý có thể hỗ trợ đồng thời nhiều người dùng để đào tạo mô hình AI, giải quyết tắc nghẽn khi xếp hàng;

Chu kỳ triển khai giảm 50%: Người dùng không cần chờ lập kế hoạch tài nguyên, cho phép bắt đầu nhanh chóng các thử nghiệm ứng dụng AI;

Nâng cao quyền riêng tư và bảo mật: Cơ chế cách ly cấp độ máy ảo của nền tảng đảm bảo tính bảo mật dữ liệu cho từng bộ phận, hỗ trợ các cấu hình cấp phép người dùng và mạng độc lập;

Tối ưu hóa TCO đáng kể: Không cần đầu tư thêm phần cứng, sức mạnh tính toán AI được chia sẻ giữa nhiều người dùng, giúp khách hàng tiết kiệm hàng triệu USD trong ngân sách mua sắm máy chủ GPU.

Việc khởi động thành công dự án này cung cấp nền tảng kỹ thuật hiệu quả về mặt chi phí, có tính linh hoạt cao và có tính tách biệt cao cho việc nghiên cứu và phát triển AI tại địa phương, đồng thời xác nhận khả năng thích ứng mạnh mẽ của ZStack Cloud trong các tình huống triển khai ảo hóa AI. Trong tương lai, ZStack sẽ tiếp tục hợp tác với các đối tác địa phương để xây dựng nền tảng cơ sở hạ tầng AI toàn diện, nhanh nhẹn và an toàn hơn, tạo động lực cho đám mây vào sự phát triển của hệ sinh thái AI ở Ma Cao, Trung Quốc.