AI kết nối mạng Remote / Local / All-in-One Plugin, REST, C++

Bổ sung AI vào hệ thống khách hàng
Không cần xây lại toàn bộ hệ thống.

OmniRuntime đóng gói lớp thực thi Omnimind thành runtime triển khai cho camera khách hàng, nền tảng VMS, thiết bị edge và hệ thống phần mềm. Tách tải suy luận khỏi tầng ghi hình, giữ nguyên quy trình hiện có và mở rộng năng lực AI độc lập khi hệ thống tăng quy mô.

AI kết nối mạng giúp tầng video vận hành ổn định.

OmniRuntime tách AI thành lớp runtime riêng có thể gắn vào hạ tầng sẵn có của khách hàng thay vì buộc đội ngũ phải xây lại camera, NVR hoặc hệ VMS chỉ để đáp ứng tải suy luận.

Giữ nguyên tầng ghi hình hiện hữu

Duy trì Milestone, Nx Witness và máy chủ ghi hình của khách hàng tập trung vào vận hành video. OmniRuntime đảm nhận tải suy luận trên node chuyên dụng hoặc máy chủ cục bộ tương thích.

Gắn lớp AI vào mạng hiện có

Gửi frame đến OmniRuntime để xử lý trên runtime node, sau đó trả về phát hiện có cấu trúc, metadata và sự kiện cho các công cụ vận hành đang dùng.

Mở rộng lớp AI độc lập

Bổ sung năng lực OmniRuntime theo từng node thay vì phải nâng cấp toàn bộ hệ VMS mỗi khi số kênh hoặc tải mô hình tăng lên.

OmniRuntime kết nối hệ thống hiện có với đầu ra AI thời gian thực.

Sơ đồ này mô tả lộ trình triển khai thực tế: nhận luồng từ hạ tầng khách hàng, chạy suy luận và logic luật trong OmniRuntime, sau đó xuất sự kiện và metadata vào VMS, API và quy trình vận hành mà không cần thay thế tầng ghi hình.

Nguồn đầu vào
Camera IP / luồng RTSP
Nguồn video lưu trữ
Client đẩy frame
Dò tìm thiết bị ONVIF

Lớp Runtime kết nối mạng

Nhận luồng và giải mãĐiều phối mô hình theo năng lực nodeLuật perception (zone, tripwire, hành vi)Đầu ra sự kiện và metadata có cấu trúc
Đầu ra vận hành
Overlay VMS và sự kiện cho điều hành ->
Tích hợp REST / webhook / MQTT ->
Widget dashboard và báo cáo ->
Lưu trữ dài hạn và rà soát vụ việc ->
Bề mặt điều khiển
Lớp PluginCore Runtime APIPerception APISDK C++ Native

Remote, local hoặc all-in-one.

Cùng một lõi OmniRuntime có thể triển khai dưới dạng runtime node chuyên dụng, tiến trình cục bộ hoặc hệ thống all-in-one đóng gói sẵn tùy theo mô hình vận hành mong muốn.

mở rộng tốt nhất

Chế độ Remote

Chạy OmniRuntime trên các node mạng chuyên dụng, trong khi plugin, dashboard và ứng dụng khách hàng vẫn nhẹ trên tầng vận hành chính.

  • Phù hợp nhất cho triển khai đa điểm và mật độ cao
  • Giữ máy chủ VMS lõi không chịu tải tăng tốc AI
  • Mở rộng số kênh bằng cách thêm runtime node
  • Bảo toàn quy trình vận hành gốc
Phù hợp cho: Hệ thống doanh nghiệp lớn, hành lang giao thông, khuôn viên phân tán
gọn nhẹ nhất

Chế độ Local

Chạy OmniRuntime trên cùng máy với VMS hoặc phần mềm khách hàng khi mô hình một máy là tối ưu vận hành.

  • Mô hình triển khai một máy chủ
  • Giảm độ phức tạp mạng cho hệ thống khép kín
  • Dùng cùng API và mô hình điều khiển như remote
  • Phù hợp cho site pilot và triển khai nhỏ
Phù hợp cho: Triển khai một địa điểm, pilot, hệ on-prem gọn
triển khai nhanh nhất

All-in-One

Đóng gói VMS, OmniRuntime và tăng tốc AI vào một hệ thống cấu hình sẵn cho site edge, demo và triển khai hiện trường nhanh.

  • Cấu hình phần cứng dự đoán được
  • Giảm tối đa công cấu hình tại hiện trường
  • Hiệu quả cho vị trí xa và dự án proof-of-value
  • Biến runtime thành thiết bị sẵn sàng triển khai
Phù hợp cho: Site edge, bộ demo, dự án gấp thời gian

Chọn lớp tích hợp. Giữ nguyên lõi runtime.

Triển khai OmniRuntime cho khách hàng dưới dạng plugin VMS gốc, lớp dịch vụ dựa trên REST hoặc runtime nhúng bên trong sản phẩm OEM hay thiết bị chuyên dụng.

vms gốc

Lớp Plugin

Sử dụng tích hợp Nx Witness hoặc Milestone nhẹ cho cấu hình, overlay, hiển thị sự kiện và quy trình vận hành, trong khi OmniRuntime xử lý AI ở nền.

  • Hiển thị phát hiện trực tiếp trong VMS hiện có
  • Không cần thêm console vận hành nặng
  • Phù hợp triển khai camera và video doanh nghiệp
  • Kết hợp tốt với runtime node remote
Phù hợp nhất: Đội an ninh, trung tâm điều hành đô thị, chương trình VMS doanh nghiệp
http / events

REST API

Điều khiển OmniRuntime từ cổng khách hàng, middleware hoặc dịch vụ backend. Tạo instance, định tuyến luồng, nhận frame và tiêu thụ phát hiện qua giao diện web chuẩn.

  • Tích hợp không phụ thuộc ngôn ngữ
  • Định dạng request và response bằng JSON
  • Luồng sự kiện thân thiện SSE, MQTT và webhook
  • Tối ưu cho phần mềm tùy biến và lớp điều phối
Phù hợp nhất: Nền tảng SaaS, hệ thống chỉ huy, tích hợp tùy chỉnh
nhúng / oem

SDK C++ Native

Nhúng cùng một lõi runtime vào sản phẩm OEM, thiết bị chuyên dụng hoặc hệ edge cần hiệu năng cao với truy cập runtime trực tiếp.

  • Tích hợp runtime với chi phí tài nguyên thấp
  • Điều khiển trực tiếp pipeline luồng và frame
  • Kiến trúc plugin cho mở rộng của khách hàng
  • Phù hợp đóng gói dạng appliance hoặc phía camera
Phù hợp nhất: Camera OEM, thiết bị edge, sản phẩm phần cứng đóng gói

Đóng gói OmniRuntime trên node phù hợp ngay từ ngày đầu.

Các gói phần cứng này biến OmniRuntime thành SKU triển khai thực địa. Chúng phù hợp cho cấu hình giao thẳng hoặc làm mục tiêu tham chiếu khi khách hàng muốn cài OmniRuntime trên phần cứng đã phê duyệt.

OmniRuntime Node Lite

Rockchip RK3588
Bộ tăng tốc RKNN NPU
Hiệu năng AI 6 TOPS
Lớp kênh 4 x 4K
Điện năng 15W
Phù hợp nhất Site pilot, triển khai một địa điểm gọn

OmniRuntime Node Pro

NVIDIA Jetson Orin NX
Bộ tăng tốc TensorRT
Hiệu năng AI 100 TOPS
Lớp kênh 16 x 4K
Điện năng 25W
Phù hợp nhất Hệ doanh nghiệp đa camera tiêu chuẩn

OmniRuntime Node Ultra

NVIDIA Jetson AGX Orin
Bộ tăng tốc TensorRT
Hiệu năng AI 275 TOPS
Lớp kênh 32 x 4K
Điện năng 60W
Phù hợp nhất Triển khai mật độ cao và khuôn viên lớn

Một bề mặt runtime cho mười họ bộ tăng tốc.

OmniRuntime được đặt như lớp triển khai phía trên tầng tăng tốc, giúp khách hàng giữ nguyên mô hình vận hành ngay cả khi phần cứng backend thay đổi từ Jetson sang Hailo, Rockchip, Intel, Qualcomm, Ambarella hoặc các NPU mới.

TensorRT NVIDIA GPU / Jetson Tăng tốc CUDA thông lượng cao
OpenVINO Intel CPU / GPU / VPU Runtime Intel edge và x86 linh hoạt
HailoRT Hailo H8 / H10 / H15 Thiết bị Hailo dạng M.2, PCI-E và standalone
RKNN Rockchip SoCs Hỗ trợ NPU nhúng cho RK35xx và RV11xx
Qualcomm SNPE Snapdragon SoCs Tăng tốc DSP/GPU cho mobile, ô tô và edge
CVFlow Ambarella CV2x / CV5 / CV52 Tăng tốc thị giác nhúng trên Ambarella
DeepX DX-M1 and modules Bộ tăng tốc suy luận edge chuyên dụng
Blaize Blaize AI processors Suy luận công suất siêu thấp
MEMX MEMX accelerators Xử lý AI định hướng bộ nhớ
ARM NN ARM mobile and embedded Lớp trừu tượng CPU / GPU / NPU trên ARM

Ba lớp điều khiển, một mô hình triển khai.

Vòng đời runtime, logic perception và quy trình đưa thiết bị vào hệ thống được tách lớp rõ ràng để vận hành viên, lập trình viên và đội tích hợp cùng làm việc trên một runtime mà không chồng chéo.

⚙️

Core Runtime API

Vòng đời instance, đưa luồng vào hệ thống, điều khiển input/output, nhận sự kiện và vận hành hệ thống.

POST /api/v1/instanceGET /api/v1/instance/{id}/eventsPOST /api/v1/instance/{id}/frame
👁️

Perception API

Zone, tripwire, phân loại, luật phát hiện và tinh chỉnh cho an ninh, giao thông và phân tích vận hành.

POST /api/v1/perception/zonePUT /api/v1/perception/rule/{id}GET /api/v1/perception/events
📡

Device & ONVIF API

Dò tìm camera, quản lý thiết bị, cấu hình luồng và điều khiển thiết bị tại hiện trường cho triển khai qua mạng.

GET /api/v1/onvif/discoverPOST /api/v1/onvif/deviceGET /api/v1/onvif/stream/{id}

Benchmark runtime theo camera, kênh và FPS.

Các số liệu phản ánh bộ benchmark hiện tại của CVEDIX cho triển khai lớp OmniRuntime. Dùng làm tham chiếu lập kế hoạch kích thước node, rồi tinh chỉnh theo độ phân giải, FPS, họ model và độ phức tạp luật.

Node đầu vào 4 x 4KNode tiêu chuẩn 16 x 4KNode mật độ cao 32 x 4K64+ kênh cho triển khai qua mạng
Bộ tăng tốc FPS quan sát Độ trễ Khuyến nghị camera / kênh
Rockchip RK3588 42 FPS 24 ms 4 x 4K hoặc hệ 1080p nhỏ
NVIDIA Jetson Orin Nano 85 FPS 12 ms Node chuẩn 8-16 kênh 4K
NVIDIA Jetson Orin AGX 142 FPS 7 ms Node cao 16-32 kênh 4K
Hailo-8 65 FPS 15 ms Runtime node công suất thấp chuyên dụng
Intel Core Ultra 56 FPS 18 ms Máy chủ cục bộ đa dụng
Qualcomm QCS8550 98 FPS 10 ms Runtime edge mobile và nhúng

Phần mềm thuần, thiết bị đóng gói hoặc node quản trị.

OmniRuntime gom các phương án triển khai thường gắn với AI appliance vào một sản phẩm runtime duy nhất để đội ngũ chọn kiểu đóng gói phù hợp mà không phải đổi mô hình tích hợp.

OmniRuntime Node chuyên dụng

Đóng gói runtime thành appliance sẵn sàng vận hành với driver, tăng tốc và quản trị được chuẩn bị trước khi đến hiện trường.

  • Con đường nhanh nhất vào production
  • Hiệu năng hiện trường dễ dự báo
  • Lý tưởng cho triển khai chế độ remote

Cài đặt trên phần cứng khách hàng

Triển khai cùng một image runtime trên máy chủ tương thích của khách hàng khi yêu cầu mua sắm, bảo mật hoặc OEM cần bản phần mềm thuần.

  • Giữ nguyên tiêu chuẩn mua sắm hiện có
  • Phù hợp chuẩn hóa OEM và doanh nghiệp
  • Bề mặt runtime giống hệt hướng appliance

Vận hành Web độc lập

Vận hành OmniRuntime bằng web panel tích hợp cho kiểm tra trạng thái, vòng đời instance và quản trị từ xa mà không cần thêm console nặng.

  • Quản trị trực tiếp trên trình duyệt
  • Phù hợp node edge không người trực
  • Tốt cho bảo trì và hỗ trợ từ xa

Kết nối nguồn vào và trả về phát hiện có cấu trúc.

Dù khách hàng đi theo plugin, REST hay đóng gói OEM, runtime vẫn theo cùng một vòng lặp: tạo instance, xử lý frame và trả về sự kiện có thể khai thác.

Tạo Runtime Instance
POST /api/v1/instance
{
  "name": "entrance-01",
  "input": "rtsp://camera/stream",
  "model": "person-vehicle-v3",
  "output": "events"
}
Đẩy Frame từ Client
cv::Mat frame = captureFrame();
instance->pushFrame(
  frame.data,
  frame.cols,
  frame.rows,
  cvedix::PixelFormat::BGR
);
Trả về phát hiện có cấu trúc
GET /api/v1/instance/entrance-01/events
{
  "type": "person",
  "confidence": 0.96,
  "zone": "front_gate",
  "bbox": [120, 80, 340, 420]
}

Biến OmniRuntime thành lớp AI phía sau hệ thống của bạn.

Bắt đầu bằng runtime node chuyên dụng, bản cài phần mềm thuần hoặc gói all-in-one hiện trường. Kiểu đóng gói có thể thay đổi, nhưng bề mặt OmniRuntime luôn nhất quán.