Trong ngành công nghệ, bạn khó có thể trò chuyện mà không có ai nhắc đến suy luận, trí tuệ nhân tạo (AI) và học máy (ML). Tuy nhiên, điều quan trọng cần lưu ý là mặc dù tất cả các thuật ngữ này có mối liên hệ với nhau nhưng chúng cũng khác nhau đáng kể.
Trong bài viết này, chúng tôi sẽ giải thích những khác biệt cơ bản và nêu bật tầm quan trọng của việc sử dụng công nghệ AI biên dựa trên xử lý tensor, đặc biệt là trong các hệ thống biên và nhúng. So với các giải pháp dựa trên bộ xử lý đồ họa (GPU), bộ xử lý tensor (TPU) mang lại hiệu suất-hiệu quả hơn và tiết kiệm chi phí hơn. Chúng tôi cũng sẽ cung cấp một số trường hợp sử dụng ví dụ minh họa những trường hợp bạn có thể gặp phải các giải pháp AI tiên tiến trong tương lai.
Nguyên tắc cơ bản của ML và suy luận
ML đề cập đến phương pháp đào tạo các mô hình sử dụng dữ liệu đại diện để cho phép máy học cách thực hiện các nhiệm vụ. Quá trình này có thể có cường độ tính toán cao, tạo ra hàng nghìn tỷ thao tác trên mỗi điểm dữ liệu đào tạo mới. Bản chất lặp đi lặp lại của quá trình đào tạo, kết hợp với các tập dữ liệu đào tạo khổng lồ cần thiết để đạt được độ chính xác cao, thúc đẩy nhu cầu xử lý dấu phẩy động-hiệu suất-cực kỳ cao. Đào tạo ML được triển khai tốt nhất dưới dạng cơ sở hạ tầng trung tâm dữ liệu, nơi có thể điều chỉnh chi phí vốn và vận hành cao bằng cách khấu hao chúng cho nhiều khách hàng.
Suy luận liên quan đến việc sử dụng các mô hình đã được đào tạo để tạo ra các kết quả phù hợp tiềm năng cho dữ liệu mới liên quan đến dữ liệu đại diện mà mô hình đã được đào tạo. Suy luận nhằm mục đích đưa ra câu trả lời nhanh chóng trong vòng một phần nghìn giây. Ví dụ về suy luận bao gồm nhận dạng giọng nói, dịch ngôn ngữ-theo thời gian thực, thị giác máy và các quyết định tối ưu hóa chèn quảng cáo. Mặc dù khả năng suy luận chỉ yêu cầu một phần công suất xử lý cần thiết cho hoạt động đào tạo nhưng nó vẫn vượt xa những gì mà các hệ thống dựa trên bộ xử lý trung tâm (CPU){4}}truyền thống có thể cung cấp, đặc biệt là cho các ứng dụng thị giác máy tính. Đây là lý do tại sao rất nhiều công ty đang chuyển sang sử dụng các giải pháp tăng tốc-dựa trên tensor-dù là IP trên SoC hay trong-các bộ tăng tốc hệ thống-để đạt được thời gian phản hồi dưới{10}}giây cần thiết ở biên. Thực tế là việc dành dù chỉ một phút hoặc vài giây để xử lý hình ảnh trong hệ thống thị giác cũng không hữu ích lắm. Các hệ thống thị giác công nghiệp đang tìm kiếm tốc độ xử lý{13}ở mức mili giây.
Tách đào tạo và suy luận
Việc triển khai cùng một phần cứng dùng để đào tạo nhằm xử lý khối lượng công việc suy luận có thể dẫn đến việc-cung cấp quá mức các máy suy luận có bộ tăng tốc và phần cứng CPU. Các giải pháp GPU được phát triển cho ML trong thập kỷ qua không nhất thiết là lựa chọn tối ưu để triển khai-công nghệ suy luận ML trên quy mô lớn. Sơ đồ bên dưới minh họa hoàn hảo sự so sánh giữa bộ tăng tốc TPU và bộ tăng tốc GPU. Điều này cho thấy rõ rằng bộ tăng tốc TPU mang lại mức tiêu thụ điện năng thấp hơn, giảm chi phí và hiệu suất cao hơn so với các giải pháp AGX dựa trên GPU-trong khi vẫn cung cấp mức hiệu suất hấp dẫn cho các ứng dụng suy luận.

Một yếu tố quan trọng khác cần cân nhắc khi tiếp cận các giải pháp suy luận và đào tạo ML là môi trường phần mềm. Ngày nay, nhiều thư viện phổ biến đang được sử dụng, chẳng hạn như CUDA cho GPU NVIDIA, khung ML như TensorFlow và PyTorch, thư viện mô hình đa nền tảng được tối ưu hóa như Keras, v.v. Các bộ công cụ này rất cần thiết để phát triển và đào tạo các mô hình ML, nhưng các ứng dụng suy luận yêu cầu một bộ công cụ phần mềm khác, nhỏ hơn.
Bộ công cụ suy luận tập trung vào việc chạy các mô hình trên nền tảng đích. Chúng hỗ trợ chuyển các mô hình đã được đào tạo sang nền tảng, có thể liên quan đến một số chuyển đổi toán tử, lượng tử hóa và dịch vụ tích hợp máy chủ. Tuy nhiên, điều này thể hiện một tập hợp các chức năng tương đối đơn giản so với những chức năng cần thiết cho việc đào tạo và phát triển mô hình.
Các công cụ suy luận được hưởng lợi từ việc bắt đầu bằng cách trình bày mô hình được tiêu chuẩn hóa. Trao đổi mạng thần kinh mở (ONNX) là định dạng tiêu chuẩn để thể hiện các mô hình ML. Đúng như tên gọi, nó là một tiêu chuẩn mở được quản lý như một dự án Linux Foundation. Các công nghệ như ONNX cho phép tách rời hệ thống đào tạo và suy luận, cho phép các nhà phát triển tự do lựa chọn các nền tảng được tối ưu hóa khác nhau cho mỗi hệ thống.
Ví dụ về ứng dụng trực quan
Khi công nghệ ML và bộ xử lý suy luận tiếp tục tiến bộ và phát triển, các ứng dụng cũng ngày càng phát triển. Dưới đây chỉ là một vài nơi bạn có thể gặp công nghệ này trong tương lai.
Máy chủ biên trong các doanh nghiệp như nhà máy, bệnh viện, cửa hàng bán lẻ và tổ chức tài chính. Ví dụ: trong môi trường công nghiệp, AI có thể hỗ trợ quản lý hàng tồn kho, phát hiện lỗi và thậm chí bảo trì dự đoán trước khi có vấn đề phát sinh. Trong bán lẻ, nó hỗ trợ các tính năng như ước tính tư thế, sử dụng thị giác máy tính để phát hiện và phân tích tư thế con người. Dữ liệu từ phân tích này giúp các nhà bán lẻ truyền thống hiểu rõ hơn về hành vi của con người và lượng người ghé qua cửa hàng của họ, cho phép họ tối ưu hóa bố cục cửa hàng để đạt được doanh số bán hàng tối đa và sự hài lòng của khách hàng.
Hình ảnh có-độ chính xác/chất lượng cao-cao dành cho các ứng dụng bao gồm robot, tự động hóa/kiểm tra công nghiệp, hình ảnh y tế, hình ảnh khoa học, camera giám sát và nhận dạng vật thể cũng như quang tử học. Ví dụ: phương pháp học máy đã chứng minh khả năng phát hiện ung thư bằng cách xử lý tia X{3}}kỹ thuật số. Quá trình này bao gồm việc phát triển một mô hình ML được thiết kế để xử lý hình ảnh tia X, thường sử dụng thuật toán phân đoạn ngữ nghĩa đã được đào tạo để xác định các tổn thương ung thư. Trong quá trình đào tạo, các hình ảnh ung thư được các bác sĩ X quang xác định sẽ được sử dụng để hướng dẫn mạng lưới thế nào không phải là ung thư, thế nào là ung thư và các loại ung thư khác nhau xuất hiện như thế nào. Mô hình ML càng được đào tạo nhiều thì khả năng tối đa hóa chẩn đoán chính xác và giảm thiểu chẩn đoán sai càng trở nên tốt hơn. Điều này có nghĩa là học máy không chỉ dựa vào thiết kế mô hình thông minh mà còn dựa vào số lượng lớn (hàng chục nghìn đến hàng triệu) ví dụ dữ liệu được quản lý cẩn thận trong đó ung thư đã được xác định một cách thành thạo.
Giỏ hàng thông minh-Một số công ty đang phát triển và triển khai hệ thống mua sắm thông minh nhận dạng sản phẩm không phải bằng mã vạch UPC mà bằng hình thức trực quan của chính bao bì. Tính năng này cho phép người mua hàng chỉ cần đặt các mặt hàng vào giỏ hàng hoặc vào hệ thống thanh toán mà không cần xác định mã UPC và quét mã đó bằng máy quét laser UPC. Công nghệ này giúp quá trình mua sắm trở nên chính xác hơn, nhanh chóng hơn và thuận tiện hơn.
Đưa ra quyết định đúng đắn
Các công ty phải đánh giá tất cả các giải pháp hiện có và chọn giải pháp tối ưu dựa trên trường hợp sử dụng cụ thể của họ. Họ cũng không thể đơn giản cho rằng tất cả các giải pháp AI đều được triển khai tốt nhất trên các thiết bị GPU, vì các giải pháp dựa trên TPU{1}}mang lại hiệu quả xử lý cao hơn và mức sử dụng silicon thấp hơn, từ đó giảm mức tiêu thụ điện năng và chi phí.




