Âm thanh là một phần không thể thiếu của nhiều ứng dụng IoT, bao gồm các sản phẩm tiêu dùng như loa và tai nghe, thiết bị đeo và thiết bị y tế (ví dụ, máy trợ thính), ứng dụng tự động hóa và kiểm soát công nghiệp, hệ thống giải trí và đơn vị thông tin giải trí ô tô.
IoT Audio có thể được phân loại thành ba loại: phát trực tuyến (nghĩa là âm nhạc, giọng nói và dữ liệu), nhận dạng giọng nói/lệnh và không dây thông qua kết nối Bluetooth và Wi-Fi (ví dụ: phát trực tuyến âm thanh đa kênh qua hệ thống âm thanh vòm gia đình). Tuy nhiên, việc thiết kế các hệ thống phụ âm thanh chất lượng cao, không bị gián đoạn có thể là thách thức khi các kỹ sư phải tuân thủ các ràng buộc nghiêm ngặt cần thiết cho các thiết bị dựa trên IoT.
Các thiết kế phức tạp hơn được yêu cầu bao gồm các tính năng nâng cao như nhận dạng giọng nói, chẳng hạn như cho phép người lái điều khiển hệ thống thông tin giải trí trong xe của họ theo cách rảnh tay như điện thoại di động. Vì MCU là trung tâm của tất cả các hệ thống âm thanh này, điều quan trọng là chọn MCU tích hợp các công nghệ âm thanh cần thiết cần thiết để thiết kế một hệ thống âm thanh không có tiếng ồn đáng tin cậy. Bài viết này khám phá các công nghệ âm thanh có thể được sử dụng để thiết kế các hệ thống như vậy.
Các thành phần của một hệ thống con âm thanh
IoT Audio bao gồm ba hoạt động chính: giọng nói/dữ liệu chất lượng cao của hơi nước, truyền không dây và điều khiển tổ chức lại giọng nói. Hình 1 cho thấy các khối xây dựng quan trọng nhất trong một hệ thống nhúng.
Sơ đồ khối này cho thấy các khối xây dựng quan trọng hơn của hệ thống con xử lý âm thanh
Lưu ý rằng nhiều tính năng này có thể được tích hợp vào MCU hiện đại, chẳng hạn như Cywpress Cyw43907 với Wi-Fi 802.11n tích hợp được sử dụng trong ví dụ này. Một số công nghệ âm thanh quan trọng có thể được bao gồm trong hệ thống dựa trên IoT bao gồm:
Ứng dụng âm nhạc
MCU hỗ trợ âm thanh cho phép các kỹ sư giải mã các luồng MP3/4 được sử dụng bởi hầu hết các trình phát và nhà cung cấp nội dung phổ biến. Nhiều thiết kế cũng cần hỗ trợ giải mã AAC của WMA và Apple, đòi hỏi sức mạnh xử lý bổ sung. Trong các ứng dụng âm thanh tiêu dùng, MCU âm thanh chi phí thấp thường có thể được sử dụng bằng cách quản lý các luồng nhạc kỹ thuật số từ các phụ kiện âm thanh như bộ loa kỹ thuật số.
Trong các ứng dụng này, một khung dữ liệu âm thanh PCM (được đóng gói ở định dạng lớp âm thanh USB) sẽ xuất hiện cứ sau 1 ms thông qua một trong các kênh nối tiếp SPI/I²C của bộ xử lý. Tùy thuộc vào nguồn, luồng âm thanh có thể đến một trong một số định dạng (nghĩa là được liên kết bên trái, được liên kết phải, I2s, v.v.). Tuy nhiên, một số codec chi phí thấp chỉ có thể chấp nhận các định dạng nhất định. Trong những trường hợp này, MCU đóng một vai trò quan trọng trong việc đảm bảo rằng dữ liệu được căn chỉnh chính xác trước khi được đưa vào codec.
Vì không phải tất cả các nguồn âm thanh đều sử dụng cùng tốc độ lấy mẫu, nên codec cũng phải điều chỉnh tần số lấy mẫu của nó với nguồn hoặc dựa vào MCU để chuyển đổi luồng dữ liệu được lấy mẫu thành tốc độ dữ liệu chung (xem Hình 2). Trong những trường hợp này, MCU phải quản lý luồng để tránh các điều kiện dưới hoặc quá tải có thể dẫn đến sự không liên tục của Mutes, Pops và Audio có thể gây mất dữ liệu và phá vỡ trải nghiệm nghe người dùng. Lưu ý rằng MCU âm thanh cũng có thể được sử dụng để thực hiện các chức năng khác của hệ thống con âm thanh, chẳng hạn như điều khiển ánh sáng trong quá trình phát lại âm thanh.
MCU âm thanh có thể cần thực hiện chuyển đổi định dạng, điều chỉnh tốc độ mẫu và quản lý luồng, cũng như hỗ trợ giao diện người dùng âm thanh.
Để thực hiện âm thanh trong một loạt các ứng dụng, âm thanh MCU cần hỗ trợ nhiều công nghệ âm thanh. Hình 3 cho thấy các ví dụ về các công nghệ âm thanh này.
Công nghệ âm thanh
Codec âm thanh
Codec âm thanh là thành phần chính của hệ thống âm thanh. Nhiều MCU được xây dựng cho các ứng dụng IoT hỗ trợ chức năng codec trong phần cứng. Điều này cho phép hệ thống giảm kích thước của các mẫu âm thanh kỹ thuật số để tăng tốc độ truyền không dây (tiết kiệm năng lượng) và tiết kiệm không gian lưu trữ (giảm căng thẳng cho dung lượng bộ nhớ trong). Codec có thể hỗ trợ các định dạng tiêu chuẩn âm thanh khác nhau như AAC, AC -3 và ALAC. Để làm như vậy, nó yêu cầu một đơn vị truy cập giải mã (AU), được thực hiện trước bất kỳ xử lý hậu kỳ âm thanh nào (ví dụ: DSOLA, SOLA). Khi được sử dụng với các định dạng âm thanh tiêu chuẩn như AAC, AC -3 và ALAC, âm thanh được phân loại theo cách mà các mẫu âm thanh tiếp theo nằm trong định dạng quy định được chỉ định trong luồng dữ liệu gói âm thanh. Khoảng cách gói cũng được quản lý để cho phép jitter chéo tối thiểu và hoạt động không bị gián đoạn với sự hiện diện của tắc nghẽn. Kích thước tải trọng AU cho phép thực hiện bất kỳ sự che giấu nào cần được thực hiện.
Xử lý băng cơ sở
Tín hiệu Baseband là nhóm tần số cơ bản trong một dạng sóng tương tự hoặc kỹ thuật số có thể được xử lý bằng các mạch điện tử. Tín hiệu Baseband có thể bao gồm một tần số đơn hoặc một nhóm tần số hoặc, trong miền kỹ thuật số, một luồng dữ liệu được gửi qua một kênh không bị đa dạng. Baseband được định nghĩa là băng cơ sở (tín hiệu/thứ hai) được trộn với tín hiệu sóng mang để tạo ra tín hiệu điều chế. Lưu ý rằng trong MCU hỗ trợ IoT Audio, Audio Codec tích hợp xử lý băng cơ sở và RF trên một chip. Codec âm thanh có thể được triển khai trong một loạt các bộ thu phát không dây để cung cấp dữ liệu thoại và/hoặc chức năng âm nhạc. Codec cũng có các kênh đơn và âm thanh nổi cho đầu ra âm thanh, cũng như đầu vào âm thanh nổi.
Che giấu mất gói và sao chép dữ liệu
Độ trễ quá mức, mất gói và độ trễ cao có thể làm giảm chất lượng giao tiếp. Khả năng mất gói đột ngột tăng theo tải mạng và kết quả là sự gián đoạn có thể được người dùng nghe thấy. Truyền âm thanh mạnh mẽ qua Wi-Fi có thể được tăng cường với các tính năng nâng cao như công nghệ che giấu mất gói của Cypress. Nguồn/máy thu kiến trúc hệ thống như sau: Một nguồn thu âm thanh, ghép kênh dữ liệu PCM thông qua cấu trúc luồng RTP và đồng bộ hóa đồng hồ với tất cả các máy thu được kết nối với nguồn PLC.
Lưu ý rằng hiệu suất của liên kết truyền thông phụ thuộc vào chất lượng của hiệu suất ngân sách liên kết. Ngân sách liên kết này được xác định bởi ba yếu tố: truyền năng lượng, truyền tăng ăng -ten và nhận mức tăng ăng -ten. Ví dụ, giao tiếp đáng tin cậy qua mạng 802.11 là có thể nếu sức mạnh của đường dẫn liên kết trừ đi không gian có sẵn lớn hơn mức tín hiệu nhận được tối thiểu của đài nhận (xem Hình 4).
Hiệu suất của một liên kết truyền thông phụ thuộc vào chất lượng của hiệu suất ngân sách liên kết
Tăng cường thông minh về lời nói (SIE)
Tiếng ồn nền trong hệ thống âm thanh có thể làm giảm khả năng thông minh của lời nói. Nếu tiếng ồn vượt quá một mức độ nhất định, bài phát biểu có thể khó hiểu. Sự sẵn có của nhận dạng giọng nói liên tục theo thời gian thực trên các thiết bị nhúng đòi hỏi một hệ thống giúp tăng cường khả năng thông minh của lời nói bị thiếu tiếng ồn. Chọn MCU hỗ trợ chuyển và tối ưu hóa hệ thống nhận dạng giọng nói liên tục từ vựng lớn (LVCSR) thường được sử dụng có thể đơn giản hóa sự phát triển.
Phát hiện cụm từ thức dậy
Tính năng nâng cao này cho phép người dùng bật hệ thống rảnh tay bằng cách kích hoạt thiết bị bằng giọng nói của họ.
Multicast hiệu quả đến một hoặc nhiều loa
Multicasting là một phương thức địa chỉ mạng được sử dụng để gửi tin nhắn đến một nhóm mục tiêu đồng thời bằng cách sử dụng chiến lược hiệu quả nhất. Thông báo chỉ được gửi một lần qua mỗi liên kết trong mạng và các bản sao chỉ được tạo khi liên kết tiếp theo chia thành nhiều điểm đến, thường là tại các công tắc mạng và bộ định tuyến. Tuy nhiên, như Giao thức Datagram của người dùng (UDP), Multicast không đảm bảo gửi luồng tin nhắn, điều này có thể dẫn đến việc loại bỏ tin nhắn hoặc gửi tin nhắn không có tổ chức. Multicast đáng tin cậy (RMC) cung cấp sự thừa nhận cho các gói phát đa hướng (chỉ các gói) để có thể phân phối một số gói phát đa hướng cụ thể nhất định. Máy phát chọn máy thu với RSSI yếu nhất để xác nhận khung hình. Trong môi trường IoT, việc triển khai RMC có nghĩa là máy phát Wi-Fi chọn một trong nhiều máy thu Wi-Fi để xác nhận việc tiếp nhận khung. Máy phát chọn máy thu với RSSI yếu nhất để xác nhận khung hình. Việc triển khai sử dụng khung hoạt động có chứa các yếu tố thông tin độc quyền RMC để thông báo và cho phép người thừa nhận. Việc triển khai cũng chứa các lệnh trình điều khiển Wi-Fi dành riêng cho RMC để đặt địa chỉ MAC phát đa hướng và để bật và tắt RMC.
Đối với âm thanh và video với độ trễ truyền cố định và đối xứng, các yêu cầu đồng bộ hóa thời gian được đáp ứng; Ví dụ, RMC có thể dựa vào thời gian và đồng bộ hóa chính xác cao để truyền tải dữ liệu bằng giọng nói, video và di động. Đạt được thời gian chính xác và chính xác cao không dễ dàng từ quan điểm kỹ thuật, vì vậy điều quan trọng là tìm các triển khai có thể được xác minh để đáp ứng các yêu cầu ứng dụng.
Định dạng khung, sửa lỗi chuyển tiếp và sao chép gói
Đối với truyền phát âm thanh, điều quan trọng là đồng hồ được đồng bộ hóa với tất cả các máy thu Wi-Fi. Một cách tiếp cận là sử dụng đồng hồ chung cho cả thiết bị nguồn và thiết bị nhận, thường được gọi là đồng hồ treo tường hoặc đồng hồ hệ thống (STC). Đầu tiên, mỗi máy thu (máy thu) đồng bộ hóa STC (đồng hồ treo tường) của nó với STC nguồn/máy phát (đồng hồ tường chính). Mỗi máy thu hiện có thể khôi phục đồng hồ của máy phát vì dấu thời gian được chèn bởi nguồn (có sẵn trong tiêu đề mở rộng của mỗi gói RTP) phản ánh khoảnh khắc được lấy mẫu của phương tiện so với đồng hồ chung.
STC dựa trên các giá trị đồng hồ Grandmaster được nêu trong đặc tả 802.1As. Vì tất cả các thiết bị người nhận đều biết về mối tương quan giữa STC và đồng hồ phương tiện của thiết bị nguồn (vì nó liên quan đến RTP hoặc dấu thời gian truyền thông), mỗi máy thu có thể xây dựng lại một bản sao của đồng hồ phương tiện RTP của thiết bị nguồn và xếp hàng đầu ra của nó để kết xuất phù hợp. CLOCKING trong suốt là nơi phần cứng/UCode có thể nhận được các gói thời gian nhận được và truyền càng gần với giao diện MAC/PHY. Mặc dù giá trị đồng hồ này không được sử dụng để phát lại, nhưng nó có thể được sử dụng để đo jitter trong toàn bộ hệ thống và thực hiện phân tích hiệu suất đầy đủ.
Ví dụ về hệ thống âm thanh nhà thông minh
Để hiểu IoT Audio trong bối cảnh, hãy xem xét ví dụ về nhà thông minh và vai trò âm thanh có thể đóng trong việc cải thiện chức năng tổng thể của hệ thống nhà thông minh. Một ngôi nhà trở thành một ngôi nhà thông minh khi các thiết bị và thiết bị trong đó có thể giao tiếp với nhau và những người sống ở đó. Bằng cách tăng tính kết nối của chúng tôi, những ngôi nhà thông minh đang cải thiện chất lượng cuộc sống của chúng tôi và tăng cường an ninh.
Một trong những trường hợp sử dụng chính cho âm thanh trong nhà thông minh là lưu trữ và chia sẻ âm thanh qua Wi-Fi hoặc Bluetooth. Việc lựa chọn Wi-Fi qua BLE thay đổi theo ứng dụng và phụ thuộc vào phạm vi và yêu cầu chất lượng âm thanh. Ví dụ, một bộ điều khiển nhà có thể phát một âm thanh cụ thể trong mỗi phòng của ngôi nhà nếu ai đó gọi chuông cửa ở cửa, thay vì chỉ cắm chuông trong một phần của ngôi nhà. Tương tự, bộ điều khiển có thể giới hạn âm thanh ở các phòng cụ thể, chẳng hạn như không có trong vườn ươm cho trẻ sơ sinh. Bộ điều khiển nhúng giúp xử lý âm thanh này và làm cho hệ thống thông minh hơn bằng cách quản lý các chức năng điều khiển đầu ra khác nhau.
Hệ thống âm thanh phát lại
Phát lại các hệ thống âm thanh đã trở thành một ứng dụng quan trọng trong thị trường âm thanh. Các hệ thống phát lại âm thanh không dây là trung tâm của ngôi nhà thông minh, tập hợp nhiều thiết bị thông minh khác nhau trong nhà và đưa ra quyết định thông minh thay mặt cho người dùng. Ví dụ, một hệ thống âm thanh có thể kiểm soát các mẫu chiếu sáng trong một ngôi nhà dựa trên âm nhạc hiện đang phát. Nó cũng có thể sử dụng chuyển đổi văn bản thành giọng nói để đọc to thông báo hoặc email của người dùng. Người dùng cũng có tùy chọn tạo vùng trong hệ thống âm thanh nhiều phòng bằng cách sử dụng các thiết bị âm thanh có thể nối mạng, chẳng hạn như loa không dây trong các phòng khác nhau của ngôi nhà. Cách tiếp cận này tạo ra toàn bộ hệ sinh thái để đảm bảo rằng ngôi nhà luôn hoạt động với hiệu quả cao nhất trong khi giảm thiểu các tương tác với những người sống ở đó. Để tạo ra một hệ sinh thái như vậy, các nhà thiết kế IoT cần chọn một bộ vi điều khiển nhúng với hiệu suất phù hợp và các tính năng dựa trên âm thanh đã được tối ưu hóa cho các ứng dụng IoT.
Hiệu ứng xử lý tín hiệu số
Xử lý tín hiệu âm thanh trong miền kỹ thuật số là một phần quan trọng của bất kỳ hệ thống âm thanh nào trước khi truyền dữ liệu âm thanh qua liên kết không dây. Việc xử lý này thường liên quan đến việc đo, lọc và/hoặc nén tín hiệu tương tự âm thanh. MCU nhúng với chức năng DSP tích hợp cho phép các hiệu ứng như bổ sung bộ trộn kỹ thuật số và hỗ trợ cho các chức năng điều khiển từ xa. Với bộ cân bằng băng tần 5- cho mỗi kênh, phát lại âm thanh có thể được tích hợp khéo léo với hầu hết các ứng dụng trình tự để tạo ra một hệ thống phòng thu mạnh mẽ.