配備 NXP 神經處理單元的康佳特 AI 入門套件

在生物工程應用領域 (包括診斷、除顫器、微創(chuàng)外科手術中的實時影像),嵌入式集成的實現方式決定了 AI 系統(tǒng)的成敗。預配置的嵌入式模塊可幫助開發(fā)者更快為醫(yī)療應用找到適用的解決方案。為此,康佳特開發(fā)了解決方案平臺,該平臺基于恩智浦(NXP) i.MX 8 Plus 處理器并配備了集成式神經處理單元(NPU),讓它能夠像真人一樣協(xié)助護理病患。

用于恢復心率的除顫器

2021 年 6 月 12 日傍晚 6:43,整個足球界都屏住了呼吸:在丹麥與芬蘭的一場歐洲杯比賽中,丹麥球員Christian Eriksen 倒下了,他的心臟停止了跳動。幸運的是,醫(yī)生就在旁邊并迅速使用除顫器設備來挽救他的生命�，F在,非專業(yè)醫(yī)療人員也可以操作它了。在現代計算機技術的支持下,AED(自動化體外除顫器)可被編程以進行急救電擊,并以全自動的方式使心率恢復正常。用戶只需要把兩個粘性電極貼到右鎖骨和左腋窩之間,剩下的流程將由其內置的處理器來控制和計算。NXP 的 i.MX 8 應用處理器平臺就是其選用的內建處理器。

具備 AI 計算機技術的 AED 可全自動地恢復病患的正常心率,從而拯救生命。

采用 NXP 處理器的生物工程學應用

除了除顫器,使用 NXP 技術的電子醫(yī)療解決方案在醫(yī)學領域還有很多應用,比如病患登記、分析和診斷、外科手術、病床護理等。為了提高采用 AI 的醫(yī)學應用的效率,NXP 為其新款 i.MX 8MPlus 處理器配備了一個用于深度學習和機器學習的神經處理單元(NPU)。神經形態(tài)處理器的設計靈感來自大腦的神經網絡,在圖形識別方面經過優(yōu)化,在執(zhí)行此類任務時的耗電量比普通 CPU 要少。同時,這類低功耗 NPU 具有每秒數兆次的運算能力(TOPS),為智能電子醫(yī)療解決方案的開發(fā)者們開辟了新的可能。

提升病患福祉的全天候數字醫(yī)療助手

NPU 加速的 NXP i.MX 8M Plus 處理器能通過 AI 引擎達到 2.3TOPS 的運算能力,并具有 4 個 ArmCortex-A53 核心和 1 個用于傳統(tǒng)計算任務的 Arm Cortex-M7 控制器。它還具有一個圖像信號處理器(ISP),用于高分辨率圖片及視頻的并行實時處理。

由此,它能夠在圖像獲取階段預處理并準備好成像數據,讓NPU 更快地提供更清晰的結果。這對于需要實時高精度畫面信息的場合(例如各種成像操作和微創(chuàng)手術)尤其有益。在麻醉機中,具備 AI 加速器的 i.MX 處理器也能幫助手術團隊精準地管控麻醉劑量。監(jiān)控設備會控制麻醉機的壓縮氣體的流動,氣體隨后會通過霧化器,最后的混合氣體則會通過病患的呼吸系統(tǒng)排出。

AI 嵌入式應用配備了基于邊緣的實時圖像處理 AI,可協(xié)助醫(yī)生在手術室中執(zhí)行微創(chuàng)外科手術。

AI 在放射診斷學和病床護理中的用途

配備 AI 后,放射診斷設備能分析 X 光機和超聲波儀器的信息,并將這些信息用于診斷。例如,醫(yī)生在用 CT 掃描儀檢查肺部時,可以查看整個胸腔的情況,從而檢測出冠狀動脈的鈣化現象。在為病患規(guī)劃綜合治療方案并確定治療手段時,這些額外信息尤其有用。AI 系統(tǒng)會對比病患的數據和軟件中的參考數據。任何的不符和異常記錄都會以圖片形式被標注,讓醫(yī)生能夠更深入地檢查相應的部位。

在病床護理方面,具有 NPU 的處理器相當于一個加強病患護理的數字助手。電子化操作的病床所配備的 AI 能夠記住讓病患舒適的位置,以及他們坐立或起床時所需的支撐力度。AI 應用還能監(jiān)控生命體征,例如血壓、體溫或心電圖數據,并控制輸液泵。這樣就能控制血液、藥劑、營養(yǎng)液等液體向病患循環(huán)系統(tǒng)的輸送。此外,AI 解決方案還能幫助醫(yī)務人員與病患交流,尤其是在病患因藥物狀況無法清晰說話的情況下。

簡化人機互動

通過觸屏、語音、增強現實(AR)設備來操控的醫(yī)用人機界面也受益于 AI。有了集成式 AI 處理器,不僅麻醉和病床護理時的病患監(jiān)控系統(tǒng)操作有所簡化,相關的早期警告系統(tǒng)也能被其激活,減輕醫(yī)生和護士的工作量。此外,AI 解決方案正廣泛用于病患入院時使用的入院登記機。它們可根據實時的血糖、肺部功能等生命體征數據,為緊急入院情況下的醫(yī)務人員提供治療建議,從而避免危險的醫(yī)療事故。在未來,開發(fā)者還打算讓 AI 創(chuàng)建病患的數字孿生,對療法進行虛擬測試,讓醫(yī)生能評估藥物或療法的潛在效果并減少風險。

在所有這些用例中,重要的是醫(yī)療設備必須具有足夠的算力,用來自動記錄和評估信息。這就需要在手術室、急診部、ICU 病房中配備獨立于云端的 AI 邊緣系統(tǒng),避開云端的數據評估流程,從而減少延遲,讓設備在任何網絡環(huán)境下都能順暢運行

用于病患護理的緊湊型入門套件

為了在各種可能的 AI 應用領域加快 i.MX 8M Plus 處理器的推廣,康佳特設計了一款入門套件,讓開發(fā)者能夠快捷、安全地實現邊緣生物工程類應用�？紤]到醫(yī)療應用的復雜多樣,不言而喻,入門套件必須使嵌入式應用完美適配。為此,康佳特開發(fā)了一款信用卡尺寸的 SMARC 2.1 計算機模塊,配備一個i.MX 8M Plus 處理器。其集成的 NPU 可加速 AI 邊緣推理的本地執(zhí)行,且無需持續(xù)連接云端。對于基于視覺的任務,該模塊集成了硬件加速的視頻編碼和解碼功能并采用了尤為高效的 H.265 視頻壓縮標準。由此,即使是來自 2 個集成式 MIPI CSI 接口的高分辨率的視頻流,也能夠通過網絡直接傳輸到其它的電子醫(yī)療解決方案或醫(yī)院圖像存儲與傳輸系統(tǒng)(PACS)中。

透過 eIQ 實現定制化適配

在軟件方面,NXP 提供了“eIQ 機器學習”平臺�！癳IQ”指邊緣智能。AI 系統(tǒng)的開發(fā)者可訪問一個為NXP 的微處理器和微控制器定制的開發(fā)環(huán)境,它囊括了各種庫和開發(fā)工具,還包括多種基于軟件的推理引擎,可將邏輯規(guī)則應用于數據或信息,從而推理出新的發(fā)現。eIQ 支持多種推理引擎和庫,例如 Arm Neural Network (NN)和開源的 TensorFlow Lite 等。

來自 Basler 的 AI 觀察眼

用于各種具體應用的設計是透過 3.5 英寸的載板來實現的。它相當于數據通信的中央接口,將所有必要的外設連接到模塊。例如,它具有 2 個 MIPI CSI-2.0 接口,讓攝像頭無需額外的轉換模塊就能輕松連接。入門套件配備了 Basler dart BCON MIPI 攝像頭,但只要符合 MIPI CSI 標準,在康佳特套件的支持下,也可選用其它 OEM 的攝像頭。在軟件方面,Basler pylon 攝像頭軟件套件還提供了一套統(tǒng)一的 SDK,用于 MIPI CSI-2.0 以外的接口,并允許通過 USB 3.0 或 GigE 接口來操控攝像頭。憑借集成式 Basler 軟件包,開發(fā)者可以方便地使用核心的 AI 視覺功能,例如觸發(fā)。這樣就能超快地提供定格畫面和高度差異化的攝像頭配置選項。不僅如此,軟件還為各種客戶提供了針對性的推理算法,它們基于Arm NN和TensorFlow Lite引擎,能夠完全發(fā)揮NPU的性能。

預配置的入門套件不僅能節(jié)省醫(yī)用視覺系統(tǒng)的開發(fā)時間,還采用了市面上成熟的技術和現行標準,確保使用安全。Arm Cortex-A 處理器和 NPU 在醫(yī)療設備中相結合,在無需或僅需少量人為干預的情況下,即可通過傳感器數據得出正確結論,進而做出智能決策。

AI 是全方位的醫(yī)務幫手

AI 已被用于醫(yī)學實習、醫(yī)院、護理設施,在各種環(huán)境下協(xié)助醫(yī)護人員完成重要任務。無論是否具備視覺處理功能,各種電子醫(yī)療解決方案都可通過 AI 協(xié)助的深度學習和機器學習,被用于具體的應用領域中。

面向 AI 視覺的康佳特入門套件集成了各種組件,采用 Basler dart 作為攝像頭、具有 2個 MIPI CSI接口的SMARC 2.1 載板作為傳輸接口,以及一個 SMARC 2.1 模塊作為處理器。

AI 視覺用的中央處理單元:conga-SMX8-Plus SMARC 2.1 模塊以僅僅6W 的 TDP(熱功耗)為邊緣設備賦予神經形態(tài)智能

在探索 AI 的無限可能時,簡單快速的應用開發(fā)至關重要,這使得康佳特預配置入門套件迅速脫穎而出,因為它們在加快開發(fā)流程的同時,還提供豐富的選擇,能夠充分發(fā)揮搭載了智能 NPU的邊緣處理器的算力。

作者: Martin Danzer, 德國康佳特產品管理總監(jiān)