產(chǎn)品簡介
Product Introduction
多模態(tài)融合感知AI芯片“曉晰 X1”是面向視覺、慣導(dǎo)、震動等多種傳感器融合處理的智能SoC芯片，支持多種傳感器硬件同步、信息處理加速以及面向神經(jīng)網(wǎng)絡(luò)運算的加速處理單元，可在片上完成對視頻、慣導(dǎo)、音頻等多模態(tài)數(shù)據(jù)的融合處理，提升設(shè)備端的感知能力以及智能分析能力。
X1芯片集成了公司團隊自研的具備仿生視覺處理能力的高性能ISP處理器，最高可支持4K視頻輸入及處理，同時集成了團隊自研的圖像處理加速引擎（CVPE），包括多傳感器硬件同步、亞像素級視頻畸變校正、視頻關(guān)鍵特征提取、立體視覺感知等功能。另外，芯片集成了支持4K級視頻的H264/265編解碼、最高主頻可達到1.5GHz的4核CPU處理器、主頻可達400MHz的RISCV實時處理器以及具備4TOPs算力的NPU神經(jīng)網(wǎng)絡(luò)加速處理單元。同時該芯片集成了多種常用控制接口，實現(xiàn)了感知、運算及控制的一體化設(shè)計。
該芯片架構(gòu)模擬人類大腦的處理機制，將多傳感器數(shù)據(jù)采集與高性能處理相結(jié)合，具備“感知-運算-控制”能力，可提升機器人等設(shè)備的智能化、一體化、實時化自主信息處理水平，可服務(wù)于智能機器人、無人機、智能安防等應(yīng)用場景。
芯片內(nèi)集成了多種通用性處理器及多個面向視覺處理的算法加速單元，可基于此芯片實現(xiàn)三維重建、自主定位、目標識別等多種功能，為智能機器人等應(yīng)用提供低功耗的芯片級解決方案。
（1） 實時三維重建及測距
芯片內(nèi)集成了自研的畸變校正模塊（LDC）和立體匹配模塊（SGM），可完成對芯片圖像的亞像素校正以及實時深度計算，完成目標的測距及三維重建。
（2） 實時定位導(dǎo)航
芯片內(nèi)集成了面向視覺SLAM應(yīng)用的加速算子，支持視覺、慣導(dǎo)等傳感器的納秒級硬件同步，進而可應(yīng)用于機器人、無人機等設(shè)備實現(xiàn)在片上的實時自身姿態(tài)估計和定位。
（3） 實時目標識別與追蹤
內(nèi)置NPU處理器，支持120種以上加速算子，可完成自定義網(wǎng)絡(luò)的片上加速推理，實現(xiàn)如目標識別、目標追蹤等功能。
產(chǎn)品信息
Product Information
需求類別 | 需求點 | 詳細描述 |
基本信息 | 工藝 | Samsung 14nm |
封裝 | Flip-chip 21*21mm 771pin | |
處理器 | CPU | 4核Cortex-A55工作頻率 1.5GHz L1 Cache：I 32KB, D 32KB. L2 Cache：512KB |
MCU | E906 (RISCV) 最高工作頻率：400MHz RAM: 256KB | |
NPU | 算力達到4Tops@8Bits | |
視頻處理 自研IP | BISP | 支持2通道視頻接入（MIPI/LVDS IN） 可配置為單目（最高4K）、雙目（最高2K）、單目+雙目、雙目+雙目 支持HDR/WDR； 支持過濾器（降噪、銳度、模糊）； 傳感器自適應(yīng)的可編程伽馬校正； 傳感器串擾補償； 增強的色度噪聲降低（CNR）； 支持3A功能 |
LDC | 支持實時亞像素級畸變校正 | |
SLAM ACCs | 支持實時特征提取及深度計算 | |
VPU | 編解碼 | 4K@60fps H264/H265，JPEG |
DPU | 視頻顯示 | 支持1路1080P@30FPS（MIPI/LVDS OUT） |
USB | USB | 支持USB2.0 OTG，USB3.0 Device |
Ethernet | Ethernet | 支持 10M/100M/1000M 模式 支持MII/GMII/RMII/RGMII接口 |
DDR | LPDDR5 /LPDDR4 | LPDDR5/4，兼容單/雙通道 最高可達6.4Gbps |
EMMC | EMMC | 支持EMMC 5.0 |
SDIO | SDIO | 支持SDIO 3.0 |
內(nèi)部控制模塊 | Mailbox | CPU間通信和互發(fā)終端，溫度傳感控制 |
PWR | 上電、時鐘、復(fù)為控制模塊 | |
Timer | 6路獨立Timer | |
Muxpin | 管腳復(fù)用控制模塊 | |
Security | 安全控制模塊 | |
外設(shè) | UART | 4個，最高支持1.5Mbps |
SPI | 3個，master | |
I2S | 4個 可以接入8路語音信號 | |
I2C | 6個 | |
PWM | 9個 | |
GPIOs | 80個以上 | |
ADC | 5路并行sigma delta ADC (Audio Codec) 1路SARADC(4 Lane) |
