原标题：云知声发布多模态AI战略，欲依托算法与芯片构建场景优势

雷锋网消息，当前我们正处于5G爆发的边缘，5G与AI的结合将真正促使AIoT智慧物联的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布计算的需求，将进一步挑战AI芯片的计算能力。

2019年1月2日，云知声在北京召开新闻发布会，正式公布了其多模态AI芯片战略与规划，并同步曝光了在研的三款定位不同场景的AI芯片。

AIoT造就AI芯片新形态

2018年，“多模态”逐渐成为了业界研究的一个重点。如果把模态理解为感官，那么多模态即是调用多种感官的交互方式，它跨过了自然语言，其方式也更加贴近人，是AI未来的一个发展方向。

云知声创始人兼CEO黄伟认为，随着AIoT场景的逐渐丰富，未来应用对于端云互动有更强的需求，二者需要紧密结合，这要求对芯片设计和云端架构进行统一考量，具备多维度AI数据集中处理能力的多模态AI芯片将成必由之路。云知声接下来将依托AI算法与AI芯片构建场景优势，关键就在于多模态AI芯片战略。

基于此，云知声进一步对传统SoC（System on Chip）概念提出全新定义，其中S代表不同的AI服务能力即Skills，O代表云端与边缘侧的互动On/Off Cloud，C代表具备智能处理能力的AI芯片。

同时，云知声发布了DeepNet2.0多模态人工智能核心IP，其AI处理能力也从1.0的语音进化到2.0的多模态，支持语音、图像等处理能力。DeepNet2.0可兼容LSTM/CNN/RNN/TDNN等多种推理网络，支持可重构计算与Winograd处理，最高可配置算力达4Tops。目前云知声DeepNet2.0已在FPGA上得到验证，将在今年的全新多模态AI芯片海豚（Dolphin）上落地。

在会后的交流中，黄伟特别向雷锋网强调“多模态不是为了做视觉而做视觉，而是产品真正需要这种能力”。他以自动驾驶为例，可以通过面部图像识别司机注意力是否集中、是否疲劳驾驶，并根据识别结果提醒司机安全驾驶。“又如夜间行车时视野不如白天清晰，这时如果有实时图像增强的帮助就能大大提升安全性。”

多模态演进之路

作为一家国内领先的AI企业，云知声2014年开始切入物联网AI硬件芯片方案（IVM），并于2015年开始量产出货。在深入场景提供服务的过程中，为弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及在边缘算力、多模态AI数据处理方面的能力短板，2015年云知声正式启动自研AI芯片计划。

去年5月，云知声推出业内首款面向IoT的AI芯片UniOne及其解决方案雨燕（Swift），加速商业扩张与应用。该芯片采用云知声自主AI指令集，拥有具备完整自主知识产权的DeepNet1.0、uDSP（数字信号处理器），并支持DNN/LSTM/CNN等多种深度神经网络模型，性能较通用方案提升超50倍。

云知声联合创始人李霄寒曾指出，“UniOne不是一颗芯片，而是一系列芯片，它代表了云知声对于物联网AI芯片发展战略的整体构想”。在今天的发布会上，李霄寒再次从三方面论证了物联网多模态AI芯片的必要性。他认为，当前物联网产品线的AI芯片越来越明显地体现出三个趋势：

场景化：芯片设计正在由原来的片面追求PPA，即性能（Power）、功耗（Performance）和面积（Area），逐渐演变成基于软硬一体，甚至包括云端服务的方式来解决某个垂直领域的具体问题，芯片本身上升成为整个解决方案中的重要部分，而非唯一；

端云互动：在物联网的不同应用场景下，海量终端设备要实现功能智能化必须端云配合，即形成边缘算力和云端算力的动态平衡。端云互动的命题需要AI芯片的强有力支持，进一步也深刻影响到芯片的设计，以及最终的交付；

数据多模态：在以5G驱动的万物智联场景下，芯片所接触到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的挑战。

以此来看，面向物联网终端场景的AI芯片核心是解决垂直场景问题的能力，其呈现形式将不再是一个单一的硬件，而是承载着边缘能力与云端能力的多模态AI软硬一体解决方案。

三款芯片蓄势待发

在首款量产芯片雨燕已有大批客户导入，占领市场先发优势的背景下，2019年云知声在芯片落地规划方面仍将保持积极态度。