"人-机-物智能"的挑战、思考及应用实践
编者按：注：根据杨天若教授在第21届CCF全国嵌入式系统大会上的讲演整理，未经讲者确认
1 智慧城市与人-机-物智能
随着以信息技术、人工智能（AI）为代表的新兴科技快速发展，我们正在进入“人-机-物”三元融合的万物智能互联时代。为了实现人-机-物的互联互通，是否可以找到类似TCP/IP协议等计算机业的标准元素，并研究它们的共性，以服务智慧城市（智慧交通、智慧社区、智慧家庭等）应用？
但是现在还没有什么核心技术和关键理论（后面会有杨天若教授理念的简单介绍）。为什么还没有什么相关理论？因为三元空间的差异很大。三元空间主要由三部分组成：信息空间、物理空间和社会空间。
● 信息空间：主要是计算、通信、控制，特点是离散的、逻辑的、数字化的。
● 物理空间：是自然的、人造的系统，受自然规律支配，具有时间连续性。
● 社会空间：是人在社会交往中形成的空间，为人类思考、行动、感知、交互和协作提供平台。
可见，在这三个空间中，每个空间有自己的学科，例如信息空间有电子、计算机等，物理空间有物理、材料、化学等，社会空间有社会学、心理学等。但是没有一个学科能够把这三个空间融合。
当然，我们非常希望出现爱因斯坦这样的天才形成一套理论，但目前还没有。不过，这三个空间的融合已势在必行。目前已有两个空间之间的融合，例如如果以信息空间为基础，与社会空间相融合，有情境感知、基于用户行为的主动服务等，未来有元宇宙等；如果以信息空间为基础，与物理空间进行融合，就是物联网、数字孪生等。
三个空间的融合可以更好地为我们提供前瞻性、个性化的服务。
图：人-机-物智能的发展阶段
2 人-机-物智能面临的挑战
人工智能当前发展迅猛。杨天若教授认为有几个发展阶段。
第一阶段。传统人工智能阶段，是在信息层面和逻辑方面去做。
第二阶段。但是后来人们发现有很多问题解决不了，因为神经元网络是从物理世界得到启发而来的，后来受到了社会空间的影响，现在到了技术融合的智能阶段。为什么？人工智能发展了这么多年，可解释性和基本理论实际上没有本质上的提高。但为什么现在人工智能特别火？并不是因为强人工智能的发展，而是因为弱人工智能，即人-机-物智能的蓬勃发展。人-机-物智能不一定非要像人一样能够思考，但是能行使部分职能，因此目标较小，较容易实现。现在由于有强大的算力，丰富的应用场景，无处不在的通讯，使人-机-物智能变得无处不在。
挑战一：缺乏人-机-物智能的系统级设计
物理空间、信息空间、社会空间的差异巨大，怎么进行融合？尽管目前还没有什么理论，但有一个方法可以尝试，即从数据入手。数据是三个空间的一个共同点：每个空间都会产生数据，根据这些数据进行融合，这是一条可行之路。因此，是否可以从这些空间中提取出一种系统化的方法？以下杨天若教授介绍了怎么去做仿真。
按照这个思路，如果想做一件事情不可能一蹴而就，是一个逐步迭代提高的过程。因此可以先设计一个人-机-物系统，可以借鉴EDA（电子设计自动化）的方法。现在EDA的方法是从上到下、从高层到低层（gate级，门级）。
是否可以设计一套像EDA的方法，把人-机-物系统做统一的设计，使三个空间能够互通融合？
杨天若教授的思路是：首先进行大数据分析，进行系统分析，然后产生出智能决策，之后再快速做自动化；再做一次；不断地周而复始，以达到理想的人-机-物系统。
挑战二：怎样进行融合？
如果这个理论/方法论可行，就有几个相关的问题需要考虑。
第一，怎么去做自动化设计？做嵌入式的人都知道，设计电子电路用EDA工具，同样，我们能不能做类似EDA的人-机-物系统？答案是肯定的。杨天若教授团队做了“Petri网的超空间流”模型。
第二，怎么进行融合？现在大部分人做的还是大数据，数据大就行了，把原来的方法拿过来套用，但是缺乏一个整体的方法论。有没有一个整体系统的方法能够更好地把它们进行融合？
挑战三：怎样反馈、自适应、迭代学习？
第三，怎么能够反馈、自适应、迭代学习？即做出基于高阶Petri网的张量反馈机制，实现人-机-物智能系统的自适应优化设计。
主要是以上三个方法。杨天若教授主要介绍前两点。第一，准备做一个自动化的设计方法，第二，对多模态进行分析。
3 人-机-物智能的关键技术
关键技术一：系统级设计方法
人们熟悉的EDA软件是怎么做的：从上到下，一开始写Verilog HDL（硬件描述语言），或者用一些最简单的Python或C语言，它会自动地编译生成出中层语言，然后到高层语言、到gate，最后逐步自动化生成。
那么，是不是可以做成“人-机-物系统”这种自动化系统？于是杨天若教授团队就往这个方向来做。首先把想要的部分用高层、C语言/简单的语言来进行简单的描述，然后自动化生成一个中间模型，之后经过映射，最后再优化，并逐步迭代，生成一个系统。
做完之后，再做数据分析。数据分析里有一个挑战：怎么具体进行设计自动化？杨天若教授团队已做了一套整体系统，像EDA一样从上到下，已经做出了初步原型，现在正在逐步把它商业化。
关键技术二：多模态数据分析方法研究
这也是一个有意思的点，即怎样做数据分析？现在人们做数据分析，无非视频归视频，图像归图像，输入文本归文本，最后再合起来，因为现有的方法都是各自独立的。那么，有没有一种理论或方法能够把这几个部分合在一起？
杨天若教授团队采用了张量模型。很多人在大学时学过向量、矩阵、张量。张量是一种高阶高维的数据表达形式，优势如下。
①可表示。不管是什么样的异构数据：结构化、半结构化或非结构化数据，可以想办法把它们都纳入到一个框架之下。也许它们的阶数不同（3阶、4阶或5阶），因为数据的特征不一样，但是它们是可以归纳在一个框架下的。
②可操作。有很多矩阵理论，例如矩阵分解、矩阵加减乘除取余，张量也同样如此，只不过是更高阶的，有很多数学理论可用。
③可计算/存储。现在有很多硬件来支持，例如张量核、TPU等。
④可以做分析。实现推荐、预测、聚类和分类等。
这样可以做到张量的融合。尽管数据、知识、智慧、服务等每一层都可做，但每层之间是割裂的，有没有一个理论能够把这几层打通？因为有些知识可以反馈到数据，数据可以反馈给知识，知识可以反馈给服务，但是有没有一种方法论能把它们统一起来，使它们之间可以互操作？它的表述还是传统的方法。
图：基于张量模型的人-机-物大数据的统一表示
现在就用这种张量的表述方法来表示原始数据，也可以把知识来进行更高阶的知识表示与认知和推理。不一定是知识图谱，传统的、高科技的都可以，然后可以用数学方法对它进行一些操作、融合，还有很多的理论可以使用。
根据此理论，杨天若教授发展了一整套根据张量的表达方式，做表征、分解、特征提取，包括张量和深度计算。
例如做深度学习时有这种现象：输入时是一个向量，无论怎样的特征数据，都要把它割裂成向量，然后输出来进行学习。
可以想象一下原来的数据，如果是更高阶的表示/张量的形式，那么直接进行学习，效果是否会更好？确实这样更好。从张量的深度学习到知识图谱，都可以用一整套的张量理论来进行学习，而得出来的效果也确实比较好。
但是还有一个问题：张量计算的特点是计算量特别大（因为是高阶的），TPU能够很好地去弥补这种缺陷。这里重点提一下TPU。TPU是谷歌最近推广的一种处理器，T就是Tensor（张量）的意思，TPU即张量处理单元。可以把很多张量运算放到TPU里去做，有些不适合的放在GPU里去做，或者放在CPU里去做，以此使异构计算能够更好地帮助进行计算。
4 应用案例
杨天若教授团队已经做了一些项目，例如在湖北和江苏的智慧交通场景得到了实际应用，并在为海南自贸港项目做研发。
● 智慧交通
与常州市公交以及湖北交投合作，其“人-机-路/车”是一个典型的人-机-物的系统。第一步，怎么去做系统设计？设计完后怎么去做数据分析？然后进行反馈。
例如在人-车-路的大数据中，有天气、路线、公共汽车上的视频等都是非结构化的数据。这些数据怎么融合？通过张量分析模型，最终可以做到线路分布、客流分析和预测等。杨天若教授领衔的项目从2016年开始就已经用到了江苏省常州市公交的200多条线路上，公交车2000余辆，每年累计服务量近亿次。
第二个案例是湖北交投的智慧交通，高速路的综合监管平台和智慧服务区也是以数据为中心的。
● 智慧自贸港
海南自贸港计划在2025年封关，封关以后有很多智慧应用，涉及如何使各种应用互联互通。
设想远程仍然采用上述这种模式：第一，先做总体的系统设计分析，然后进行数据驱动和数据分析，再进行决策，回来之后进行迭代的提高，最终使设计出来的应用能够真正地达到互联互通的目的。
海南大学成立了协同创新中心，由多个学院、近100支团队组成。这些团队根据整体思路分成了不同的方向。有的做基础产品，例如材料与器件、通信芯片、传感芯片、网络等。杨天若教授团队主要做系统设计，把人-机-物系统的设计方法进行有效的集成，然后进行数据分析，这是以张量人工智能为主要特色的分析、预测、决策。当然也不排除别的方法，其他团队从另外的角度来做，最终都会提供这种决策。安全也非常重要，有三支团队分别去做密码安全、网络安全、数据安全。
这些工作最终是为了服务自贸港应用。自贸港的应用是由一些典型的应用组成的，例如智慧导航、热带农业、深海探测、水下网络、智慧养老、离岸金融等，这些都是海南的主要特色。
5 结束语
希望这些整体的思路和应用能够应用起来，真正达到人们所期望的智慧应用、互联互通的目的。
加入微信
获取电子行业最新资讯
搜索微信公众号：EEPW
或用微信扫描左侧二维码