【CNMO 科技消息】9 月 5 日，天眼查 App 信息显示，华为技术有限公司申请的 "AI 模型的运行方法、装置、程序产品和存储介质 " 专利已正式公布。该专利于当日公开，旨在优化人工智能模型在异构计算环境下的运行效率，减少因数据搬运导致的处理延迟。
华为此次公布的方案提出了一种前瞻性的数据预取机制。具体而言，主机的处理器会先分析相邻两组输入数据的差异，识别出在第二数据组中出现但未存在于第一数据组中的 " 第一数据 "。随后，系统提前将这部分新增数据对应的嵌入向量预取至处理器本地的第一内存，并生成相应的向量信息。
关键在于，在计算卡处理第二组数据的同时，系统可根据预生成的向量信息，将所需嵌入向量从主机端的第一内存快速预取至计算卡自带的第二内存中。这一操作实现了数据搬运与计算过程的并行化，有效避免了计算资源的空闲等待，从而显著降低整体处理延时。
