×

“上数营”前沿技术分享:共探AI驱动下的量子城市建设

hqy hqy 发表于2025-02-28 14:55:43 浏览9 评论0百度已收录

抢沙发发表评论

2025年2月21日,“上数营”第一期前沿技术分享会正式启动。“上数营”是为推动上海量子城市时空创新工作所组建的开放联创工作营,成员包括高校院所、互联网企业、规划建设单位、软硬件供应商及新业态企业等共计60余家。“上数营”前沿技术分享会聚焦人工智能技术驱动下的上海量子城市建设,系统分享国内外人工智能相关前沿技术成果和发展趋势,共同研讨和谋划在上海量子城市中的应用。技术分享会将定期按专题开展,相关内容经整理后发布。本期主要聚焦空间智能、大模型、可信数据空间与区块链技术的最新进展及其在量子城市中的应用前景。

以下内容根据现场技术分享整理,并经专家本人授权发布。

主题分享

空间智能发展与量子城市应用

主讲人:高歌

清华大学助理研究员

空间智能的定义与理解

空间智能是一个多维度、跨学科的领域,涵盖了空间方向与智能方向两个关键维度。在数据类型上,人工智能(ai)所处理的信息是从一维序列的文本、语音,到二维的图像数据,再到三维的空间数据;在技术类型方向上,是从早期的符号主义、逻辑方法,逐步发展至机器学习、神经网络、深度神经网络,直至如今的大规模深度神经网络模型(大模型)。当前的空间智能主要聚焦于处理三维空间数据,采用深度神经网络和大模型,对空间数据进行检测、采集与分类,然后转化为计算机能够处理的矢量图形,最终生成精确的三维空间模型。

空间智能的关键技术

空间智能的核心任务包括空间理解、空间重建和空间生成,以及这三类任务相关的卷积神经网络(cnn)模型、transformer 模型、神经辐射场(nerf)、3d高斯泼溅(3d gs)、自编码器(vae)、生成式对抗网络(gan)和扩散模型(diffusion)七个基础模型。

空间理解是对空间数据进行分类、分割、检测等识别过程。卷积神经网络通过在空间上滑动特征筛子(卷积核)来筛选特征,能够精准识别图像中的特定元素,例如斜边、颜色等,该模型在图像识别领域得到了广泛应用,如手机人脸识别功能,并且拥有众多变体,影响力极为显著。transformer模型则以注意力机制为突出特点,能够自动分析图像中的相关性并准确找到重点,其处理方式更接近人脑理解事物的方式,在文本、语音和图像处理等多个领域均取得了卓越成效,是当前最为主流的模型之一。

空间重建的目标是根据有限的观测数据,还原出精确的三维空间模型。神经辐射场和3d高斯泼溅是空间重建领域当前较为热门的两个模型。神经辐射场于2020年提出,能够将图像高效转换为三维场景模型,重建准确度高,可直接获得表面网格模型。然而,神经辐射场的训练时间较长,对数据的稠密性要求较高,并且在室内场景的重建方面存在一定的局限性。为了解决这些问题,相继出现了一些改进技术。例如清华大学提出的sparis(稀疏室内nerf重建)通过引入基于图像间匹配信息的新先验,提供了更准确的深度信息,确保跨视图匹配的一致性,从而显著提高了稀疏视图场景重建的准确性。高斯泼溅技术在训练成本和效率方面具有显著优势,其渲染与重建效率高,训练成本低,但容易产生残缺和噪声。清华大学提出的fategs(稀疏高精度 3d gs重建)则利用高效的高斯溅射流水线,结合视图内深度一致性和多视图特征对齐,有效提高了重建速度和精度。

空间生成的核心是根据人类的需求,生成相应的空间数据。自编码器在训练过程中表现稳定,支持平滑插值,但生成精细度相对有限。生成式对抗网络由生成器和判别器组成,生成器负责生成样本,判别器负责判断样本的真假,通过两者的对抗训练,能够有效提高生成数据的质量,尤其在图像生成领域,其生成的图像逼真度极高,但训练过程不稳定,且资源消耗较大。扩散模型的前向过程是对数据逐步加噪,直至“扩散”到噪声分布;逆向过程则是从噪声中采样,逐步预测加上的噪声,最终生成数据样本。该模型生成的样本逼真度极高,训练过程相对稳定,但训练成本较高。

空间智能的应用前景

空间智能在多个领域展现出了广泛的应用价值,在量子城市中拥有广阔的应用前景。

空间理解的应用主要包含三方面。一是空间监测评估指数,通过分析空间格局、店铺变化、人流物流情况等,精准评估各类空间指数,并深入分析空间变化与消费指数的相关性。二是点云识别判断一致性,点云是能够精确记录空间实景数据,结合点云理解技术,可以对比设计模型,准确判断数字资产的一致性,或在竣工阶段检查实际与设计模型的不符之处。三是城市空间活力分析,基于流形学习和图结构序列联动,能够自动识别城市空间功能的中心涌现与功能链推理过程,从而实现对城市空间活力的自动分析。

空间重建的应用主要有三个方向。一是实景重建,技术可广泛应用于虚拟文博、室内外实景地图、工程实景记录等场合,替代传统的街景系统。二是结构化重建,该技术是在实景记录的基础上,进一步自动提取空间主体结构与对象语义(如间、套、层、栋),以便计算机进行高效利用,实现时空智能体建模。三是世界模型重建,在结构化模型的基础上,进一步补充真实世界的物理信息,从大语言模型、二维视觉大模型逐步走向真三维大模型、世界模型。

空间生成的应用体现在三个方面。一是城市生成,megacitygenerator和citydreamer4d等技术能够生成可扩展的大规模场景和逼真的城市虚幻模型,提升城市设计效率。二是场景生成,meshgpt等技术则可以根据给定的包围盒和文本描述,自动生成室内外场景,用于精细方案比选。三是纹理生成,充分利用模型的几何和语义信息,结合生成式算法与检索算法,可以为建筑外观和室内场景添加特定风格的纹理,实现一键方案生成、换皮,提升可视化效果。

基于deepseek模型的强化学习训练推动垂直领域推理涌现

主讲人:代文斌

商汤科技 大装置 生态总监

deepseek的核心技术

deepseek通过创新的技术架构、训练策略,实现了高效训练、推理,为大模型的发展提供了新的方向,其核心工作主要有四部分。一是deepseek v3采用moe+mla架构,使用混合专家模型(moe),其参数量高达6710亿,但每个输入仅激活370亿参数。通过多头潜在注意力(mla)技术,实现了高效的训练和推理过程,在保证模型强大能力的同时,有效降低了计算资源的消耗。二是deepseek r1-zero使用强化学习,在v3-base模型的基础上,通过强化学习训练,验证了仅采用强化学习,大模型同样能够具备强大的推理能力。三是进行了思维链数据实验尝试,利用模型合成的思维链数据进行训练,这种数据生成方式丰富了训练数据的多样性。四是采用了模型蒸馏技术,将更强大的模型蒸馏至较小的模型中,在保持模型性能的同时,显著降低计算复杂度与存储需求。

deepseek核心工作原理分为四个阶段。阶段一采用少量高质量的思维链数据进行冷启动,以预热模型。阶段二开展面向推理的强化学习,提升模型在推理任务上的性能。阶段三运用拒绝采样和监督微调,进一步增强模型的综合能力。阶段四再次进行强化学习,确保模型在各类场景下均表现出色。

deepseek的技术创新

deepseek基于强化学习的基本理念,更高效地实现了与openai o1的并跑与超越。一是deepseek-v3模型的架构和训练方法优化创新,在模型架构优化方面,采用 moe+mla架构,将注意力机制投影至低维,大幅压缩 kv cache 的规模。在训练方法优化上,采用fp8(8 位浮点数)训练,这是目前已知唯一能稳定进行的fp8训练,同时采用双向流水线并行策略、多token预测,这些方法显著提升了训练效率。此外,针对模型和特定算力集群的联合优化并行策略,优化了通信计算比。二是deepseek-r1/zero模型的强化学习创新,创新性地将基于结果奖励的强化学习应用于基础模型,这是短期内能较快见效的途径,强化学习的过程本身虽无法增加模型的知识储备,但能够激发模型形成思维链的能力。三是deepseek-r1模型的推理能力与泛化性能,在数学、编程等领域展现出强大的推理能力,在其他领域,如金融、文化、文创等也表现出良好的泛化性能。

deepseek对人工智能相关产业的影响

deepseek在多个方面展示了其创新成果和对行业的影响,包括开源策略、技术架构、算力优化、人才储备、应用成果等。一是deepseek通过技术创新引领产业高质量发展。deepseek展示了在有限资源范围内通过创新实现突破的可能性,这将激发更多研究机构和市场主体的创新信心与动力,其开源策略也为全球大模型发展注入了新的动力。然而deepseek-r1在广泛的实际应用中也暴露出目前世界前沿基础模型仍存在诸如逻辑错误、数据幻觉、安全问题等缺陷,行业头部机构对基础模型能力的追求将持续深入。二是deepseek在算力优化方面的成就。deepseek在算力受限的情况下,通过模型创新和ai集群联合设计,达到了性能优化的高点,展现出了一流的工程能力。后续针对特定问题的 “模型与基础设施联合优化”将会成为行业的发展方向。不过算力仍然是未来人工智能发展的重要基础,在激烈竞争的环境下,需要充足的算力才能保证足够快的迭代速度。三是deepseek对国产芯片的影响。deepseek是大参数moe结构,要达到其技术报告上的训练效率,需要大显存、较大的卡间通信带宽以及fp8数制的支持,围绕支持此类模型的训练效率,应长期持续投入国产芯片的能力与生态建设。四是deepseek在人才与组织方面的优势。deepseek吸引和储备了一批优秀的ai人才,一体化的组织设计以及没有过往经验包袱,使得创新不受路径依赖的束缚。五是deepseek在应用方面的成果。deepseek的报告以及我们的验证均表明,通过基于强推理模型的蒸馏,中小模型也能获得快速且显著的能力提升,例如14b模型就能达到与openai o1-mini相似的水平,这将加速端侧模型的应用落地。依托这些前沿的开源大语言模型,特别是deepseek思维链数据的开放,社会整体的关注方向将逐步渗透至生成式人工智能的其他应用领域,如机器人、自动驾驶、芯片设计和生物学等,上海在这些领域已进行前瞻布局,其应用需求将得到进一步释放。

大模型技术在量子城市建设中的探索

基于ai基础设施底座,探索大模型在量子城市建设的场景应用。一是量子城市多源数据的处理与分析,对数据进行挖掘与洞察,包括交通、能源、环境等领域的数据,对异常情况进行检测与预警,包括基础设施故障、公共卫生事件等。二是通过大模型辅助量子城市治理决策,如土地利用、交通规划、能源布局等城市规划与资源配置工作及政策制定与评估。三是垂域应用与服务,包括智能交通管理,智能医疗、健康服务,智能教育服务。四是数字孪生与模拟,通过虚实融合的场景构建能力,进行仿真模拟建模,如人流疏散模型、洪涝预警模型、火灾模拟模型等。

可信数据空间、区块链技术和发展趋势

主讲人:旷志光

上海科学院区块链研究所技术总监

上海软件中心软中智链公司cto

可信数据空间的政策背景与定义

自2020年以来,国家相继出台多项政策,旨在推进数据要素市场化配置,助力数据合规且高效地流通与使用。依据《可信数据空间发展行动计划(2024—2028年)》,我国到2028年将建成100个以上可信数据空间,以此引导并支持可信数据空间的发展,推动数据要素合规高效流通使用,加速构建以数据为关键要素的数字经济格局。同时《国家数据基础设施建设指引》提出建设数据可信流通体系,鼓励数场等新技术设施积极探索。

可信数据空间是基于共识规则,连接多方主体,实现数据资源共享共用的数据流通利用基础设施,其核心能力涵盖数据可信管控、资源交互以及价值共创。可信数据空间的架构主要由五大空间、五类主体、三大行动以及三大能力构成。其中五大空间是指企业可信数据空间、行业可信数据空间、城市可信数据空间、个人可信数据空间以及跨境可信数据空间;五类主体是指数据提供方、数据使用方、数据服务方、可信数据空间运营方以及可信数据空间监管方;三大行动是指数据共享、数据治理、数据应用;三大能力是指数据可信管控、资源交互、价值共创。

区块链技术在量子城市建设中的优势与应用

一是通过去中心化信任机制,为量子城市建设提供可靠的信任基础。区块链的分布式账本技术(dlt)消除了中心化系统的单点故障风险,确保交易记录不可篡改,有效防范欺诈行为,显著提升交易双方的信任度。二是通过资产与数据链上治理,实现资产的唯一性与追溯性,为数字资产的管理和交易提供有力支持,例如非同质化代币(nft)等数字资产。三是跨链协同技术和智能合约的进化,可提升量子城市的生态系统和运营效率。跨链协同技术使不同区块链网络之间的数据和资产能够无缝交互,智能合约的进化实现了交易和业务流程的自动化执行,拓展了量子城市的生态系统。

可信数据空间的关键技术与架构

可信数据空间的实现主要依托七大类技术,分别是安全技术、隐私计算技术、存证溯源技术、数据管控技术、管理技术、计算处理技术以及运营(ot)技术。其关键在于通过隐私计算在内的隐私保护技术确保数据可用不可见,通过区块链在内的数据管控技术保障数据不可篡改、可追溯。

可信数据空间的技术架构包含数据沙箱、隐私计算、智能模型、数据安全追溯、底层算力等关键模块。数据沙箱模块通过隔离与管理数据,支持多方数据的安全计算。隐私计算模块运用同态加密、可信执行环境(tee)等技术,在不泄露数据隐私的前提下,完成联合建模与分析,确保数据隐私性与计算准确性。智能模型模块支持多种模型管理与自动化流程,适配大语言模型和传统机器学习模型。数据安全追溯应用区块链技术开展数据存证过程溯源,并且涵盖数据查询授权、计算结果验证和数据加密存储。底层算力模块通过可信指令集、可信计算加速、同态加密加速等技术协同发力,提升计算性能与数据处理能力。

可信数据空间的应用前景

可信数据空间拥有广泛的行业需求,覆盖政务、能源、医疗、工业、金融、互联网、通信等多个场景,例如政务数据共享、公共数据开放、交通出行、医疗健康等领域。

可信数据空间在量子城市建设中有重要的应用,包含但不限于以下四种场景。一是以区块链为基础构建量子城市的身份体系,凭借全域数据可信计算构建量子城市的数据应用及流通体系。区块链通过去中心化身份(did)和非同质化代币(nft),为用户提供唯一的数字身份和虚拟资产的所有权证明及交易服务。智能合约自动执行资产交易与权限管理,隐私计算运用零知识证明(zkp)或可信执行环境(tee)确保身份验证过程不泄露具体数据。二是基于区块链的可信数据流通,融合可信数据空间、隐私计算、区块链技术,确保跨委办数据流通的安全与高效。区块链确保数据不可篡改、可追溯,智能合约自动执行共享规则,可信数据空间规范数据治理,隐私计算如联邦学习保护敏感信息。达成加密状态下的联合分析,打破数据孤岛,提升协作效率。三是优化交易场景的用户体验。区块链记录交易所有权转移,隐私计算隐藏具体金额和购买细节,仅公开必要验证信息。四是提升广告投放的精准度与效果。区块链记录数据贡献和收益分配,保障公平透明。隐私计算分析用户偏好而不泄露个体数据,不同平台在保护隐私的前提下,实现数据共享与协作。

(供稿:数城处、数城中心)

上观号作者:上海规划资源

特别声明:本文经上观新闻客户端的“上观号”入驻单位授权发布,仅代表该入驻单位观点,“上观新闻”仅为信息发布平台,如您认为发布内容侵犯您的相关权益,请联系删除!