人工智能与制图相结合：制图工具可以根据文本提示创建卫星图像
大多数人都会定期与地图互动，例如，当他们试图从 A 点到达 B 点、跟踪天气或计划旅行时。但除了这些日常活动之外，地图也越来越多地与人工智能相结合，为城市建模、导航系统、自然灾害预报和响应、气候变化监测、虚拟栖息地建模和其他类型的监控创造强大的工具。“地图是我们生活中的基本产品，”华盛顿大学圣路易斯分校麦凯维工程学院研究生阿尤什·达卡尔 (Aayush Dhakal) 表示。“它们让我们了解模式并了解地理空间区域的分布。”
Dhakal 和同为 McKelvey 工程学院研究生的 Srikumar Sastry 正在与计算机科学与工程学教授 Nathan Jacobs 合作，开发使用卫星图像来支持这些努力的模型。Dhakal 的项目 Sat2Cap 允许用户根据自由格式的文本描述创建地图。Sastry 开发了 GeoSynth，这是一种根据给定的文本提示或地理位置合成卫星图像的模型。
Dhakal 和 Sastry 在今年 6 月 17 日于西雅图举行的EarthVision 研讨会上展示了他们的工作，该研讨会与计算机视觉和模式识别会议 ( CVPR 2024 ) 联合举办。EarthVision 旨在推进基于机器学习的遥感数据分析，特别关注紧迫的挑战和应用，例如监测自然灾害、城市发展、森林砍伐和气候变化。
根据卫星图像映射文本
绘制地图可能是一个耗时的过程。一名制图师必须收集感兴趣区域的所有相关数据，然后仔细绘制以绘制出准确的地图。Dhakal 开发了 Sat2Cap 来解决这个“繁琐且不可扩展”的地图制作过程。该论文在研讨会上获得了最佳论文奖，并可在arXiv预印本服务器上找到。
Dhakal 表示：“我们的模型使我们能够绘制任何使用文本表达的大型地理区域概念的地图。我们对比训练了一个模型，该模型以某个位置的卫星图像作为输入，并学习预测该位置有意义的文本表示。”
Dhakal 表示，棘手的部分是大规模数据收集。基于许多卫星图像（Dhakal 使用 600 万个数据点来训练 Sat2Cap），该模型可以生成一张地图，显示给定文本查询的可能位置。例如，假设该模型有很多美国的图像。如果你给它输入文本提示“游乐园”，该模型将生成一张地图，显示美国最有可能包含游乐园的地点
“我们将这一过程描述为‘零样本映射’，即你可以创建从未见过的概念图，而不是费力地收集数据，”Dhakal 说。“人们可能会使用此工具来映射尚未收集或提供数据的概念。使用‘自然人类语言’与我们的模型交互的能力也使其更加友好和灵活。”
高分辨率卫星图像合成
生成人工智能最近受到了广泛的关注，但是生成模型的能力到底有多强呢？
“生成卫星图像比生成狗和猫等单一主题的图像要困难得多，”Sastry 说。借助 GeoSynth，他着手研究生成模型在训练地理位置数据时的表现如何。该论文也可在arXiv预印本服务器上找到。
“关键的障碍是让传播模型根据地理位置来学习一个地区的高级地理情况，”萨斯特里说。“例如，当被告知要生成凤凰城的图像时，模型应该生成一张沙漠般的图像。另一方面，对于得梅因，模型应该生成更多绿色和农场般的图像。”
由此产生的 GeoSynth 模型展示了零样本卫星图像生成能力。给定文本提示或地理位置，该模型可以生成卫星图像，从被洪水淹没的城市到岛屿度假村，从地震后破坏的场景到北极文明。值得注意的是，这些图像与训练数据集中看到的图像类型不同。
“想象一下这样一个场景：你描述了一个场景和布局，然后一幅逼真的卫星图像突然出现了，”萨斯特里说。“GeoSynth 可以做到这一点。该模型可用于规划城市、增强现有的遥感数据集或作为生成工具，类似于 DALLE-3 或 Midjourney。”
页:
[1]