用大数据研究地球:英国研究中心如何用AI推进环境科学发展
2021-03-15 16:35
气候变化是一个需要使用大数据研究的重大问题。
英国自然环境研究理事会(NERC)地球观测数据采集和分析服务中心(NEODAAS)是少数几家能够从全球视角观测环境科学的机构之一。自二十世纪90年代以来,作为英国自然环境研究理事会的下属机构,并在英国国家地球观测中心(NCEO)的监督下,该机构一直在为研究人员免费提供数百颗卫星采集的地球观测数据。
用于地球观测的大规模图形处理单元集群(MAGEO)搭载了NVIDIA DGX系统,帮助英国普利茅斯海洋实验室的NEODAAS团队开展前沿研究,通过深度学习开辟运用地球观测数据的新途径。
借助NVIDIA的加速计算平台,他们现在分析这些海量数据的速度比之前所想象的还要快。
推动地球观测技术的发展
150多颗环绕地球运行的卫星每天通过传感器采集超过10TB的地球观测数据。这些数据的处理和分析都需要耗费大量的计算力。
为将深度学习技术应用于这些数据,从而获取关于地球健康状态的宝贵洞见,NEODAAS安装了MAGEO。这个大型加速计算集群由5个NVIDIA DGX-1系统组成,通过NVIDIA Mellanox InfiniBand网络互连,同时连接到0.5PB的专用存储。
安装MAGEO的资金来自于2019年NERC的改造项目招标,这使NEODAAS能够借助大量NVIDIA GPU通过深度学习和其他算法获得地球观测数据,同时充分运用计算力和NEODAAS工作人员的专业知识。
普利茅斯海洋实验室数据科学家Stephen Goult表示:“MAGEO为加速AI和环境智能研究提供了一个很好的机会。由于紧邻NEODAAS档案库,因此它可以利用大量卫星数据进行快速原型设计和训练,这最终将改变我们使用和理解地球观测数据的方式。”
通过使用NVIDIA DGX系统,NEODAAS团队进行了原本无法进行的分析,并大大加快了研究速度,将训练时间从几个月缩短到几天。
NEODAAS还获得了支持举办NVIDIA深度学习学院课程的资金。为了促进环境和地球观测领域的AI发展和训练,英国国家地球观测中心的成员于3月学习了该课程。
Goult 表示:“该课程非常成功。学员们都感到自己学到了许多知识,对将AI应用到自己的研究领域跃跃欲试。在培训课程期间,学员间的交流激发了好几个运用AI解决地球观测问题的新项目。”
改变叶绿素探测方法
NEODASS团队还使用MAGEO研究了如何从地球观测的数据中获得重要洞见。
该研究所的成就还包括开发一种帮助监测地球海洋中浮游植物浓度的新型叶绿素探测器。
微小的浮游植物是各种海洋生物的食物来源,维持着从微型浮游生物到大型蓝鲸的整条生物链。但它们还有另一个用途——促进地球的健康。
与生长在陆地上的植物一样,浮游植物也通过叶绿素捕捉阳光,然后通过光合作用将阳光转化为化学能。在光合作用过程中,浮游植物会消耗二氧化碳。这个过程的副产品——碳会在浮游植物死亡时被带到海洋底部或者在浮游植物被吃掉时进入到食物链的其他层。
每年,浮游植物将约100亿吨碳从大气转移到深海。由于二氧化碳含量高是造成气候变化的主要原因之一,因此浮游植物对减少大气中的二氧化碳和气候变化影响至关重要。浮游植物的涨幅哪怕只下降一点,也会造成毁灭性的后果。
NEODAAS采用MAGEO与科学家合作开发和训练了一个神经网络,实现了一种可研究全球浮游植物充裕性的新型叶绿素探测器。这项技术使用的是粒子束衰减系数数据,该数据通过粒子束在海水中传播时因悬浮颗粒而造成的能量损失来计算。
凭借该技术,科学家能够使用显著增加的数据准确测量叶绿素,而且比目前的实验室法成本更低、速度更快。而后者曾被认为是复杂体系液相色谱分析的“黄金标准”。
普利茅斯海洋实验室实习学生Sebastian Graban表示:“凭借高度并行的环境以及NVIDIA NVLink和NVIDIA DGX系统中Tensor Core架构所带来的计算性能,原本在单个GPU上需要16个月才能完成的工作在MAGEO上只需要10天就能完成。所训练出的神经网络能够非常准确地预测叶绿素充裕度,并且将为专家提供一种更好、更快的浮游植物监测方法。”