Этот пост написан в соавторстве с Ричардом Александром и Марком Хэллоузом из Arup.

Аруп — это глобальный коллектив дизайнеров, консультантов и экспертов, занимающихся устойчивым развитием. Данные лежат в основе консультационных услуг Arup для клиентов, поскольку сбор и анализ мирового уровня обеспечивают понимание, позволяющее оказать влияние.

Представленное здесь решение заключается в том, чтобы направить процессы принятия решений для проектирования устойчивого города. Обоснование проектных решений в пользу более устойчивого выбора снижает общий эффект городских островов тепла (UHI) и улучшает показатели качества жизни в отношении качества воздуха, качества воды, городской акустики, биоразнообразия и теплового комфорта. Определение ключевых областей городской среды, требующих вмешательства, позволяет Arup обеспечить лучшее руководство в отрасли и повысить качество жизни граждан по всей планете.

Городские острова тепла описывают влияние городских районов на температуру по сравнению с окружающей сельской средой. Понимание того, как UHI влияет на наши города, приводит к улучшению проектов, которые уменьшают воздействие городской жары на жителей. Эффект UHI влияет на здоровье человека, выбросы парниковых газов и качество воды, а также приводит к увеличению потребления энергии. Для городских властей, владельцев активов и застройщиков понимание воздействия на население является ключом к улучшению качества жизни и природных экосистем. Точное моделирование UHI — сложная задача, которую Arup сейчас решает с помощью данных наблюдения Земли и Amazon SageMaker.

В этом посте показано, как Arup в партнерстве с AWS выполнил анализ наблюдений Земли с помощью геопространственных возможностей Amazon SageMaker, чтобы получить ценную информацию UHI на основе спутниковых изображений. Геопространственные возможности SageMaker упрощают специалистам по данным и инженерам машинного обучения (ML) создание, обучение и развертывание моделей с использованием геопространственных данных. Геопространственные возможности SageMaker позволяют эффективно преобразовывать и обогащать крупномасштабные наборы геопространственных данных, ускорять разработку продуктов и сокращать время анализа с помощью предварительно обученных моделей машинного обучения, а также исследовать прогнозы моделей и геопространственные данные на интерактивной карте с использованием 3D-ускоренной графики и встроенной визуализации. инструменты.

Обзор решения

Первоначальное решение сосредоточено на Лондоне, где во время жары летом 2022 года Агентство безопасности здравоохранения Великобритании по оценкам, 2803 дополнительных смертей были вызваны жарой. Выявление областей в городской среде, где люди могут быть более уязвимы к эффекту UHI, позволяет государственным службам направлять помощь туда, где она будет иметь наибольший эффект. Это можно даже спрогнозировать до наступления высоких температур, что снизит воздействие экстремальных погодных условий и принесет положительные результаты для горожан.

Данные наблюдения Земли (EO) были использованы для проведения анализа в масштабе города. Однако общий размер создает проблемы с традиционными способами хранения, организации и запроса данных для больших географических областей. Компания Arup решила эту проблему, сотрудничая с AWS и используя геопространственные возможности SageMaker для обеспечения анализа в масштабах города и за его пределами. По мере расширения географического региона до более крупных мегаполисов, таких как Лос-Анджелес или Токио, требуется больше места для хранения и вычислительных ресурсов для анализа. Гибкость инфраструктуры AWS идеально подходит для UHI-анализа городской среды любого размера.

Решение: UHeat

Arup использовал SageMaker для разработки UHeat, цифровое решение, которое анализирует огромные территории городов для выявления конкретных зданий, конструкций и материалов, вызывающих повышение температуры. Для проведения анализа UHeat использует сочетание спутниковых изображений и климатических данных из открытых источников.

Небольшая группа специалистов Arup провела первоначальный анализ, в ходе которого необходимо было обучить дополнительных специалистов по обработке данных инструментам и рабочим процессам SageMaker. Раньше привлечение специалистов по обработке данных к новому проекту с использованием собственных инструментов занимало недели. Теперь с SageMaker это занимает считанные часы.

Первым шагом любого анализа ЭО является сбор и подготовка данных. С помощью SageMaker компания Arup может получить доступ к данным из каталога поставщиков геопространственных данных, включая Страж-2 данные, которые были использованы для анализа в Лондоне. Встроенный доступ к наборам геопространственных данных экономит недели усилий, которые в противном случае были бы потеряны на сбор и подготовку данных от различных поставщиков данных и поставщиков. Изображения EO часто состоят из небольших фрагментов, которые, чтобы охватить территорию размером с Лондон, необходимо объединить. Это известно как геомозаикакоторый можно создать автоматически с помощью управляемых геопространственных операций в задании SageMaker Geomosaic Earth Observation.

После того как данные ЭО для интересующей области собраны, можно извлечь ключевые параметры, влияющие на анализ. Для UHI компании Arup необходимо было получить данные о параметрах геометрии здания, строительных материалах, антропогенных источниках тепла и покрытии существующих и планируемых зеленых насаждений. Используя оптические изображения, такие как Sentinel-2, можно рассчитать классы земного покрова, включая здания, дороги, воду, растительный покров, голую землю, а также альбедо (меру отражательной способности) каждой из этих поверхностей.

Расчет значений по различным каналам спутниковых изображений позволяет использовать их в качестве входных данных для Сьюс модель, которая обеспечивает строгий способ расчета эффекта UHI. Затем результаты SUEWS визуализируются, в данном случае с помощью существующей платформы геопространственных данных Arup. Регулируя такие значения, как альбедо конкретного местоположения, Arup может проверить эффект стратегий смягчения последствий. Характеристики альбедо можно дополнительно уточнить в ходе моделирования путем моделирования различных строительных материалов, облицовки или кровли. Аруп обнаружил, что в одном районе Лондона увеличение альбедо с 0,1 до 0,9 может снизить температуру окружающей среды на 1,1°C во время пиковых условий. В более крупных областях интересов это моделирование также можно использовать для прогнозирования эффекта UHI наряду с климатическими прогнозами для количественной оценки масштаба эффекта UHI.

Используя исторические данные из таких источников, как Sentinel-2, можно завершить временные исследования. Это позволяет Arup визуализировать эффект UHI в периоды интереса, такие как жара в Лондоне летом 2022 года. Обзор городской жары Исследование, завершенное Arup, показывает, как эффект UHI приводит к повышению температуры в таких городах, как Лондон, Мадрид, Мумбаи и Лос-Анджелес.

Сбор данных по интересующей области

SageMaker устраняет сложности ручного сбора данных для заданий по наблюдению Земли (EOJ), предоставляя каталог поставщиков геопространственных данных. На момент написания этой статьи Геологическая служба США Ландсат, Страж-1, Коперник DEM, NAIP: Национальная программа изображений сельского хозяйстваи Страж-2 данные доступны прямо из каталога. Вы также можете принести свои собственные Планета Лабораторные данные, когда требуются изображения с более высоким разрешением и частотой. Встроенный доступ к наборам геопространственных данных экономит недели усилий, которые в противном случае были бы потеряны на сбор данных от различных поставщиков данных и поставщиков. Необходимо предоставить координаты интересующей области полигона, а также временной диапазон, в течение которого были собраны изображения EO.

Следующим шагом Арупа было объединение этих изображений в один более крупный растр, покрывающий всю интересующую область. Это известно как мозаика и поддерживается путем передачи GeoMosaicConfig в API SageMaker StartEarthObservationJob.

Мы предоставили несколько примеров кода, отражающих шаги, предпринятые Arup:

input_config = {
    'AreaOfInterest': {
        'AreaOfInterestGeometry': {
            'PolygonGeometry': {
                'Coordinates': (
                    (
                        (-0.10813482652250173,51.52037502928192),
                        (-0.10813482652250173, 51.50403627237003),
                        (-0.0789364331937179, 51.50403627237003),
                        (-0.0789364331937179, 51.52037502928192),
                        (-0.10813482652250173, 51.52037502928192)
                    )
                )
            }
        }
    },
    'TimeRangeFilter': {
        'StartTime': '2020-01-01T00:00:00',
        'EndTime': '2023-01-1T00:00:00'
    },
    'PropertyFilters': {
        'Properties': (
            {
                'Property': {
                    'EoCloudCover': {
                        'LowerBound': 0,
                        'UpperBound': 1
                    }
                }
            }
        ),
    'LogicalOperator': 'AND'
    },
    'RasterDataCollectionArn': 'arn:aws:sagemaker-geospatial:us-west-2:378778860802:raster-data-collection/public/nmqj48dcu3g7ayw8'
}


eoj_config = {
    "JobConfig": {
        "CloudRemovalConfig": {
            "AlgorithmName": "INTERPOLATION",
            "InterpolationValue": "-9999",
            "TargetBands": ("red", "green", "blue", "nir", "swir16"),
        },
    }
}


#invoke EOJ this will run in the background for several minutes
eoj = sm_geo_client.start_earth_observation_job(
    Name="London-Observation-Job",
    ExecutionRoleArn=sm_exec_role,
    InputConfig={"RasterDataCollectionQuery":input_config},
   **eoj_config
)
print("EOJ started with... \nName: {} \nID: {}".format(eoj("Name"),eoj("Arn")))

Это может занять некоторое время. Вы можете проверить статус своих заданий следующим образом:

eoj_arn = eoj("Arn")
job_details = sm_geo_client.get_earth_observation_job(Arn=eoj_arn)
{k: v for k, v in job_details.items() if k in ("Arn", "Status", "DurationInSeconds")}
# List all jobs in the account
sm_geo_client.list_earth_observation_jobs()("EarthObservationJobSummaries")

Передискретизация

Затем растр подвергается повторной выборке для нормализации размера пикселей собранных изображений. Для этого можно использовать ResamplingConfig, указав значение длины стороны пикселя:

eoj_config = {
    "JobConfig": {
        "ResamplingConfig": {
            "OutputResolution": {
                "UserDefined": {
                    "Value": 20, 
                    "Unit": "METERS"
                }
            },
        "AlgorithmName": "NEAR",
        },
    }
}

eojParams = {
    "Name": "Resample",
    "InputConfig": {
        "PreviousEarthObservationJobArn": eoj("Arn")
    },
    **eoj_config,
    "ExecutionRoleArn": sm_exec_role,
}

eoj = sm_geo_client.start_earth_observation_job(**eojParams)
print("EOJ started with... \nName: {} \nID: {}".format(eoj("Name"),eoj("Arn")))

Определение покрытия

Определение земельного покрова, такого как растительность, возможно путем применения нормализованного разностного растительного индекса (NDVI). На практике это можно рассчитать по интенсивности отраженного красного и ближнего инфракрасного света. Чтобы применить такой расчет к данным EO в SageMaker, BandMathConfig можно передать в API StartEarthObservationJob:

job_config={
    "BandMathConfig": {
        'CustomIndices': {
            "Operations":(
                {
                    "Name": "NDVI",
                    "Equation": "(nir - red)/(nir+red)"
                }
            )
        }
    }
}

eojParams = {
    "Name": "Bandmath",
    "InputConfig": {
        "PreviousEarthObservationJobArn": eoj("Arn")
    },
    "JobConfig":job_config,
    "ExecutionRoleArn": sm_exec_role,
}

eoj = sm_geo_client.start_earth_observation_job(**eojParams)
print("EOJ started with... \nName: {} \nID: {}".format(eoj("Name"),eoj("Arn")))

Мы можем визуализировать результат выполнения математического задания полосы с помощью инструмента визуализации геопространственных возможностей SageMaker. Геопространственные возможности SageMaker могут помочь вам наложить прогнозы модели на базовую карту и обеспечить многоуровневую визуализацию, чтобы упростить совместную работу. Интерактивный визуализатор на базе графического процессора и блокноты Python предоставляют удобный способ исследовать миллионы точек данных в одном окне, а также совместно работать над аналитическими данными и результатами.

Подготовка к визуализации

На последнем этапе Arup подготавливает различные каналы и рассчитанные каналы для визуализации, объединяя их в один. ГеоTIFF. Для стекирования каналов EOJ SageMaker можно передать объект StackConfig, где выходное разрешение можно установить на основе разрешений входных изображений:

job_config={
    'StackConfig': {
        'OutputResolution': {
            'Predefined': 'HIGHEST'
        }
    }
}

eojParams = {
    "Name": "Stack",
    "InputConfig": {
        "PreviousEarthObservationJobArn": "arn:aws:sagemaker-geospatial:us-west-2:951737352731:earth-observation-job/8k2rfir84zb7"
    },
    "JobConfig":job_config,
    "ExecutionRoleArn": sm_exec_role,
}

eoj = sm_geo_client.start_earth_observation_job(**eojParams)
print("EOJ started with... \nName: {} \nID: {}".format(eoj("Name"),eoj("Arn")))

Наконец, выходные данные GeoTIFF можно сохранить для последующего использования в Amazon Simple Storage Service (Amazon S3) или визуализировать с помощью геопространственных возможностей SageMaker. Сохраняя выходные данные в Amazon S3, Arup может использовать результаты анализа в новых проектах и ​​включать данные в новые задания по выводу. В случае с Arup они использовали обработанный GeoTIFF в своих существующих инструментах визуализации географической информационной системы для создания визуализаций, соответствующих темам дизайна их продуктов.

Заключение

Используя встроенную функциональность SageMaker, компания Arup смогла за несколько часов провести анализ эффекта UHI в масштабе города, который раньше занимал недели. Это помогает Arup позволить своим клиентам быстрее достичь своих целей в области устойчивого развития и сужает области внимания, в которых следует применять стратегии смягчения последствий UHI, экономя драгоценные ресурсы и оптимизируя тактику смягчения последствий. Этот анализ также может быть интегрирован в будущие инструменты наблюдения за Землей в рамках более крупных проектов по анализу рисков и помогает клиентам Arup прогнозировать влияние UHI в различных сценариях.

Такие компании, как Arup, обеспечивают устойчивое развитие посредством облака с помощью данных наблюдения Земли. Раскройте возможности данных наблюдения Земли в своих проектах устойчивого развития, изучив геопространственные возможности SageMaker на консоли SageMaker уже сегодня. Чтобы узнать больше, обратитесь к геопространственным возможностям Amazon SageMaker или ознакомьтесь с решение для наведения.

Об авторах

Ричард Александр — младший специалист по геопространственным данным в компании Arup, базирующейся в Бристоле. Он имеет успешный опыт создания успешных команд, а также руководства и реализации проектов, связанных с наблюдением за Землей и наукой о данных, в различных секторах окружающей среды.

Марк Хэллоус — специалист по дистанционному зондированию в компании Arup, расположенной в Лондоне. Марк предоставляет экспертные знания в области наблюдения Земли и анализа геопространственных данных широкому кругу клиентов, а также предлагает идеи и лидерские идеи, используя как традиционное машинное обучение, так и методы глубокого обучения.

Томас Эттри — старший архитектор решений в Amazon Web Services в Лондоне. В настоящее время Томас помогает клиентам в сфере энергетики и коммунальных услуг и применяет свою страсть к устойчивому развитию, помогая клиентам разрабатывать приложения для повышения энергоэффективности, а также консультируя по использованию облачных технологий для расширения возможностей проектов устойчивого развития.

Тамара Герберт — старший разработчик приложений в AWS Professional Services в Великобритании. Она специализируется на создании современных и масштабируемых приложений для широкого круга клиентов, в настоящее время уделяя особое внимание тем, кто работает в государственном секторе. Она активно участвует в разработке решений и ведении переговоров, которые позволяют организациям достигать своих целей в области устойчивого развития как в облаке, так и через него.

Анирудх Вишванатан – является старшим менеджером по продукту отдела технических и внешних услуг в команде геопространственного машинного обучения SageMaker. Он имеет степень магистра робототехники Университета Карнеги-Меллон и степень MBA Уортонской школы бизнеса, а также является изобретателем более 50 патентов. Он любит бегать на длинные дистанции, посещать художественные галереи и бродвейские шоу.