Анастасия Кирильчук by @kokosiki_babosiki_блог OneSoil

«Самый большой вызов для новых технологий — не терять связь с реальным миром». Интервью с исследователем Кристофом ван Трихтом

Чтобы понять мировые тенденции, мы любим общаться с нашими коллегами из разных организаций. На этот раз мы обратились к Кристофу ван Трихту, специалисту из VITO. VITO — независимый Фламандский институт, который занимается разработкой экологически чистых технологий. Как выглядит жизнь европейского института? Что сейчас происходит со сферой спутниковых снимков? И почему всем так нужны ground truth данные?
«Самый большой вызовов для новых технологий — не терять связь с реальным миром». Интервью с исследователем Кристофом ван Трихтом
Чтобы понять мировые тенденции, мы любим общаться с нашими коллегами из разных организаций. На этот раз мы обратились к Кристофу ван Трихту, специалисту из VITO. VITO — независимый Фламандский институт, который занимается разработкой экологически чистых технологий. Как выглядит жизнь европейского института? Что сейчас происходит со сферой спутниковых снимков? И почему всем так нужны ground truth данные?

Как увлечься спутниковыми снимками

— Почему вы начали интересоваться дистанционным зондированием?

— Меня всегда очень интересовало всё, что происходит в мире. С детства я задавался вопросом, откуда берётся снег или как маленькое семя может превратиться в живое дерево. Это же невероятно! Я изучал биологическую инженерию. Моя дипломная работа была посвящена распознаванию инвазивных видов деревьев в тропических лесах Гавайских островов при помощи гиперспектрального датчика. Для меня это был первый случай, когда я столкнулся со снимками дистанционного зондирования — и я был поражён.
После этого я немного переключился и защитил докторскую диссертацию о влиянии облаков на ледяной щит Гренландии. Впервые я использовал активные космические датчики, лидар и радар. Я описывал свойства облаков и то, как они взаимодействуют с ледяным щитом. Я узнал много нового за эти четыре года. На самом деле, у нас были пугающие выводы о том, что облака увеличивают уровень талой воды на 1/3 по сравнению с условиями ясного неба. После того, как я защитил докторскую диссертацию, я решил покинуть университетскую среду, но всё же хотел продолжать что-то делать с помощью дистанционного зондирования. И тогда я увидел вакансию в VITO — я присоединился к команде в 2016 году.

Я был увлечен всем, что касается криосферы, снега, льда и климата, но чувствовал, что постоянно словно бью во все колокола, не имея возможности изменить что-то на самом деле. В сельском хозяйстве же кажется, что я действительно могу изменить ситуацию: повысить урожайность и предоставить информацию фермерам. Это наиболее практичное использование дистанционного зондирования. Конечно, я всё ещё скучаю по криосфере, но чувствую, что здесь (имеется в виду VITO — OneSoil) мы действительно помогаем решить проблемы продовольственной безопасности.
В сельском хозяйстве же кажется, что я действительно могу изменить ситуацию: повысить урожайность и предоставить информацию фермерам.

Жизнь исследовательского института

— Как устроен VITO?

— У нас работает около 800 человек, все разбиты на отделы. Один из отделов — отдел землепользования. Есть два других отдела, которые занимаются этой же темой — дистанционного зондирования и пространственного моделирования. В отделе дистанционного зондирования есть несколько групп: операционная, которая выполняет обработку спутниковых данных от Proba-V (под руководством ESA — OneSoil), технологическая, которая изучает данные новых спутниковых миссий, и группа по внедрению технологий. Последняя фокусируется на прикладном применении новых технологий в самых разных сферах: биоразнообразие, менеджмент водных ресурсов и прибрежных зон, сельское хозяйство. Я работаю в команде по внедрению технологий в сельском хозяйстве. Сейчас занимаюсь автоматическим определением земельных участков и определением типов культур при помощи глубоко обучения, а также участвую в других проектах.

В компании горизонтальная структура. В нашей команде есть руководитель, который отвечает за внешнии коммуникации и поиск возможностей для развития проектов. Все остальные участвуют в нескольких проектах: кто-то занимается проектным менеджментом, кто-то — исследованиями.

Например, несколько человек сейчас находятся в Испании, они участвуют в проекте по обнаружению красного пальмового долгоносика. Мы хотим распознать отдельные деревья на снимках коммерческого спутника Pleiades, и затем в экспериментальном исследовании посмотреть, можно ли полученные результаты масштабировать, чтобы использовать при анализе снимков Sentinel-2.

— Какими проектами вы занимаетесь как исследовательский институт?

— Есть несколько крупных: программы по мониторингу планеты и слежению за изменением климата от COPERNICUS, проект Horizon 2020, проекты для ESA (Европейское космическое агентство — OneSoil) или FAO (Продовольственная и сельскохозяйственная организация ООН – OneSoil), например, FRAME, который помогает в создании портала WaPOR. Также есть несколько небольших коммерческих проектов: например, онлайн-платформа WatchITGrow для бельгийских фермеров. Мы хотим расширить направление коммерческих услуг, так как они помогают понять, каковы реальные потребности компаний и общества. Тем не менее, наши исследовательские проекты всегда будут в приоритете.
Рабочие будни в VITO
— Как работает платформа watchITgrow? Cейчас она ориентирована только на Бельгию, планируете ли вы выходить в другие страны?

— В платформе фермеры могут выбирать или обводить свои поля, следить за их состоянием и вводить разную информацию о хозяйстве. Пользователи получают изображения спутника Sentinel-2, которые мы проверяем на наличие облаков. Затем мы строим кривую, которая позволяет фермерам понять, в каком состоянии находятся растения. При создании этой кривой мы объединяем оптические и радарные данные, поэтому её не так просто получить. Но мы считаем, что технологии и данные всегда нужно превращать в простую для понимания информацию.

Всё, что хочет знать фермер — это как там обстоят дела с его полями. WatchITgrow — бесплатная платформа, а с этого года фермеры даже получают бонус при загрузке своих данных. Это позволяет нам улучшать приложение.

Мы уже тестируем платформу в некоторых частях Италии, в Нидерландах и Африке. Африка всегда привлекала наше внимание, у нас большой опыт работы в этом регионе. То есть мы начинаем с хорошо известных регионов, а затем переносим технологии в более сложные регионы, к старту в которых нам надо подготовиться.
Наш основной посыл в том, что обычный фермер не хочет ничего знать ни об облаках, ни о глубоком обучении, ни о радарах, ни об оптических системах.

— Немного похоже на то, как работает OneSoil.

— Да, когда веб-платформа OneSoil появилась в сети, я подумал: «Нам нужно изучить, что они делают, и познакомиться». Я вижу наши компании как два разных мира, которые должны тесно сотрудничать, чтобы двигаться вперёд. Я знаю, что некоторые компании и институты считают иначе: они с подозрением относятся к маленьким стартапам, которые умудряются обрабатывать данные со всего мира, казалось бы, обладая ограниченными ресурсами при этом. Но если вы с подозрением относитесь к новым технологиям и стартапам, то рискуете быстро остаться позади. Мы должны учиться друг у друга и обмениваться технологиями.

Одно существенное различие между OneSoil и VITO заключается в том, что у вас довольно небольшая команда с чёткой направленностью и необходимостью внедрять всё в облаке. У нас же очень большая команда — только в отделе дистанционного зондирования более 100 человек, — и у нас есть собственный центр обработки данных. Как следствие, разным командам бывает сложно прийти к пониманию общей цели, сложнее, чем небольшой команде.
PROBA-V — спутник для глобального мониторинга растительности, VITO отвечает за обработку поступаемых данных
Другое отличие заключается в том, что мы много работаем над предварительной обработкой данных и интеграцией датасетов, чтобы сделать их радиометрически и геометрически консистентными во времени. У нас много учёных, которые делают очень качественную исследовательскую работу. Они тщательно калибруют и проверяют алгоритмы, что, конечно, отнимает много времени, но я чувствую, что люди склонны всё меньше уделять этому внимания.

— Подождите, почему люди перестают калибровать и проверять алгоритмы?

— Сейчас можно быстро запустить алгоритмы на самых разных платформах с огромным количеством источников данных. Мы все склонны применять эти алгоритмы без должного понимания того, как они работают, без калибровки и проверки. Это позволяет быстро достигать результата, но при этом если мы теряем связь с реальностью и перестаём ставить под сомнение полученные данные, возникает определённый риск. Я считаю, что один из самых больших вызовов в нашей области состоит в том, чтобы научиться внедрять новые технологии и при этом не терять связь с реальным миром.

— Возвращаясь к watchITgrow, есть ли у вас цель заработать деньги?

— VITO — некоммерческая организация. Но иногда исследования, которые мы проводим, приводят к дополнительным доходам, и компания может начать зарабатывать деньги. Скажем так: мы стремимся, чтобы наши исследования помогали целям устойчивого развития. Но когда становится ясно, что результаты нашей исследовательской деятельности ценны с коммерческой точки зрения, мы передаём их в «большой мир».

В поисках ground truth данных

— Возникают ли у вас сложности из-за недостатка ground truth данных?

— В целом, это большая проблема. Я вижу, что есть тенденция тратить большие деньги на применение новых технологий, оставляя при этом маленькие суммы для сбора ground truth данных (в машинном обучении это данные разметки, в дистанционном зондировании — локальные данные, полученные при физическом исследовании территории — OneSoil). Но если вам не на чем тренировать и калибровать свои алгоритмы, то считайте, что вы работаете вслепую

Мы уже несколько лет используем данные LPIS (Система анализа землепользования в стране — OneSoil). В Европе существует единая сельскохозяйственная политика, согласно которой все страны собирают границы полей и информацию о типах культур. Для некоторых стран эти данные уже открыты, в некоторых они станут полностью доступны в будущем. Это очень ценный источник информации: с его помощью можно калибровать и проверять алгоритмы. Также я считаю, что данные, собранные во время проектов, которые финансируются государством, должны быть доступны для обучения и тестирования алгоритмов. Это поможет решить проблему нехватки данных в развивающихся странах.

Мы хорошо справляемся с картированием культур в западных странах, в то время как в Африке ground truth данных практически не существует. Там вам нужно либо задействовать 20 студентов для оцифровки территории, либо договориться с местными агенствами. Но тогда есть риск получить эти данные в таком формате, который вы просто не сможете понять. И мы говорим только о картографировании типов культур, что уж рассуждать об изучении состояния растений или прогнозировании урожайности.
Поля на изображении от Sentinel-1
По большому счёту, всех интересует, какой будет урожай. Я думаю, что здесь могут помочь технологии глубинного обучения. Но модели, которые смогут предсказать урожая с нуля, всё ещё в будущем, потому что у нас недостаточно данных для обучения. Прогнозирование урожайности, которое не требует тщательной калибровки по конкретному региону и культуре, а следовательно, и огромного количества данных... Думаю, пока это невозможно.

Поэтому мне кажется, что ground truth данные — это всё ещё Святой Грааль для сферы дистанционного зондирования.

— Понятно. Давайте поговорим о современных технологиях, которые вы любите использовать.

— Я фанат Google Earth Engine. Думаю, что они одними из первых начали предоставлять данные дистанционного зондирования в больших масштабах и при этом избавили от хлопот, связанных с их предварительной обработкой.

Они сами обрабатывают данные различных датчиков, поэтому вам не нужно беспокоиться о разных проекциях, размерах пикселей и т. д. И это действительно потрясающе — вы можете быстро разрабатывать и тестировать свои идеи. Но такая ситуация имеет и обратную сторону, потому что люди становятся ленивыми. Мы привыкаем достигать результата и не тратить время на анализ самого процесса. А мы ведь должны использовать технологии с умом!

Ещё одна штука — глубокое обучение, которое необходимо для того, чтобы справляться с растущим объёмом данных. Счастливые времена, когда можно было использовать один источник данных или одну простую регрессию, подходят к концу. Одна из причин — доступность бесплатных источников информации, которые побуждают нас не ограничиваться данными какого-то одного спутникового датчика при создании новых приложений. Другая причина кроется в том, что разрешение постоянно улучшается, данных становится всё больше, и нам всё сложнее с этим справляться.
Поэтому мне кажется, что ground truth данные — это всё ещё Святой Грааль для сферы дистанционного зондирования.
Допустим, я хочу провести масштабный анализ, используя снимки спутника Sentinel-1 и Sentinel-2 с 10-метровым разрешением. Если я не буду сжимать данные, то для наших обычных алгоритмов информации будет слишком много. Однако если я сожму данные, то рискую потерять важную информацию. Модели глубокого обучение — хорошее решение этой дилеммы. Они могут обрабатывать огромные объёмы данных в поисках скрытых паттернов, которые в свою очередь, помогут в создании вашего приложения.

Фактически, это основное исследовательское направление, над которым я сейчас работаю в VITO. Я создаю комплексные приложения, которые используют преимущества оптических данных Sentinel-2 и радарных данных Sentinel-1. Сначала я использовал классический алгоритм случайный лес для создания карты культур в Бельгии. Вышло не так уж плохо, но мне пришлось сжать данные. Более поздние разработки, основанные на глубоком обучении, позволили мне автоматически распознавать участки и культуры, используя комбинированные временные ряды снимков Sentinel-1 и Sentinel-2, и при этом не сжимая данные. Оказалось, что такой подход даёт лучшие результаты.
Часть Бельгии на карте с/х культур VITO
Наша технология CropSAR позволяет создавать временные ряды снимков Sentinel-2 без облаков, для этого мы комбинируем данные Sentinel-2, Sentinel-1 и глубокое обучение. Эта технология позволяет получать результаты на уровне поля в платформе watchItgrow (в виде кривой вегетации), а сейчас мы занимаемся её проработкой для самих изображений. Для меня это ключевой момент в работе: мы проводим сложные операции и в итоге предоставляем информацию в понятном виде, например, в виде кривой, которую легко понять. То есть мы превращаем хаос данных во что-то понятное и полезное!

Так что да, я определённо увлечён глубоким обучением, и я думаю, что в ближайшие годы мы увидим много классных разработок. Но стоит всегда помнить о том, про что я говорил ранее: важно понимать, какие данные «входят» в модель машинного обучения и что должно «выходить» из неё вне зависимости от последующего применения. Иначе есть риск потерять контакт с реальностью.

Прогнозы на будущее

— Наша исследовательская команда попросила задать вам несколько вопросов. Сейчас есть бесплатные спутниковые снимки и есть те платные, предоставляемые коммерческими компаниями. Как думаете, это изменится в будущем?

— Хороший вопрос! Я думаю, это хорошая идея — предлагать низкое разрешение бесплатно, а если вы хотите более высокое, то придётся заплатить. Я думаю, что невозможно получить все данные только за счёт публично финансируемых проектов. Например, программа «Коперник» не может запустить такое количество спутников, чтобы покрыть все частоты, получить самое высокое разрешением и т. д. Коммерческие компании всегда будут заполнять пробел в бесплатных данных, и это здорово. Я не вижу проблемы, но важно уметь договариваться с такими компаниями. Поэтому не думаю, что лет через 10 у нас больше не будет коммерческих миссий или наоборот.

— И последний вопрос — о гиперспектральных изображениях. Используете ли вы их сейчас и видите ли их применение в будущем?

— В VITO мы работаем с гиперспектральными снимками уже несколько десятилетий. Интересной особенностью гиперспектральной технологии является, в частности, способность идентифицировать отдельные пигменты в растениях для более тщательного изучения состояния их здоровья. Также эта технология позволяет ещё до начала вегетации обнаружить нехватку определённых компонентов в почве, это позволяет советовать фермеру применять специфические удобрения. Однако сейчас для многих сельскохозяйственных приложений не хватает разрешения датчиков, поэтому мы скорее работаем с данными дронов. В будущем, если разрешение гиперспектральных снимков улучшится, мы сможем найти практическое применение нашим исследованиям.
Я думаю, что тепловизионная съемка — это то, что серьёзно повлияет на сельское хозяйство в будущем.
Ещё одна вещь, о которой стоит упомянуть в разговоре о будущем — тепловизионная съёмка. В сельском хозяйстве тепловые изображения позволят обнаружить проблемы растений на ранних стадиях. Однако сейчас у термодатчиков, как и у гиперспектральных датчиков, недостаточно высокое разрешение. Спутник Sentinel-2 не ведёт съёмку в тепловом диапазоне, но в будущем точно появятся новые «тепловые» миссии с лучшим пространственным разрешением.

Недавно я видел презентацию на одной конференции, где объединение изображений термодатчиков с изображением Sentinel-2 дало очень хорошие результаты. Представьте, как эти результаты улучшились бы, если бы у нас была тепловые снимки с тем же разрешением, что и у Sentinel-2! Я думаю, что тепловизионная съемка — это то, что серьёзно повлияет на сельское хозяйство в будущем.
Ольга Полевикова, автор_Блог OneSoil
Ольга Полевикова
Текст
Иллюстратор Настя Вишневская_блог OneSoil
Иллюстрация
Нравится этот пост?
Статьи по теме
Оставьте комментарий