Честито за представянето на InnoAir Challenge Hackathon! Бихте ли разказали няколко думи за всеки от отбора – с какво се занимавате и как се сформирахте?

Моето име е Христо Хубенов и съм маркетинг екзекютив на innovaone. Екипът ни се състои от Емануил Манолов, който се занимава с логистика, правни и счетоводни въпроси. Дарко Тачев се занимава с хардуер, а Джано Михайлов е софтуерен разработчик.

InnovaOne участва и в други хакатони като отбор, при това отново с добри представяния. Помогна ли това и в работата на този хакатон?

Да, така е – в края на месец февруари спечелихме първо място на хакатона на Американски Университет в България, HACK AUBG 3.0 на тема умни градове с проект GeoShare, свързан с динамиката на тълпата в умните градове. В този проект участвахме със супер талантливия ученик от Математическа гимназия в Пловдив Радостин Чолаков, който бе в основата на това постижение. Този опит ни помогна и при спечелването на награда на хакатона на InnoAir, където участвахме с друг наш продукт.

Как ви се стори участието в InnoAir Challenge и какво бе изживяването?

Бяхме изненадани от участието на 24 отбора от цялата страна. Състезанието беше интересно и напрегнато, и сме радостни, че бяхме отличени.

Бихте ли представили проекта на нашата аудитория? Какво представлява той и какви проблеми решава?

Проектът, с който участвахме, е сензорна система за мониторинг качеството на въздуха, използваща платформа machine learning за анализ и прогнози на замърсявания на база на предишни данни. Също така предвиждаме имплементирането на 5G, с което да подобрим хардуера и софтуера на нашите сензорни системи (в процес на лабораторни изпитания).

Какви предизвикателства срещнахте в работата по проекта?

Проблемите, с които се сблъскваме са предимно технологични и свързани с R&D. Целта ни е точност и надеждност на сензорната система.

Какви технологии използвахте в изграждането?

Платформата ML е създадена от Радостин Чолаков. Проведени са експерименти на различни модели, включително и двупосочни такива с LSTM логически единици. За целта са използвани Tensorflow (Python) и Tensorflow.js (NodeJS). Проведени са също така експерименти в Google Cloud AutoML и Amazon AWS. Като входни данни са използвани измервания от множество сензори, най-вече в градовете София и Пловдив. Финалните използвани модели приемат като вход данни за температурата, влажността на въздуха и история на замърсяването (PM10 и PM2.5 показатели) за последните 1, 3 или 5 дни.

Как точно се случва прогнозата за евентуално бъдещо замърсяване на въздуха и бихте ли споделили повече технологични детайли относно архитектурата на платформата?

Анализите и прогнозите за замърсяване се обработват от ML платформата, използвайки предварително въведени данни.

Бихте ли споделили и интересни технологични решения от други градове, които са ви направили силно впечатление, и които смятате, че ще е добре да се имплементират и в България?

С удоволствие ще споделим с вас проектът, по който работим по-усилено към момента: сензорна система за мониторинг качеството на питейната вода. В този проект си партнираме със Софийска вода, част от Веолия, като се консултираме с техни експерти и провеждаме експерименти в лаборатории. Надяваме се и че ML платформата ще бъде приложима и за следене показателите на питейната вода в страната.

За проблемa със замърсения въздух се говори много. Може ли да базата на прогнозите на вашето решение, да кажем Столична Община да взема мерки, така че да редуцира замърсяването в посочените дни?

Платформата за анализи и прогнози за качеството на въздуха и водата има нужда от допълнително тестване и повече данни относно замърсяванията в София, за да се използва от Столична Община.

В генерален план, къде се крие ключът към решаването на проблемите със замърсяването на въздуха и смятате ли, че технологиите могат да помогнат?

Според нас, проблемът със замърсяването на въздуха съществува поради следните причини: големият брой автомобили в столицата, ниско-ефективното битовото отопление и промишлените замърсители.

Какво следва за вашия проект? Кои са следващите стъпки в развитието му?

Предстои ни да подобрим точността на сензорните ни системи за въздуха и водата, подобряване на ML платформата, лабораторни тестове с 5G технология. Вече имаме и първи клиенти в лицето на Община Харманли, която закупи две сензорни системи за следене качеството на въздуха.

Dota 2 е една от най-популярните и сложни esport игри в света с творчески и мотивирани професионалисти, които тренират целогодишно, за да спечелят част от годишния награден фонд на Dota, който е най-големият от всички esport игри.

OpenAI Five играе толкова, че количеството на възприемане е равно на 180 години геймплей срещу себе си всеки ден, като се учи чрез самостоятелна игра. Той тренира с помощта на подобрена версия на Proximal Policy Optimization, която работи на 256 графични процесора и 128000 CPU ядра – по-мащабна версия на системата, която са създали от OpenAI, за да се играе много по-простия солов вариант на играта миналата година. Използвайки отделен LSTM за всеки герой и без човешки данни, той научава разпознаваеми стратегии. Това показва, че обучението чрез укрепване (reinforcement learning) може да доведе до дългосрочно планиране с голям, но постижим мащаб – без фундаментални постижения.

Проблемът

Една цел на AI е да надхвърли човешките възможности в сложна видеоигра като StarCraft или Dota. В сравнение с предишните етапи на AI като Chess или Go, комплексните видеоигри започват да улавят бъркотията и непрекъснатото естество на реалния свят. Надеждата е, че системите, които решават сложни видео игри, ще бъдат много общи, с приложения извън игрите.

Повечето действия (като простата команда за местене на позицията на герой) имат незначително въздействие поотделно, но някои отделни действия като използването на градски портал могат да засегнат стратегически играта. OpenAI Five гледа всеки четвърти кадър, което дава около 20 000 хода на игра. Шахът обикновено завършва преди 40 хода и Go приключва преди 150 хода, като почти всеки ход е стратегически.

Подходът на OpenAI Five

Системата им се научава да използва по-мащабна версия на Proximal Policy Optimization. Както OpenAI Five, така и техният по-ранен бот 1v1 се учат изцяло от самоуправление. Те започват с случайни параметри и не използват търсене или bootstrap от човешки оператор.

Изследователите на RL по принцип вярват, че дългите времеви хоризонти ще изискват фундаментално нови постижения, като например ученето в йерархичното укрепване (hierarchical reinforcement learning). Резултатите на OpenAI Five показват, че досега известните алгоритми въобще не се справят зле, особено ако се учат достатъчно време и се предвиди възможност за изследване на нови възможности.

Структура на модела

Всяка от мрежите на OpenAI Five съдържа еднослойен LSTM с 1024 върха, което вижда текущото състояние на играта (извлечено от API на бота на Valve) и излъчва действия чрез няколко възможни глави за действие. Всяка глава има семантичен смисъл, например колко да забави действието, което се избери, X, Y координатите спрямо героя и т.н. Действащите глави се изчисляват независимо.

Основната им мотивация достига отвъд Dota. Развитието на AI в реално време ще трябва да се справи с предизвикателствата, повдигнати от Dota, които не са били нужни при играта на шах, Go и класиките на Atari или Mujoco. Интересно е да се види как ще се справя Dota алгоритъма при приложение към реални задачи от всекидневието.