Лаборатория нейронных систем и глубокого обучения

Целью лаборатории является проведение фундаментальных и прикладных научных исследований в области нейронных систем и глубокого обучения для создания машинного интеллекта.

Лаборатория решает следующие задачи:

  • Создание новых знаний и технологий в области нейронных систем и глубокого обучения;
  • Подготовка кадров для исследований и разработок в инновационных отраслях экономики;
  • Участие в решении прикладных задач, требующих интеллектуальной обработки данных;
  • Создание и развитие высокотехнологичных стартапов

Научные исследования лаборатории направлены на решение одной из принципиально важных проблем в области искусственного интеллекта и машинного обучения - создание алгоритмов, способных без «учителя» находить последовательности действий, приводящих к решению поставленной задачи в неизвестной среде. Решение этой проблемы позволит существенно увеличить автономность интеллектуальных систем и значительно расширить область их приложений:

  • Высокая автономность приведет к расширению функциональности телеуправляемых систем и новым полностью автономным приложением роботов;
  • Робототехнические системы смогут быть использованы не только в фиксированных условиях на конвейере, но и в условиях непосредственного взаимодействия с человеком;
  • Качественно новый уровень функциональности интеллектуальных ассистентов (цифровых помощников) по решению задач, поставленных пользователем.

Сервисы лаборатории

  • Разработка новых нейросетевых архитектур для задачи обучения с подкреплением
  • Исследования в области диалоговых систем и обработки текстовой информации
  • Образовательные курсы и консалтинг в области глубокого обучения
  • Исследования в области обработки биологических сигналов человека.

Сотрудники

Заведующий лабораторией

к.ф.-м.н, Бурцев Михаил Сергеевич

Сфера научных интересов: исследование принципов обучения в живых и искусственных системах, разработка новых нейрокогнитивных архитектур

e-mail: burtcev.ms@mipt.ru


Инженер-исследователь

к.ф.-м.н., Ботвиновский Евгений Александрович

Сфера научных интересов: обучение с подкреплением. Разработка прототипов и внедрение алгоритмов.

e-mail: evgeny@deephacklab.com


Младший научный сотрудник

Беляев Владислав Александрович

Сфера научных интересов: диалоговые и вопросно-ответные нейросетевые системы, обработка естественного языка

e-mail: vladislav@deephacklab.com


Младший научный сотрудник, аспирант

Озерин Алексей

Сфера научных интересов: компьютерное зрение, обработка естественных языков

e-mail: ozerin@phystech.edu


Младший научный сотрудник, аспирант

Соловьева Ксения

e-mail: ks.p.solo@gmail.com


Оборудование

Собственный GPU-сервер

  • 4 видеокарты Titan X с 12 гб видеопамяти на каждой
  • Intel i7 5930k
  • 64 Гб оперативной памяти

План развития лаборатории

  • Разработка и исследование новых нейросетевых архитектур для задач обучения с подкреплением

Конкретной задачей предлагаемого проекта является исследование подходов к синтезу и обучению широкого спектра глубоких нейросетевых архитектур, которые будут обладать следующими характеристиками:

  • устойчивым и быстрым обучением целенаправленным последовательностям действий в неизвестных условиях без учителя;
  • способностью эффективно решать задачи, требующие планирования;
  • возможностью моделенезависимой оптимизации структуры нейросети под выбранный класс задач.
  • Нейрокогнитивная архитектура распознавания функций объектов и действий для быстрого обучения интерактивных роботов

Данный проект направлен на разработку нейрокогнитивной архитектуры управления роботом, которая позволит роботу воспринимать и анализировать окружающую среду, выстраивая когнитивные представления присутствующих объектов и действий, производимых над этими объектами.

Эти представления будут коренным образом отличаться от представлений, полученных с помощью типичных алгоритмов обработки изображений и машинного обучения, и будут включать в себя не только визуальные параметры объектов, но и их функциональные характеристики, а также характеристики их составных частей.

В данном проекте мы планируем разработать новой тип алгоритмов восприятия и обучения для роботов, которые выходят за рамки систем, требующих длительного обучения и большого количества подготовленных данных, и позволят в течение короткого взаимодействия с объектом построить его многомодальное представление, пригодное для распознания и управления действием, направленным на данный объект.

Проекты в работе

  • Разработка нейросетевой диалоговой системы

Конкретной задачей в данном направлении является создание алгоритмов, способных вести диалог на уровне человека на различные темы. Например, консультанты в магазине, оператор техподдержки или call-центра.

Образовательные проекты

1. Хакатон DeepHack.Q&A

Задача хакатона - создать алгоритм, способный отвечать на вопросы стандартного экзамена за 8 класс Американской школы.

  • 300 заявок на участие; 50 участников, прошедших отбор.
  • 12 команд
  • 2 команды из Армении
  • 1 команда из Эстонии
  • 20 лекций на youtube
  • 3000 просмотров на неделю
  • Поездка для победителей на конференцию GPU Technology Conference 2016

2. Хакатон DeepHack.Game

Задача хакатона - превзойти лучшие мировые достижения по универсальному нейросетевому обучению с подкреплением, опубликованные в начале 2015 года в престижном научном журнале Nature. А именно, разработать собственный алгоритм или улучшить открытое решение, созданное командой Deep Mind, с целью получить программу, способную самостоятельно обучиться играть в ретро игры Atari.

  • 250 заявок на участие
  • 60 участников и более 50 слушателей из Москвы и МО, Санкт-Петербурга, Самары, Казани, Минска, Киева, Махачкалы
  • 11 команд
  • 14 лекторов в том числе мировые научные лидеры в области нейросетевых моделей Yoshua Bengio, Jurgen Schmidhuber, Ruslan Salakhutdinov и д.р.
  • Победители, команда 5vision, опубликовали статью, принятую в Workshop NIPS 2015, и лично посетили данную конференцию

Кооперации с научными учреждениями

Российские партнеры:

  1. Политехнический музей
  2. Робототехнический центр Фонда «Сколково»
  3. НИЯУ МИФИ
  4. НИЦ Курчатовский институт
  5. Московский Технологический Институт

Лаборатория также сотрудничает с иностранными учеными:

  1. Ruslan Salakhutdinov, Ph.D., Assistant Professor, Microsoft Faculty Fellow, Sloan Fellow, Machine Learning Department at Carnegie Mellon University.
  2. Sergey Plis, Ph.D., Director of Machine Learning, Assistant Professor of Translational Neuroscience, The Mind Research Network, Vice President for Research at Datalytic Solutions.
  3. Yulia Sandamirskaya, Ph.D., Postdoc, Institute of Neuroinformatics (INI), Neuromorphic Cognitive Systems, University of Zurich and ETH Zurich.

Достижения

  1. Грант У.М.Н.И.К. “Разработка диалоговой системы на основе технологий глубокого обучения”, Владислав Беляев, 2015 год.
  2. Лаборатория получила статус исследовательского центра от NVIDIA, 2016 год.
  3. Лаборатория получила грант в размере $18 000 на облачные вычисления SoftLayer от компании IBM, 2015 год.

Публикации

  1. Sandamirskaya Y., Burtsev M. NARLE: Neurocognitive architecture for the autonomous task recognition, learning, and execution // Biologically Inspired Cognitive Architectures, in press, 2015.
  2. Дегтерев А.А., Бурцев М.С. Исследование спонтанной активности в модели нейрональной культуры с долговременной пластичностью // Математическая биология и биоинформатика. 2015, Т.10, №1, стр. 234-244.
  3. Lakhman K., Burtsev M. Evolution, development and learning with predictor neural networks //In proc.: ALIFE 14: The Fourteenth Conference on the Synthesis and Simulation of Living Systems. – Т. 14. – С. 457-464, 2014.
  4. Muratov S., Lakhman K., Burtsev M. Neuroevolution of sequential behavior in multi-goal navigation task //In proc.: ALIFE 14: The Fourteenth Conference on the Synthesis and Simulation of Living Systems. – Т. 14. – С. 771-777, 2014.
  5. Shirshova M., Burtsev M. Evolution of event and delay controlled neuronal network for locomotion //In proc.: Int’l Conf. Genetic and Evolutionary Methods GEM’14. – С. 41-47, 2014.
  6. Муратов С.Т., Лахман К.В., Бурцев М.С. Нейроэволюционный синтез контроллера мобильного робота в задаче генерации последовательностей действий // Сб. научных трудов Всероссийской научно-технической конференции “Нейроинформатика 2014”. М.: НИЯУ МИФИ, стр. 117-127, 2014.
  7. Лахман К.В., Бурцев М.С. Механизмы кратковременной памяти в целенаправленном поведении нейросетевых агентов // Математическая биология и биоинформатика. 2013, T.8, №2, стр. 419-431.
  8. Lakhman K., Burtsev M. Neuroevolution results in emergence of short-term memory in multi-goal environment // Proceeding of the fifteenth annual conference on Genetic and evolutionary computation conference GECCO ’13. New York, NY, USA: ACM, С. 703–710, 2013.
  9. Пимашкин А.С., Гладков А.А., Мухина И.В., Бурцев М.С., Ильин В.А., Казанцев В.Б. Модель обучения нейронных сетей в культурах клеток гиппокампа in vitro // Математическая биология и биоинформатика. 2012. Т. 7. № 2. С. 545–553.
  10. Анохин К.В., Бурцев М.С., Ильин В.А., Киселев И.И., Кукин К.А., Лахман К.В., Параскевов А.В., Рыбка Р.Б., Сбоев А.Г., Твердохлебов Н.В. Современные подходы к моделированию активности культур нейронов in vitro, Математическая биология и биоинформатика. 2012. Т. 7. № 2. С. 372–397.
  11. Суханова А.Л., Минеева О.А., Киселев И.И., Бурцев М.С., Анохин К.В.Выявление следовых процессов в системах нейронов, культивируемых на микроэлектродных матрицах // Бюллетень экспериментальной биологии и медицины, т. 153, № 5, 2012. стр. 538-541.
  12. Минеева O. A., Бурцев М. С., Анохин К. В. Подходы к изучению механизмов геномной и синаптической пластичности в сетях нервных клеток, культивируемых на мультиэлектродных матрицах // Журнал высшей нервной деятельности, т. 62, № 3, стр. 1-9, 2012.
  13. Лахман К.В., Бурцев М.С. Формирование целенаправленного поведения на основе кратковременной памяти в эволюции нейроморфных агентов // Сб. научных трудов Всероссийской научно-технической конференции “Нейроинформатика 2012”. М.: НИЯУ МИФИ, стр. 134-143, 2012.
  14. Burtsev M.S. Adaptive learning through variation and selection // In Seel, Norbert M. (Ed.) Encyclopedia of the Sciences of Learning, т.1, стр. 116-118. Springer, 2012.
  15. Лахман К.В., Бурцев М.С. (2012) Нейрональные основы кратковременной памяти, возникающей в эволюции когнитивных агентов. // Пятая международная конференция по когнитивной науке.
  16. Лахман К.В., Бурцев М.С. (2012) Эволюционное формирование альтернативного поведения у нейроморфных агентов в среде, содержащей иерархию целей. // XVI Научная школа «Нейлинейные волны – 2012». Тезисы докладов молодых ученых, стр. 91-92.
  17. Лахман К.В. Бурцев М.С. (2011) Возникновение кратковременной памяти в эволюции целенаправленного поведения нейроморфных агентов //Искусственный интеллект: философия, методология, инновации, стр. 43-46.
  18. Комаров М.А., Осипов Г.В., Бурцев М.С. Модель функциональных систем на основе сети нелинейных динамических элементов // Сб. научных трудов Всероссийской научно-технической конференции “Нейроинформатика 2011”. М.: НИЯУ МИФИ, 2011.
  19. Solovyeva, K.P., Karandashev, I.M., Zhavoronkov, A.A., Dunin-Barkowski, W.L., "MODELS OF INNATE NEURAL ATTRACTORS AND THEIR APPLICATIONS FOR NEURAL INFORMATION PROCESSING" (2015), Frontiers in Systems Neuroscience, Manuscript ID: 166296, accepted for publication, December 4, 2015.
  20. Karandashev, I.M., Dunin-Barkowski, W.L.,"Computational verification of approximate probabilistic estimates of operational efficiency of random neural networks",2015,"Optical Memory and Neural Networks (Information Optics), Vol. 24, No.1, pp. 8-17.
  21. Dunin-Barkowski W.L.., Flerov Yu.A., Vyshinsky L.L. Prognosis of Dynamical Systems Behavior Based on Cerebellar Type Neural Technologies. Optical Memory and Neural Networks, (2011), Vol. 20, No. 1, pp. 43–58.
  22. Andrew T. Lovering , Jimmy J. Fraigne, Witali L. Dunin-Barkowski, Edward H. Vidruk, John M. Orem. Tonic and phasic drive to medullary respiratory neurons during periodic breathing. - Respiratory Physiology & Neurobiology 181 (2012) 286– 301.
  23. Tikidji-Hamburyan, R., Dunin-Barkowski, W. (2011). FLICKER-FUSION FREQUENCY FOR ACOUSTIC SIGNALS. - Front. Neuroinform. Conference Abstract: 4th INCF Congress of Neuroinformatics. doi: 10.3389/conf. fninf (Vol. 42).
  24. Kotov V, Artinian L, Rehder V and Dunin-Barkowski W (2011). Modeling of the electrical activity of the Helisoma trivolvis B5 neurons. Front. Neuroinform. Conference Abstract: 4th INCF Congress of Neuroinformatics. doi: 10.3389/conf.fninf.2011.08.00131.
  25. I.M. Karandashev and B.V. Kryzhanovsky. Matrix Transformation Method in Quadratic Binary Optimization. Optical Memory and Neural Networks 04/2015; 24(2):67-81.
  26. D.V. Negrov, I.M. Karandashev, V.V. Shakirov, Yu.A. Matveyev, W.L. Dunin-Barkowski, A.V. Zenkevich. A Plausible Memristor Implementation of Deep Learning Neural Networks, http://arxiv.org/abs/1511.07076.
  27. I.M.Karandashev, B.V.Kryzhanovsky. Attraction Area of Minima in Quadratic Binary Optimization. Optical Memory and Neural Networks (Information Optics), vol.23, No.2, pp.84-88, 2014.
  28. Ya.M. Karandashev,B.V. Kryzhanovsky, L.B. Litinskii. Strong instability of the minima spectrum of a quadratic binary functional // DOKLADY MATHEMATICS, V.83,N.1,pp.116-120, 2011, DOI: 10.1134/S1064562411010303, http://link.springer.com/article/10.1134%2FS1064562411010303.
  29. Iakov Karandashev, Boris Kryzhanovsky and Leonid Litinskii. Weighted Patterns as a Tool to Improve the Hopfield Model // Phys.Rev.E 85,041925,2012, DOI:10.1103/PhysRevE.85.041925, http://pre.aps.org/abstract/PRE/v85/i4/e041925.
  30. I. Karandashev, B. Kryzhanovsky. The mix-matrix method in the problem of binary quadratic optimization //Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics),v.7552,P.1,pp.41-48, 2012.
  31. I. Karandashev and B. Kryzhanovsky. Increasing the attraction area of the global minimum in the binary optimization problem //J.Glob.Optim., V.56, 3, pp.1167-1185, 2013, DOI: 10.1007/s10898-012-9947-7, http://link.springer.com/.
  32. I. Sorokin, A. Seleznev, M. Pavlov, A. Fedorov, A. Ignateva. Deep Attention Recurrent Q-Network. Deep Reinforcement Learning Workshop, NIPS 2015, http://arxiv.org/abs/1512.01693
  33. I. Sorokin, Classification Factored Gated Restricted Boltzmann Machine. Proceedings of the 1st AALTD Workshop with the ECML-PKDD 2015, http://ceur-ws.org/Vol-1425/paper18.pdf.
  34. I. Sorokin, Comparing files using structural entropy. Journal in Computer Virology, November 2011, Volume 7, Issue 4, pp 259-265.

Контактные данные

E-mail: info@deephack.me

Адрес: Московская обл., г. Долгопрудный, Институтский пер., д.9, стр.7, каб. 518