Новые нейросетевые технологии ассоциативной памяти и распознавания образов в системе взаимодействующих осцилляторов на базе переключательных структур оксидов переходных металлов.

Проект РНФ 16-19-00135
Приоритет:
Нейротехнологии и когнитивные исследования
Конкретные задачи:
П16-3 Разработка новых вспомогательных и заместительных технологий для улучшения когнитивных способностей человека
Ключевые проблемы:
П16-3-2 Разработка искусственных когнитивных систем, включая разработку новых парадигм и теорий нейрокомпьютеров и биоподобных нейронных сетей, крупномасштабных симуляторов нервных сетей, специализированных архитектур для нейроморфных вычислений.

В проекте ставится задача реализации искусственных динамических нейронных сетей с функциями ассоциативной памяти и распознавания образов с помощью массива связанных осцилляторов. В качестве объекта исследования и разработки используются структуры на основе двуокиси ванадия, с эффектами фазового перехода металл-изолятор и электрического переключения, на базе которых проектируются релаксационные автогенераторы(осцилляторы), а за основу физического моделирования взята модель сети из взаимодействующих нейронных осцилляторов. Масштабность и актуальность задачи проекта связана в первую очередь с разработкой новой парадигмы компьютерных вычислений и распознавания образов, а также имеет аспект, связанный с пониманием физики функционирования оксидных переключательных микро и нано структур. На данный момент существует несколько подходов к моделированию нейронной сети. Это прежде всего cети из нейронов, в которых динамика каждого элемента описывается системой дифференциальных уравнений, например, уравнения для ионного транспорта через мембрану, как в модели Ходжкина – Хаксли, сети из интегративно-пороговых нейронов, накапливающих поступающие сигналы и генерирующим импульс (спайк) при достижении порога, и сети из взаимодействующих нейронных осцилляторов, в том числе фазовых осцилляторов. В осцилляторном подходе сети из нейронных осцилляторов исследуются методами теории бифуркаций, что позволяет аналитически и численно описать области параметров, при которых имеет место тот или иной вид динамики сети. В более простом подходе активность связанных осцилляторов характеризуется лишь разностью фаз или частот. Основная задача этого подхода состоит в описании областей пространства параметров, соответствующих различным режимам синхронизации (полной или частичной), а распознавание образа, трактуется как попадание входных параметров в область синхронизации взаимодействующих осцилляторов. Разрабатываемые в проекте ‘искусственные нейроны’ на основе двуокиси ванадия с эффектом электрического переключения на фоне релаксационных колебаний демонстрируют также естественный электрический шум, имеющий иногда детерминированный характер. Это явление (в пределах комнатных температур), присутствующее реальным биообъектам, в совокупности с быстродействием и возможностью наномасштабирования, делают переключатели на основе VO2 перспективным элементом для создания искусственной нейронной сети связанных осцилляторов. В результате будут разработаны технологий создания переключательных структур, планарного и сэндвич типов, на основе оксидов ванадия, с эффектом электрического переключения, с микронными и нанометровыми размерами рабочих областей и электродов. Одна из научных задач решаемая в проекте, это разработка новых методов ввода информации в искусственную нейронную сеть. Здесь планируется использовать свойство оксидно-ванадиевых структур обратимо модифицироваться под действием электронно-лучевого облучения (ЭЛМ). Это позволит напрямую управлять динамикой релаксационных колебаний, через изменение пороговых характеристик переключательного элемента, при этом электронно-литографическая система будет преобразовывать любой видимый образ в распределение экспонированной дозы. Планируется также исследование фоторезистивных преобразователей включенных последовательно с переключательным элементом для прямого влияния освещения, от распознаваемого образа, на динамику осцилляторной нейросети. Другой научной задачей является задача хранения образа тест объекта в параметрах осциллятора. Здесь будут исследоваться осцилляторные цепи содержащие резистивный элемент памяти, играющий функцию памяти состояния системы (частоты, фазы), с последующим распознаванием этого состояния. Одним из аспектов задачи будет поиск оксидных структур, обладающих несколькими устойчивыми резистивными состояниями, так называемый Multilevel ReRam. Кроме этого экспериментальные наблюдения будут дополнены результатами численного моделирования динамики связанных осцилляторов и программно- аппаратными методиками обработки сигналов. Будет получена технологий создания массива (размерностью не менее 4*4) связанных осцилляторов и элементов резистивной памяти на базе переключательных структур оксидов переходных металлов. Изучено влияния ЭЛМ и фотомодификации на динамику осцилляций массива связанных осцилляторов, для реализации функции ассоциативной памяти и распознавания образов. Таким образом, открывается новое направление исследований в разработке нейронных сетей на основе принципиально новых осцилляторов не только по физическому механизму, но и организованных по совершенно другому принципу параметрического воздействия. С практической точки зрения эта работа даст вклад в разработку новых устройств оксидной биоподобной электроники и методов обработки информации.

Нейронауки современной биологии привлекают особое внимание специалистов математики и физики и по количеству работ технической направленности соперничают с молекулярной генетикой и экотехнологиями. Одна из таких областей, теория нейронных сетей, с одной стороны, решает фундаментальную задачу об общих принципах обработки информации живых организмов, с другой, как часть современной кибернетики основные усилия направляет на резкое изменение в вычислительной парадигме, охватывающей разработку квантовых компьютеров и нейропроцессоров. 
В области разработки нейропроцессоров, текущие исследования фокусируются на развитие новых вычислительных архитектур, основанных на динамически адаптивной работе мозга с массивной параллельной логикой. Стрежневой направление этих исследований  - разработка устройств, которые могут “учиться” реагировать на различные внешние воздействия. 
На данный момент существует несколько подходов к моделированию нейронной сети. Это прежде всего cети из нейронов, в которых динамика каждого элемента описывается системой дифференциальных уравнений, например, уравнения для ионного транспорта через мембрану, как в модели Ходжкина – Хаксли, сети из интегративно-пороговых нейронов, накапливающих поступающие сигналы и генерирующим импульс (спайк) при достижении порога, и сети из взаимодействующих нейронных осцилляторов, в том числе фазовых осцилляторов [1].  
Последние исследования показали, что переключатели, охваченные емкостной обратной связью, могут вести себя как идеальные искусственные наносинапсы [2], и рассматриваться как строительные блоки для развития принципиально новых вычислительных систем. В этой связи принципиально новым моментом в создании нейронной сети является подход на основе осцилляторной цепи, где динамика каждого элемента характеризуется лишь одной переменной — фазой колебания, а связь между осцилляторами описывается на основе теории бифуркации. Основная задача этого подхода состоит в описании областей пространства параметров, соответствующих различным режимам синхронизации (полной или частичной), а распознавание образа, трактуется как попадание входных параметров  в область синхронизации. Оцилляторный подход сложен для численного моделирования, но по физическому механизму очень схож с поведением реальных нейронных сетей и может быть реализован экспериментально, используя элементы с нелинейной вольтамперной характеристикой переключательного типа. Как показано в недавних работах [3-5], системы с синхронизированными колебательными режимами имеют уникальные возможности для реализации ассоциативных вычислительных схем и алгоритмов. 
Разработка переключателей только на основе традиционной кремниевой технологии (CMOS), сужает возможности и перспективы подобных разработок в виду однотипности физических принципов управления, фундаментальных (например, квантово-механические) ограничений дальнейшего увеличения степени интеграции микросхем или требований все более и более сложных и дорогостоящих технических решений. Хотя усилия по созданию новых вычислительных систем с компонентами CMOS постоянно предпринимаются, существуют опасения по их дальнейшей масштабируемости и увеличению производительности. Альтернативные подходы базируются на новых физических механизмах – это, например, спинтроника, сверхпроводниковая электроника, одно-электроника. В частности, особый интерес представляют осцилляторы на основе спин-трансферных колебаний (spin-torque oscillator, STO), связанные током спиновой диффузии [6]. 
Несмотря на хорошую масштабируемость, связанные STO испытывают высокие токи смещения (порядка мА) и имеют медленные скорости, ограниченные угловой прецессией спина. Кроме того, хотя связь через токи спиновой диффузии имеют малую мощность, но локализуется на малой длине диффузии (порядка единиц микрона) при комнатных температурах. Таким образом, исследователи продолжают искать альтернативные топологии наногенераторов с перспективной масштабируемостью и более устойчивыми гальваническими развязками.
Одно из таких новых направлений, оксидная электроника, базируется на идее использования уникальных свойств и физических явлений в сильно коррелированных оксидах переходных металлов (ОПМ). К числу таких явлений относится, например, фазовый переход металл-изолятор (ФПМИ), присущий целому ряду ОПМ.
Возможности управления параметрами ФПМИ в ОПМ и, прежде всего, в диоксиде ванадия, остаются  в центре внимания многих исследователей, что обусловлено в практическом плане применением ФПМИ в различных технических устройствах, в том числе в элементах памяти [7]. Среди многих известных методов управления параметрами ФПМП, таких как приложение внешнего электрического поля [8], инжекция заряда через диэлектрик [9], воздействие лазерного излучения [10] и т.п., особое место занимает электронно-лучевая модификация (ЭЛМ) [11, 12]. В настоящее время ЭЛМ управление является менее изученным и приобретает все большую актуальность в виду   возможность ЭЛМ-подстройки параметров ФПМП в интерактивном режиме и в малых рабочих областях устройств. 
С ФПМИ ‘генетически’ связан, по крайне мере в диоксиде ванадия, другой технически значимый  эффект – электрическое переключение, которое  обусловлено развитием токовых неустойчивостей в сильных электрических полях в условиях фазового перехода и сопровождается появлением участков ВАХ с отрицательной дифференциальной проводимостью (ОДП). Этот эффект в VO2 наблюдается в монокристаллах, в тонкоплёночных планарных структурах, в сэндвич структурах V-VO2-металл, а также в различных VO2-содержащих системах: в оксидных в анадатно-фосфатных стеклах, в плёнках V2O5-геля, в керамике состава VOx-SnO2-Pd. 
Структуры на основе двуокиси ванадия с эффектом электрического переключения, используемые в данном проекте, являются превосходными объектами для создания связанных осцилляторов, не только в силу того что фазовый переход металл изолятор в VO2 хорошо изучен, и эффект переключения наблюдается в пределах комнатных температур (0-60) oС, где активно живут реальные биообъекты. Но и в силу наличия естественного электрического шума, имеющего иногда детерминированный характер [13], присутствующего в реальных биообъектах, а также быстродействия и возможности наномасштабирования устройств на основе VO2.
С позиции задачи управления ФПМИ в диоксиде ванадия можно отметить недавний результат, полученный нами [12], о  влиянии ЭЛМ на параметры переключения в тонкопленочных структурах на основе этого материала. Это позволит напрямую управлять динамикой релаксационных колебаний, через изменение свойств переключательного элемента, при этом электронно-литографическая система будет преобразовывать любой видимый образ в распределение экспонированной дозы. Планируется также исследование фоторезистивных преобразователей включенных последовательно с переключательным элементом для прямого влияния освещения, от  распознаваемого образа, на динамику осцилляторной нейросети.
Это открывает новое направление исследований в разработке нейронных сетей на основе принципиально новых осцилляторов не только отличных, например, по физическому механизму от STO, но и организованных по совершенно другому принципу параметрического воздействия.
Ввиду сказанного выше, представляется перспективным исследовать возможность применения эффекта переключения в структурах на основе VO, чтобы имитировать функцию нейристорной сети на основе осцилляторного подхода.  Отметим, что для реализации этих идеи можно использовать и другие ОПМ, например, оксид ниобия. Однако из-за относительно высокой температурой перехода (1070 К), диоксид ниобия потребляет значительное количество энергии. Диоксида ванадия при температуре ФПМИ лишь 340 K, кажется, более привлекательным материалом для этого приложения.
Таким образом, судя по нарастающему числу публикаций, актуальность научной проблемы данного проекта не вызывает сомнений, а одним из перспективных кандидатов для разработки новых переключательных устройств нейротехнологии являются оксиды металлов и полупроводников, в частности диоксид ванадия.

1.	Борисюк Г.Н., Борисюк P.M., Казанович Я.Б., Иваницкий Г.Р. Модели динамики нейронной активности при обработке информации мозгом — итоги "десятилетия". УФН, Том 172, № 10, 1189-1216, (2002).
2.	Pickett M. D., Medeiros-Ribeiro G. and Williams R. S. A scalable neuristor built with Mott memristors. NATURE MATERIALS 12, 114-117 (2013).
3.	 Maffezzoni P., Daniel L., Shukla N., Datta S. and Raychowdhury A. Modeling and Simulation of Vanadium Dioxide Relaxation Oscillators. IEEE Trans. on Circ. and Syst.  62, №9, 2207-2214 (2015).
4.	Datta S., Shukla N., Cotter M., Parihar A., Raychowdhury A. Neuro Inspired Computing with Coupled Relaxation Oscillators. Design Automation Conference (DAC), 2014 51st ACM/EDAC/IEEE, Date 1-5 June 2014, pp.1-6.
5.	Nikonov D. E., Csaba G., Porod W., Shibata T., Voils D., Hammerstrom D., Young I. A. and Bourianoff G. I. Coupled-Oscillator Associative Memory Array Operation.  arXiv:1304.6125 [cond-mat.mes-hall], 32 c.
6.	Kaka S., Pufall M. R., Rippard W. H., Silva T. J., Russek S. E. and Katine J., Mutual phase-locking of microwave spin torque nano-oscillators. Nature 437, № 7057, 389– 92 (2005).
7.	S.-H. Bae , S. Lee , H. Koo , L. Lin , B. H. Jo , C. Park and Z. L. Wang. The Memristive Properties of a Single VO2 Nanowire with Switching Controlled by Self-Heating. Adv. Mater., 25, 36, p. 5098 (2013).
8.	M. A. Belyaev, V. V. Putrolaynen, A. A. Velichko, G. B. Stefanovich and A. L. Pergament, Field-effect modulation of resistance in VO2 thin film at lower temperature. Jpn. J. Appl. Sci., 53, 11, p. 111102 (2014).
9.	G. B. Stefanovich., A. L. Pergament and D. G. Stefanovich. Electrical switching and Mott transition in VO2. J. Phys.:Condens. Matter, 12, p. 8837 (2000).
10.	A. Cavalleri, Th. Dekorsy, H. H. W. Chong, J. C. Kieffer and R. W. Schoenlein. Evidence for a structurally-driven insulator-to-metal transition in VO2: A view from the ultrafast timescale. Phys. Rev. B, 70, p. 161102 (2004).
11.	A. V. Ilinskii, V. Yu. Davydov, R. A. Kastro, O. E. Kvashenkina, M. E. Pashkevich and E. B. Shadrin. ElectronBeam Modification of the Parameters of the Insulator–Metal Phase Transition in Vanadium Dioxide Films. Technical Phys. Lett., 39, 8 (2013).
12.	M. A. Belyaev, A. A. Velichko, S. D. Khanin, G. B. Stefanovich, V. A. Gurtov and A. L. Pergament. Electron-beam modification and electrical property recovery dynamics of vanadium dioxide films in semiconducting and metallic phases. // Japanese Journal of Applied Physics 54, 051102 (2015).
13.	Величко А.А., Стефанович Г.Б., Пергамент А.Л., Борисков П.П. Детерминированный шум в структурах на основе диоксида ванадия // ПЖТФ Т. 29, № 10, С. 82-87 (2003).

205 просмотров всего, 1 просмотров сегодня