Описание выполненных в 2018 году работ по проекту РНФ 16-19-00135

В ходе научных исследований за 2018 год нами была проведена экспериментальная и теоретическая работа по развитию методов работы с осцилляторными нейронными сетями (их тренировки), для таких применений как запоминание и распознавания образов, кодирование информации. Более подробно изучены эффекты синхронизации в массивах связанных осцилляторов, с применением специального семейства метрик оценки синхронизации, кроме того показаны эффекты влияния задержки термической связи при 3D интеграции осцилляторов. Результаты опубликованы в рейтинговых журналах в том числе с открытым доступом, часть работ находится на рецензии, получены права и поданы заявки на РИДы. Также хочется пояснить, что VO2 переключатели (осцилляторы) являются модельными объектами, технология изготовления которых широко применяется не только в нашей лаборатории, но и в мире. Тем не менее, описанные ниже эффекты в большей своей степени имеют универсальный характер и в дальнейшем могут быть применены для создания сетей на основе самых различных физических осцилляторов: электрических, магнитных, оптических, для которых существует промышленная технология изготовления. Кроме того, данные наработки лягут в основу нового направления по развитию технологий функционирования осцилляторной нейронной сети на высокопроизводительных вычислительных платформах: видеокартах и программируемых логических интегральных схемах.

  1. Отработана технология создания массива связанных осцилляторов на базе переключательных структур оксидов переходных металлов. Основными элементами осцилляторной сети являются VO2-переключатели, представляющие собой двухэлектродные планарные структуры с функциональным слоем диоксида ванадия и двумя металлическими контактами. Связь между осцилляторами осуществляется через тепловые потоки, распространяющиеся через подложку и возникающие в результате Джоулева разогрева переключателей при включении. В качестве подложки использовался синтетический корунд (Al2O3), однако может применяться любой другой диэлектрический материал (кварц, ситалл и т.д.). Подложки проходили стандартную процедуру очистки от органических загрязнений с использованием ацетона, метилового и изопропилового спирта. На подложку с помощью магнетронного распыления металлической мишени в кислород-аргоновой атмосфере при комнатной температуре наносилась пленка аморфного оксида ванадия, близкого по стехиометрии к VO2. В зависимости от требований к параметрам переключателя толщина VO2 пленки варьировалась от 100 до 200 нм. Вторым этапом изготовления массива осцилляторов является формирование областей диоксида ванадия квадратной формы, с помощью методов оптической литографии. После изготовления литографической маски, происходило травление аморфного оксида в 3-нормальном растворе азотной кислоты в течение 2 минут. Затем производилось снятие фоторезистивной маски с помощью ацетона, и подложка вновь отжигалась при температуре 480 °С в течение 30-60 минут (в зависимости от требуемых параметров переключения) при давлении 10E-2 мм.рт.ст. и скорости натекания 10 см3/мин. Последним этапом формирования массива связанных осцилляторов являлось нанесение золотых контактов.
  2. Предложена методика учета временной задержки взаимодействия термически связанных осцилляторов. Тепловой сигнал может распространяться со значительной задержкой относительно величины периода осцилляций и стандартный алгоритм определения синхронизации  требует уточнения. Моделирование физики работы двух осцилляторов в случае 3D интеграции было выполнено с использованием вычислительной платформы COMSOL. В случае присутствия временной задержки взаимодействия осцилляторов t на осциллограммах токов возникают относительные временные смещения d импульсов тока. Мы выяснили, что для определения основных параметров синхронизации высокого порядка (SHR и h) при наличии временного смещения взаимодействия t необходимо определить набор временных смещений пиков тока d1, d2didp, выбрать из этого набора наиболее часто встречающееся значение di в пределах длительности обрабатываемой осциллограммы Tall, и произвести обратное смещение осциллограмм друг относительно друга на эту величину, и затем применить стандартные методики. Анализируя график η(t) можно отметить, что кривая имеет ряд периодических минимумов и в целом эффективность η снижается с ростом t. При проектировании 3D ОНС можно варьировать расстояние l между осцилляторами, но при этом меняется не только величина τ, но и величина теплового взаимодействия, поэтому мы наблюдаем довольно сложную зависимость η(l), где также присутствуют минимумы. По всей видимости, появление минимумов и максимумов параметров синхронизации при вариации временной задержки взаимодействия осцилляторов в сети является универсальным эффектом.
  3. Выполнено моделирование сэндвич переключателя. Показано, что полученные при моделировании ВАХ имели область с отрицательным дифференциальным сопротивлением. Сопротивление выскоомной ветки составляло Roff ~15 кОм, а низкоомной Ron ~ 1 кОм, напряжение включения Vth ~ 1.55 В, а выключения Vth ~ 0.88 В, что соответствует порядку величин наблюдаемым в эксперименте с анодными пленками. Рассчитано распределение температуры в момент включения переключателя. Максимум температуры достигается в центре канала и достигает значения ~370 K, соответствующее температуре фазового перехода в двуокиси ванадия. При  диаметре канала 200 нм и толщине пленки 100 нм, радиус эффективного термического взаимодействия составлял RT ~4.5 мкм, а область взаимодействия имела полусферичную форму.
  4. Изучено влияние биполярного элемента памяти на осцилляторные цепи. Мы видоизменили модельную схему мемристора, добавив в нее два диода, которые позволяли моделировать разные скорости генерации и рекомбинации вакансии, концентрация которых определяла сопротивлений мемристора RM. Кроме того схема имела возможность подачи отрицательного напряжения на мемристор VM, переводящее его в закрытое состояние. Исследована схема двух нейронов-осцилляторов, соединенных мемристором RM и последовательной емкостью Cc. Временные диаграммы сопротивления мемристора RM(t) и выходного напряжения Vo (t), демонстрировали пачечную активность выходного нейрона.
  5. Изучены особенности динамики осцилляций массива осцилляторов и их применение к задачам распознавания образов и логики. Здесь хочется отметить, что достигнут определенный прогресс, когда можно сказать, что выделено новое направление в этой области, и предлагаемые нами методики с успехом могут быть использованы в задачах кодирования и распознавания наряду с уже известными методиками, разработанными для нейронных сетей. Особенностью является применение семейства метрик, на данный момент состоящее из двух параметров – это величина синхронизации высокого порядка SHR и значение эффективности синхронизации (в дальнейшем мы планируем увеличить их количество). Другой особенностью является то, что это интегральные по времени параметры, которые измеряются не после единичного акта прихода импульса, а это состояние определяется (устанавливается) после значительного количества колебаний осциллятора, поэтому в некотором роде это более сложная система, где необходим учет динамики всех связанных осцилляторов одновременно. Выделены два подхода к решению задачи распознавания “Интегральный подход” и “Дифференциальный подход”. Первый реализуется, когда мы задаем вектор образ, запоминаемый или распознаваемый в виде параметров отдельных осцилляторов в системе и изучаем комплексную синхронизацию всей системы, в том числе с учетом входных нейронов. Таким образом, понятия входного и выходного слоя нет, т.к они могут быть совмещенными. При этом параметр синхронизации высокого порядка может иметь довольно сложный вид типа SHR=k1:k2:k3:..kN, состоящий из номеров гармоник нескольких (N) осцилляторов. Эта идея изложена нами в работе, опубликованной в журнале Elrectronics. Второй подход назовем его “Дифференциальный подход”, здесь мы разделяем входные и выходные слои нейронов, при этом синхронизация измеряется в основном только между двумя осцилляторами – выходным и задающим (референсным), имеющим постоянную частоту. Этот подход наиболее похож на методику работы со стандартным нейронными сетями. Отличием является то, что один нейрон на выходе может иметь множество состояний (мультиуровневый нейрон) тем самым позволяя сократить число нейроном на выходе для решения определенных задач. Изучено влияние шума на сеть, и обнаружены эффекты стохастического резонанса.
  6. С помощью численного моделирования двух- и трехосцилляторных схем с термически связанными VO2-переключателями показан новый метод запоминания и распознавания образов (векторов) в импульсной осцилляторной нейронной сети (ОНС) на основе эффекта синхронизации высокого порядка. Данный способ позволяет хранить множество образов, число которых определяется количеством синхронных состояний Ns. Каждое состояние системы характеризуется порядком синхронизации, определяемым как отношение номеров гармоник на общей частоте синхронизации. Модельно показано достижение Ns нескольких порядков, так для трех осциляторной схемы Ns~650 и для двух осциляторной схемы Ns~260. Получены ряд закономерностей, в частности, обнаружено наличие оптимальной силы связи осцилляторов, при которой Ns имеет максимум. Также показана общая тенденции к уменьшению информационной емкости с ростом силы связи и амплитуды внутреннего шума переключателей. Предложен алгоритм запоминания векторов и распознавания тестового вектора, а также показано, что для снижения неопределенности распознавания необходимо использовать число координат в каждом векторе на единицу меньше количества осцилляторов.
  7. Используя “Дифференциальный подход”, представлен новый метод кодирования информации c помощью импульсной осцилляторной нейронной сети на основе эффекта синхронизации высокого порядка. В предложенной нейросетевой схеме данные поступают на входной слой в виде уровней токов питания осцилляторов и преобразуются в набор неповторяющихся синхронных состояний выходного осциллятора. На примере моделирования схемы термически связанных VO2-осцилляторов продемонстрирована настройка сети через подбор сил связей, уровней токов питания и параметра эффективности синхронизации.
  8. Была поставлена и решена задача распознавания образов, представляющих собой фигуры в матрице 3x3. На вход подавался набор фигур в виде матрицы 3×3, имеющей 512 различных комбинаций, разбитых на 102 класса Cm по признаку симметрии. Выход состоит из одного осциллятора. Тренировка сети производилась методом модельного отжига, при этом фиксировались значение Un и ηth, а токи (ION, IOFF, I0, I10) и силы связей между осцилляторами (sr, so, sm) варьировались случайным образом в определенных диапазонах. Задача разбивалась на следующие подзадачи. Задача I: Необходимо найти решение, когда сеть распознает один класс (P=1, где P— это количество распознаваемых классов) из 102 возможных Cm, с определенным значением m. Задача II: Сеть распознает P>1 классов, причем каждому классу ставит в соответствие оригинальное значение синхронизации SHR. Задача III: Когда сеть распознает все классыP=102. Оказалось, что после тренировки вероятность нахождения любого решения с P=1 (Задача I) составляет ~ 10%, и это наибольшая вероятность по сравнению с другими P>1. Определено, что наибольшая вероятность (~4%) появления решения для множества C1 и С102, когда все клетки входного паттерна либо пусты, либо закрашены. Решения для других m появляется намного реже, с вероятностью на два порядка ниже (~0.03%). Теме не менее, эта гистограмма показывает, что можно обучить сеть решению задачи I, с определенной, наперёд заданной величиной m. После всех этапов тренировки максимальное значение P достигло P=14 и это на данный момент максимальный результат по решению Задачи II. Понятно, что это не предел, а конфигурацию и алгоритм тренировки можно развивать дальше, с другой стороны целью этой работы было показать возможность реализации мультиуровневой нейронной сети и ее применения для распознавания образов. Задачи III на данный момент не имеет решения, но это может быть целью будущих исследований. Стоит также отметить, что количество решений Np одной и той же задачи может быть множество, и вероятность нахождения решения можно выражать в процентах, это еще один довод в пользу состоятельности применённого нами алгоритма поиска решения методом случайного поиска (как разновидности метода модельного отжига). Кроме того, мы провели исследование влияния величины шума на результат поиска решений и оказалось, что существует оптимальная величина шума при которой как NP так и P достигают максимума. Поэтому можно говорить о наличии эффекта схожего с эффектом стохастичесокго резонанса, который следует изучать в будущих работах. Варьирование величины эффективности синхронизации, являющейся скорее не параметром сети, а параметром алгоритма обработки, также показало наличие максимума.
  9. Проведен эксперимент по аддитивному воздействию гармонического сигнала и шума на VO2-осциллятор с планарным переключателем. В автоколебательном режиме продемонстрирован эффект стохастической синхронизации с наличием резонанса отношения сигнал/шум, который оценивается на основе разработанной оригинальной спектральной методики.
  10. Показано, что фоторезистивное преобразование параметров осцилляторов элементами их внешней схемы (фотодиодами) являются удобным способом трансляции визуальных образов в ОНС. Поскольку наиболее простым вариантом настройки частоты колебаний осцилляторов является вариация их токов питания, то фотодиоды в составе нагрузочных элементов в цепи ЭДС эффективным образом решают эту задачу, в отличие от сложного и неоднозначного метода ЭЛМ VO2-преключателей.

396 просмотров всего, 1 просмотров сегодня