涉密论文 □ 公开论文 □

本 科 生 毕 业 论 文（设计）

本 科 生 毕 业 论 文（设计）

题目 阵列化的非晶体纳米硅神经突触器件制备与数值模拟

姓名与学号 郑浩 315104964

指导教师 皮孝东

合作导师

年级与专业 2015级 材料科学工程

所在学院 材料科学工程

提交日期

A Dissertation Submitted to Zhejiang University for

Bachelor Degree of Engineering

Preparation and Numerical Simulation of Arrayed Amorphous Nano Silicon Synaptic Devices

Submitted by

Hao Zheng

Supervised by

Prof.XiaoDong Pi

School of Materials Science and Engineering

Laboratory of Silicon Materials, Zhejiang University, Hangzhou

People’s Republic of China

May, 20th, 2019

浙江大学本科生毕业论文（设计）承诺书

1.本人郑重地承诺所呈交的毕业论文（设计），是在指导教师的指导下严格按照学校和学院有关规定完成的。

2.本人在毕业论文（设计）中除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。

3.与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。

4.本人承诺在毕业论文（设计）选题和研究内容过程中没有伪造相关数据等行为。

5.在毕业论文（设计）中对侵犯任何方面知识产权的行为，由本人承担相应的法律责任。

6.本人完全了解 浙江大学 有权保留并向有关部门或机构送交本论文（设计）的复印件和磁盘，允许本论文（设计）被查阅和借阅。本人授权 浙江大学 可以将本论文（设计）的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保存、汇编本论文（设计）。

作者签名： 导师签名：

签字日期： 年 月 日 签字日期： 年 月 日

致 谢

致谢内容。（仿宋字体或Times New Roman，小四号，两端对齐，首行缩进两个汉字符位，段前0磅，段后0磅，固定行距20磅。）

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

致谢内容。

摘 要

信息时代的来临，人类在处理大数据与多信息的任务面前面临着很大的挑战，传统的冯-诺依曼式计算机思想在处理这些问题时出现了本质上的不足，因此神经网络的应用于硬件化变得十分迫切。随着忆阻器的发现，类脑计算的实际应用变得可能。本文从硬件神经网络的兴起出发，阐述了硬件神经网络的研究现状与实现途径，之后引入了生物神经元的特征，阐述了以往关于人类神经元建立的数学模型。之后本文提出了一种阵列化硅纳米晶体神经突触器件的制备方法与过程，并且在基于这样的器件上，得到相应的LTP与STDP数据，将这些数据分别用于探究：神经元激活函数数值模拟，有监督脉冲神经网络之tempotron算法数值模拟与STDP无监督学习网络数值模拟，在得到结果的基础上，提出了硬件化神经网络所需要的器件的基本性质与要求。为未来的硬件化目标提出了可行性与基本方向。

关键词：硬件神经网络；神经元；神经突触器件；激活函数；Tempotron算法；STDP；无监督学习

Abstract

With the advent of the information age, human beings face great challenges in dealing with the task of big data and multiple information.The traditional von Neumann-style computer thought has its essential shortcomings in dealing with these problems, so the application of Hardware

neural networks have become very urgent.The discovery of memristors made it possible for the practical application of brain-like calculations.Starting from the rise of hardware neural networks, this thesis firstly expounds the research status and implementation of hardware neural networks, and then introduces the characteristics of biological neurons, and expounds the previous mathematical models of human neuron establishment.After that, an arrayed hybrid silicon nanocrystal based synaptic devices have been prepared.Nervous function behaviors, e.g.LTP and STDP, have been obtained based on this device.These data are then separately used to explore neuron activation function values Simulation, numerical simulation of tempotron algorithm with supervised pulse neural network and numerical simulation of STDP unsupervised learning network.Based on the results, the basic properties and requirements of the hardware required for hardware neural network are proposed.The feasibility and basic direction for future hardware goals are proposed.Keywords: Hardware neuron network;neurons;Synaptic device;activation function;Tempotron algorithm;STDP;unsupervised learning;

目 次

第一部分 毕业论文（设计）

第一部分

毕业论文（设计）

第一章 绪论

11.1 硬件神经网络

1.1.1 硬件神经网络的兴起

21世纪进入信息时代后，计算机的普及率大大上升，计算机本身也在计算力与逻辑处理上远远超过了人脑，然而不足的是，在数据的存取与记忆上，仍然是采用冯-洛伊曼式的串行方法，且功耗很大，而人类大脑拥有10^11 个神经元和10^15神经突触。这使得人类处理信息的方式是高效的并行方式，并且功耗很低。例如人类大脑看到一种东西，识别它的过程往往使视觉神经信号与记忆信号同时作用的结果，功耗在fj量级。在使得冯-洛伊曼式计算机处理复杂指令与控制上体现出了根本性的缺陷。基于这一点，神经网络的研究开始兴起，在1943年，McCulloch 和 Pitts 提出了神经元的形式化模型后, 有关于神经网络的讨论也逐渐火热起来，但其发展的中途受到很多科学家对其的质疑[19]。直到 1980年左右, Rumelhert 与他的研究伙伴[20]一起发表了著名的并行分布式处理(Parallel Distributed Processing)方法的工作 , 并且建立了 BP 算法和前向神经网络，从数学上的形式，证明了这种算法的可行性，BP神经网络是一种前馈式的误差逆向传播网络，通过训练集不断缩小输出值与目标值的差值从而达到非线性优化的目的。由此，神经网络的数学原理得到证明，其实在1970年神经网络存在一段低落期，也受到了很多怀疑。但是BP神经网络的兴起与提出，让科学们对于神经网络的态度再次火热起来。21世纪随着深度学习的提出，又掀起了一股关于人工智能的热潮，Deep learning 是在多层感知机的基础上，不断增加隐含层的层数，这上面又出现了一些数学上的问题比如激活函数的梯度弥散问题，但是由于Relu激活函数替代sigmod函数的提出，这些问题逐步得到了解决，深度学习向前发展了一大步。比如IBM的“深蓝”击败世界围棋选手李智石等，但是实际上，“深蓝”在击败李智石时消耗的电量等于一桶油的燃烧的焦耳值，但是李智石仅仅使用了两个馒头的热量战斗。也就是说，这场比赛其实并不公平。其实这反应的是人工智能的工作效率与真正人脑的学习效率仍然有很大的差距。神经网络本质是由多个简单的信号处理单元组成，这些简单的信号单元之间由一种方式连接形成网络，它意在模仿人类大脑处理信息的模式，从而实现图像识别，音像识别，特征提取和记忆等功能。现在计算机能够从软件上对神经网络进行实现，然而关于数据的存取方式仍然无法得到突破，数据的存取方式仍然是老式冯-诺依曼式的串行处理方式。但是人类识别图像，获得信息是并行的。因此硬件神经网络的开发是必要的，硬件神经网络能够使用集成电路实现并行处理信息，并且能耗低，效率高，能够更贴近人类大脑的工作方式。因此硬件神经网络的开发受到很多的关注与研究，未来人工智能和类脑计算的发展前景中，硬件神经网络的研究是必须的。

[ANNOTATION:

BY wenhuang

ON 2019-05-23T09:23:00w

NOTE: 这部分放到前言部分比较好，或者干脆就不要了，放在这里是不合适的。]本文的第一章即绪论，主要是阐述当前关于硬件化神经网络的突破，现状与发展形势。

第二章主要从人类的神经元开始，讲述人类生物神经元的特点，讲述现在人工神经元的数学模型，以及硬件化神经元需要的要求与方式

第三章主要讲述制备实验器件的技术路线，与制备的过程和使用的材料

第四章从数值模拟的角度，探究神经元硬件化的条件是怎么样的，数值模拟选取MNIST数据集作为样本数据集，通过使用实验得到的激活函数替代理论激活函数，观察网络的准确率，得出相关结论，探究硬件需要满足的条件

第五章从数值模拟的角度，探究突触硬件需要满足的条件，突触与神经元不同，它是作为神经网络中存储权值，改变权值的存在，与神经元有本质上的区别，数值模拟采用26个英文字母的图片作为数据集，进行编码后发送脉冲，使用Tempotron 的有监督脉冲神经网络进行数值模拟，通过实验硬件得到的LTP与LTD图像进行权值更新。得到预测率的图像，证明了LTP的电或者光电器件能够作为脉冲神经网络硬件化的一个器件，为未来做出相关硬件网络道出了一种可行性。

第六章主要是针对STDP的学习机制扩大网络规模，将数据集扩展到MNIST手写数据集，使用STDP无监督学习网络[16]对数据进行训练，之后再对训练好的神经元进行分类。得到我们想要的结果。

第七章主要是总结本文的工作得到的结论，以及对于未来硬件神经网络的发展的一些展望与看法

1.1.2 硬件神经网络的实现

一般硬件神经网络的实现方式有三种，即采用电子学方法——依靠微电子技术实现人工神经网络, 采用光电方法——依靠半导体光电集成技术实现人工神经网络, 采用光学方法实现人工神经网络[18]。微电子技术应该是通过各种电路设计，例如放大电路，差分电路等集成电路，实现神经网络的reference部分。依靠光电实现的硬件神经网络是本文的重点，利用电学元器件，忆阻器器件，或者是光电器件，模拟生物神经元的膜电位变化曲线，与人类大脑的权重学习规则，从而实现神经网络的硬件化。采用光学的方法实现网络计算的方法十分有趣，UCLA大学的研究小组发明了一种全光的深层神经网络，通过光的反射与折射传递信号，利用光入射的相位差记录权值变化，实现了全光的神经网络，而且由于光的传播速度是光速，在整个网络的效率与速度上都十分惊人，能耗也十分低[21]。神经网络的电子学硬件实现方法主要有四种，其中分别是数字实现、模拟实现、混合数/模实现和脉冲技术实现等[18]。通过数字实现的神经网络一般精度很高[1,2]，权值易存储也容易改变，并且能够通过电路实现并行处理，克服传统计算机串行处理数据的弊病，但是缺点是电路难以集成，体积很大，很难适用于计算机新型芯片这种地方。通过模拟实现的神经网络能够很好克服上面的缺点[3,4,5]，但是由于突触和神经元器件对参数敏感，准确度下降，更关键是对于权值的存储存在困难。1987年是一个转机，即脉冲技术第一次用于了神经网络，使用VLSI技术作为实现，从这以后，神经网络的脉冲技术受到了很多关注[9,12]。

脉冲技术，简单来说就是将神经元的兴奋或者抑制状态通过一定的编码方式转化到脉冲的波形上，编码的方法一般有高斯编码，或者可以自定义的编码方式。由于脉冲化的信号是离散的，因此一定程度上可以简化运算电路：例如突触电路。神经元与一般的电路元件不同，它本身的密度很高，正如人类神经元的密度很高一样。这种紧密的排列方式使得脉冲信号把芯片和外围设备的接口变得更容易连接。本文正是利用从脉冲神经网络出发，制备出硬件化的元件，通过数值模拟硬件的实际可行性，并且对于未来硬件化神经网络的方向提出一些看法

21.2 硬件神经网络研究进展

当前的人工神经网络存在三种模式，第一种是非学习型神经网络，即网络的前馈过程与权值计算过程全部由软件进行实现，权值是固定不变的，只用神经网络的电路结构完成之后，再与实际电路结构匹配即可。另外一种是on-chip的模式，即前馈过程通过微电子电路进行实现，权值的更新与计算通过计算机实现。还有一种off-chip模式，即是一种全自动的自主性芯片，从神经网络的前馈环节到神经网络的BP算法实现都一并完成。目前的研究状况，我们已经能够熟练通过电路的设计实现非学习神经网络。在on-chip式的人工神经网络上，我们也能通过一定的模拟方式得到实现。现在的当务之急是开发off-chip式的神经网络，使用硬件对权值的存储与改进是必要的。自从20世纪60年代后期引入忆阻器概念以来，由于其简单性和功能相似性，它们被认为是模拟突触装置的最有希望的候选者。2008年，惠普公司公布了基于TiO2的RRAM器件[6]，开拓了RRAM和忆阻器之间联系，做出了一定的应用之后以非易失性存储器件和神经突触晶体管为代表开始成为神经突触器件的基础。但将这些器件用于第二代神经网络（也就是多层感知机）上，取得了一定的成就，现在关于这方法的也在如火如荼的进行着，但是由于第二代神经网络的基础仍然是基于计算机的算力达到的深度，也就是说，加深隐含层的数目提高准确度，知识因为有着强大的计算芯片作为支持。我们需要考虑一种完全类似于人脑思考问题的神经网络与算法，于是脉冲神经网络开始兴起，并且被誉为第三代神经网络，这是一种完全基于人脑计算模式的神经网络，从长程记忆可塑性LTP，时间可塑依赖性STDP等研究的深入，这一网络的硬件化也成为了可能

31.3 从生物神经元到人工神经网络

1.3.1 生物神经元介绍

人的大脑中有超过 1011个神经元，这些神经元之间的连接的突触又大约有10^15个，这些突触使得神经元互相连接，从而构成了复杂多变而又有条不紊的神经网络[7]。这些神经元的单独处理信息的速度并不算很快，但是人类的大脑能够很有效的利用这些神经元并行处理。即大量神经元一起处理一个任务，这有些类似于计算机里的多线程并行操作算法。人类大脑的神经元数目虽然庞大，但是它的能耗低却是特点，我们每日摄入的热量与一些机器的能源是不能够比拟的，然而我们的大脑就能够实现很多计算功能，有数据显示，脑神经系统一个动作每秒消耗的能量比最优秀的处理器能耗小1010个数量级。

人的生物神经元有两个部分，分别是细胞体和突起。具有处理并且整合输入的神经信号，然后传出这些信息的作用。突起有树突和轴突两种。树突相对较短但分枝很多，其作用是接受其他神经元轴突传来的冲动并传给细胞体。轴突长而分枝少，常常出现在轴丘，一般为粗细均匀的细长突起，其作用是接受外来刺激，再由细胞体传出。神经元与神经元之间的连接被称为神经突触，两个神经元之间连接强度或者关联程度体现在突触的连接强度。一般而言神经元有以下的特点[8]：

1）：可塑性：即神经元之间的突触可以连接，也可以取消，连接可以变强，也可以慢慢变弱，方便与人类去适应不同的环境。

2）：兴奋与抑制：神经元受到外界刺激之后，会产生膜内外渗透压的差别从而导致Na+或者Ca2+的流入或者流出，这些离子的迁移会产生动作电位，导致膜电位的上升或者下降，也就对应了人类神经元的兴奋和抑制过程。

3）：学习与遗忘：由于可塑性的存在，当人类在长时间受到同一种刺激的时候，会产生我们的所说的学习功能，而这种功能其实是神经元之间的连接得到了加强，同理，如果我们慢慢遗忘了一些东西，是因为长期不去使用从而神经元之间的连接衰弱了。对应的有LTP,LTD图像来进行表征。

4）：突触的延时和不应期。神经冲动的传递在突触中是需要时间的，一般这个时间是1-150ms。另外，神经元也不会在短时间内接受两次冲动，一般需要间隔一定的时间，这个被称为不应期。

从上面可以看到，想要用神经元器件模拟人类的生物的神经元，一定要从生物本质和特征去进行模拟。本文后面的数值模拟会再把这些特征一一强调一次，从而达到一种仿真的目的。

1.3.2 人工神经元介绍

早在1943 年 McCulloch 和 Pitts 提出了神经元的形式化模型, 神经元可用简单的zha值函数表示，并完成逻辑函数功能[19]。20世纪初期，美国心理学家Willian Jame 提出，一个神经元应该是同时接受来自不同神经元的信号后，由于不同神经元之间的突触连接强度不同，神经元相当于是一个加权和，并且由于兴奋存在一个阈值电压，需要一定的电压值才会fire，因此神经元可以用一个数学模型来勾画，即著名的MP模型。

DOI:10.3389

[17]Qingzhou Wan, Mohammad T.Sharbati, John R.Erickson, Yanhao Du, and Feng Xiong.Emerging Artificial Synaptic Devices for Neuromorphic Computing

[18]陈琼.郑启伦.人工神经网络系统硬件实现的研究进展.[J].电路与系统学报.2000 年 3 月

[19]Cowan J D.Discussion:McCulloch-Pitts and related neural nets from 1943 to 1989[J].Bulletin of Mathematical Biology, 1990, 52(1-2):73-97.

[20]Mcclelland J.Reflections on Cognition and Parallel Distributed Processing[J].1986.

[21]Xing Lin, Yair Rivenson, Nezih T.Yardimci, Muhammed Veli, Yi Luo, Mona Jarrahi and Aydogan Ozcan.All-optical machine learning using diffractive deep neural networks[J].Science.DOI:10.1126.July 26.2018

附 录

代码具体说明请参考https://github.com/zhenghaobaby/graduated_design

作者简历

姓名：郑浩 性别：男 民族：汉族 出生年月：1997-04-11 籍贯：四川成都

教育背景：

2012.09-2015.07 成都七中

2015.09-2019.07 浙江大学攻读材料科学工程学士学位

攻读学位期间发表的学术论文与取得的其他研究成果

已发表论文：

[1]XXXXXXX

[2]XXXX

待发表论文：

[1]XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

[2]XXXX

已授权专利：

[1]XXXXXX

按学术论文发表的时间顺序，列齐本人在攻读学位期间发表或已录用的学术论文清单。其他研究成果可以是申请的专利、获得的奖项及完成的项目等。如果没有，则省略此内容。

中文仿宋，英文Times New Roman体，小四号，不加粗，两端对齐，固定行距20磅，段前0磅，段后0磅，学术论文书写格式同参考文献，“已发表论文”、“待发表论文”、“已授权专利”等字加粗。