• 基于SNN脉冲神经网络的Hebbian学习训练过程matlab仿真

    目录

    一、理论基础

    二、案例背景

    1.问题描述

    2.思路流程

    三、部分MATLAB仿真

    四、仿真结论分析

    五、参考文献

    一、理论基础

            近年来，深度学习彻底改变了机器学习领域，尤其是计算机视觉。在这种方法中，使用反向传播以监督的方式训练深层（多层）人工神经网络（ANN）。虽然需要大量带标签的训练样本，但是最终的分类准确性确实令人印象深刻，有时甚至胜过人类。人工神经网络中的神经元的特征在于单个、静态、连续值的激活。然而生物神经元使用离散的脉冲来计算和传输信息，并且除了脉冲发放率外，脉冲时间也很重要。因此脉冲神经网络（SNN）在生物学上比ANN更现实，并且如果有人想了解大脑的计算方式，它无疑是唯一可行的选择。 SNN也比ANN更具硬件友好性和能源效率，因此对技术，尤其是便携式设备具有吸引力。但是训练深度SNN仍然是一个挑战。脉冲神经元的传递函数通常是不可微的，从而阻止了反向传播。在这里，我们回顾了用于训练深度SNN的最新监督和无监督方法，并在准确性、计算成本和硬件友好性方面进行了比较。目前的情况是，SNN在准确性方面仍落后于ANN，但差距正在缩小，甚至在某些任务上可能消失，而SNN通常只需要更少的操作。

           SNN中的无监督学习通常将STDP纳入学习机制。生物STDP的最常见形式具有非常直观的解释。如果突触前神经元在突触后神经元之前不久触发（大约10毫秒），则连接它们的权重会增加。如果突触后神经元在突触后神经元后不久触发，则时间事件之间的因果关系是虚假的，权重会减弱。增强称为长时程增强（LTP），减弱称为长时程抑制（LTD）。短语“长时程”用于区分实验中观察到的几毫秒范围内的非常短暂的影响。

          下面的公式是通过拟合实验数据对一对脉冲进行了实验上最常见的STDP规则的理想化。
         

           以上公式中的第一种情况描述LTP，而第二种情况描述LTD。效果的强度由衰减指数调制，衰减指数的大小由突触前和突触后脉冲之间的时间常数比例时间差控制。人工SNN很少使用此确切规则。他们通常使用变体，以实现更多的简单性或满足便利的数学特性。

    二、案例背景

    1.问题描述

            SNN神经网络的学习方法也不是很好，作为传统的基于速率的网络而发展，使用反向传播学习算法。使用高效的Hebbian学习方法：棘突神经元网络的稳态。类似于STDP，尖峰之间的计时用于突触修饰。内稳态确保了突触权重是有界的学习是稳定的。赢家通吃机制也很重要实施以促进输出之间的竞争性学习神经元。我们已经在一个C++对象中实现了这个方法面向对象的代码（称为CSpike）。我们已经在四个服务器上测试了代码Gabor滤波器的图像，并发现钟形调谐曲线使用不同类型的Gabor滤波器的36个测试集图像方向。这些钟形曲线与这些曲线相似实验上观察到的V1和MT/V5区域哺乳动物的大脑。

    2.思路流程

    SNN即目前的最新的第三代神经网络，具体的仿真步骤如下所示：

     

    三、部分MATLAB仿真

    matlab仿真程序如下所示：

    1. clc;
    2. clear;
    3. close all;
    4. warning off;
    5. addpath 'func\'
    6. RandStream.setDefaultStream(RandStream('mt19937ar','seed',1));
    7.  
    8. %%
    9. load Character\Character_set.mat
    10. %显示论文fig1. character set used
    11. func_view_character;
    12. %**************************************************************************
    13.  
    14. %%
    15. %显示论文fig2. Representation of 'A'
    16. A_Line = Representation_Character(A_ch);
    17. figure;
    18. stem(1:5*3,A_Line,'LineWidth',2);
    19. hold on
    20. stairs(1:5*3,A_Line,'r');
    21. axis([0,5*3+1,-0.25,1.25]);
    22. title('Fig.2. Representation of A');
    23. %**************************************************************************
    24.  
    25. %%  以下是程序的第一部分，即4个字符的仿真
    26. %建立SNN神经网络模型
    27. Rm       = 80;
    28. theta    = 10; %10mv
    29. rs       = 2;  %2ms
    30. rm       = 30; %30ms
    31. rmin     = 2;  %2ms
    32. rmax     = 30; %30ms;
    33. lin      = 0.3;
    34. lin_dec  = 0.05;
    35. A1       = 0.1;
    36. A2       =-0.105;
    37. r1       = 1;    %1ms
    38. r2       = 1;    %1ms
    39. tstep    = 0.2;  %0.2ms;
    40. times    = 200;  %训练次数
    41. error    = 1e-3;%训练目标误差
    42. vth      = 7; 
    43. %通过神经网络对A,B,C,D进行训练识别
    44. %对应论文fig.3. Output when each character is presented individually
    45. %随机产生初始的权值wij
    46. N_in        = 15;
    47. w_initial   = 0.5+0.5*rand(N_in,4);
    48. for i = 1:times
    49.     w{i} = w_initial;
    50. end
    51. w0          = w_initial;
    52. dew         = 0;
    53. wmax        = 0;
    54. wmin        = 0;
    55. det         = zeros(N_in,4);  
    56. tpre        = 300*ones(N_in,times);  
    57. tpost       = 301*ones(N_in,times);  
    58. Time2       = 4000;
    59. dt          = 0.05;
    60. STIME       = 24;
    61.  
    62.  
    63. %%
    64. %字符转换为电平
    65. A_Line  = Representation_Character(A_ch);
    66. B_Line  = Representation_Character(B_ch);
    67. C_Line  = Representation_Character(C_ch);
    68. D_Line  = Representation_Character(D_ch);
    69. Lines   = [A_Line B_Line C_Line D_Line];
    70.  
    71. for num = 1:4
    72.     Dat = Lines(:,num);
    73.     for ij = 1:1
    74.         for i = 1:times
    75.             w{i} = w_initial;
    76.         end    
    77.  
    78.         ind = 0;
    79.         for i = 1:times
    80.             i
    81.             ind = ind + 1;
    82.  
    83.             %计算rd
    84.             for n1 = 1:N_in
    85.                 rd(n1) = rmax - abs(w{i}(n1))*(rmax - rmin);
    86.             end    
    87.  
    88.             %计算Rd  
    89.             for n1 = 1:N_in 
    90.                 Rd(n1) = (rd(n1)*theta/Rm) * (rm/rd(n1))^(rm/(rm-rd(n1)));
    91.             end
    92.  
    93.             %计算delta t
    94.             for n1 = 1:N_in 
    95.                 if Dat(n1) == 1
    96.                    det(n1) =   tpre(n1,i) - tpost(n1,i);
    97.                 else
    98.                    det(n1) = -(tpre(n1,i) - tpost(n1,i));
    99.                 end
    100.             end
    101.  
    102.             %计算delta w
    103.             for n1 = 1:N_in
    104.                 if det(n1) <= 0
    105.                    dew(n1) = A1*exp( det(n1)/r1);
    106.                 else
    107.                    dew(n1) = A2*exp(-det(n1)/r2);  
    108.                 end
    109.                 if  i > 1
    110.                  %计算权值更新                 
    111.                     if dew(n1) > 0
    112.                        w{i}(n1) = w{i-1}(n1) + lin*dew(n1)*(w{i-1}(n1));
    113.                     else
    114.                        w{i}(n1) = w{i-1}(n1) + lin*dew(n1)*(w{i-1}(n1));    
    115.                     end                       
    116.                 end
    117.             end   
    118.  
    119.             %计算Id
    120.             for n1 = 1:N_in
    121.                 Id{n1} = func_Id(Rd(n1),rd(n1),w{i}(n1),Dat(n1),Time2,dt,tpre(n1,i));
    122.             end
    123.  
    124.             %计算Is
    125.             Is = func_Is(N_in,rs,w{i},Dat,Time2,dt,tpre(n1,i));
    126.  
    127.             %计算u
    128.             Um = func_um(N_in,w{i},Rm,Id,Is,rm,Time2,dt,Dat,tpre(n1,i),vth); 
    129.  
    130.             %计算训练误差
    131.             if  i > 1
    132.                 err2(ind-1) = abs(norm(w{i}/max(w{i})) - norm(w{i-1}/max(w{i-1})));
    133.                 if abs(norm(w{i}/max(w{i}) - norm(w{i-1}/max(w{i-1})))) <= error
    134.                    break;
    135.                 end     
    136.             end
    137.         end
    138.     end
    139.     Ws(:,num) = w{end}/max(w{end});
    140.     clear Is Id Um w
    141. end
    142.  
    143. %%
    144. %训练完之后进行测试
    145. %A测试
    146. %A测试
    147. UmA       = [];
    148. for ij = 1:STIME
    149.     ij
    150.     for j = 1:4
    151.         ind = 0;
    152.         ind = ind + 1;
    153.         %计算Id
    154.         for n1 = 1:N_in
    155.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,1),Lines(n1,j),Time2,dt,tpre(n1,j));
    156.         end
    157.         %计算Is
    158.         Is{j} = func_Is(N_in,rs,Ws(:,1),Lines(:,j),Time2,dt,tpre(n1,j));
    159.         %计算u
    160.         Um(j,:) = func_um(N_in,Ws(:,1),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
    161.     end
    162.     UmA  = [UmA,Um];
    163. end 
    164. figure;
    165. plot(1:Time2*STIME,UmA(1,:),'r');
    166. hold on
    167. plot(1:Time2*STIME,UmA(2,:),'g');
    168. hold on
    169. plot(1:Time2*STIME,UmA(3,:),'b');
    170. hold on
    171. plot(1:Time2*STIME,UmA(4,:),'c');
    172. hold off
    173. legend('Neuron1','Neuron2','Neuron3','Neuron4');
    174. axis([1,Time2*STIME,0,30]);
    175. clear Id Is Um w
    176.  
    177. %B测试
    178. %B测试
    179. UmB       = [];
    180. for ij = 1:STIME
    181.     ij
    182.     for j = 1:4
    183.         ind = 0;
    184.         ind = ind + 1;
    185.         %计算Id
    186.         for n1 = 1:N_in
    187.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,2),Lines(n1,j),Time2,dt,tpre(n1,j));
    188.         end
    189.         %计算Is
    190.         Is{j} = func_Is(N_in,rs,Ws(:,2),Lines(:,j),Time2,dt,tpre(n1,j));
    191.         %计算u
    192.         Um(j,:) = func_um(N_in,Ws(:,2),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
    193.     end
    194.     UmB  = [UmB,Um];
    195. end 
    196. figure;
    197. plot(1:Time2*STIME,UmB(1,:),'r');
    198. hold on
    199. plot(1:Time2*STIME,UmB(2,:),'g');
    200. hold on
    201. plot(1:Time2*STIME,UmB(3,:),'b');
    202. hold on
    203. plot(1:Time2*STIME,UmB(4,:),'c');
    204. hold off
    205. legend('Neuron1','Neuron2','Neuron3','Neuron4');
    206. axis([1,Time2*STIME,0,30]);
    207. clear Id Is Um w
    208.  
    209. %C测试
    210. %C测试
    211. UmC       = [];
    212. for ij = 1:STIME
    213.     ij
    214.     for j = 1:4
    215.         ind = 0;
    216.         ind = ind + 1;
    217.         %计算Id
    218.         for n1 = 1:N_in
    219.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,3),Lines(n1,j),Time2,dt,tpre(n1,j));
    220.         end
    221.         %计算Is
    222.         Is{j} = func_Is(N_in,rs,Ws(:,3),Lines(:,j),Time2,dt,tpre(n1,j));
    223.         %计算u
    224.         Um(j,:) = func_um(N_in,Ws(:,3),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
    225.     end
    226.     UmC  = [UmC,Um];
    227. end 
    228.  
    229. figure;
    230. plot(1:Time2*STIME,UmC(1,:),'r');
    231. hold on
    232. plot(1:Time2*STIME,UmC(2,:),'g');
    233. hold on
    234. plot(1:Time2*STIME,UmC(3,:),'b');
    235. hold on
    236. plot(1:Time2*STIME,UmC(4,:),'c');
    237. hold off
    238. legend('Neuron1','Neuron2','Neuron3','Neuron4');
    239. axis([1,Time2*STIME,0,30]);
    240. clear Id Is Um w
    241.  
    242. %D测试
    243. %D测试
    244. UmD       = [];
    245. for ij = 1:STIME
    246.     ij
    247.     for j = 1:4
    248.         ind = 0;
    249.         ind = ind + 1;
    250.         %计算Id
    251.         for n1 = 1:N_in
    252.             Id{n1} = func_Id(Rd(n1),rd(n1),Ws(n1,4),Lines(n1,j),Time2,dt,tpre(n1,j));
    253.         end
    254.         %计算Is
    255.         Is{j} = func_Is(N_in,rs,Ws(:,4),Lines(:,j),Time2,dt,tpre(n1,j));
    256.         %计算u
    257.         Um(j,:) = func_um(N_in,Ws(:,4),Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
    258.     end
    259.     UmD  = [UmD,Um];
    260. end 
    261.  
    262. figure;
    263. plot(1:Time2*STIME,UmD(1,:),'r');
    264. hold on
    265. plot(1:Time2*STIME,UmD(2,:),'g');
    266. hold on
    267. plot(1:Time2*STIME,UmD(3,:),'b');
    268. hold on
    269. plot(1:Time2*STIME,UmD(4,:),'c');
    270. hold off
    271. legend('Neuron1','Neuron2','Neuron3','Neuron4');
    272. axis([1,Time2*STIME,0,30]);
    273. clear Id Is Um w
    274.  
    275. %连续码流测试
    276. %连续码流测试
    277. Umss       = [];
    278. for ij = 1:STIME
    279.     ij
    280.     if ij>=1 &ij <= 2
    281.        W =  Ws(:,3); 
    282.     end
    283.     if ij>=3 &ij <= 5
    284.        W =  Ws(:,4); 
    285.     end    
    286.     if ij>=6 &ij <= 8
    287.        W =  Ws(:,1); 
    288.     end    
    289.     if ij>=9 &ij <= 12
    290.        W =  Ws(:,3); 
    291.     end       
    292.     if ij>=13 &ij <= 15
    293.        W =  Ws(:,1); 
    294.     end      
    295.     if ij>=16 &ij <= 18
    296.        W =  Ws(:,2); 
    297.     end      
    298.     if ij>=19 &ij <= 21
    299.        W =  Ws(:,3); 
    300.     end     
    301.     if ij>=22 &ij <= 24
    302.        W =  Ws(:,4); 
    303.     end      
    304.     for j = 1:4
    305.         ind = 0;
    306.         ind = ind + 1;
    307.         %计算Id
    308.         for n1 = 1:N_in
    309.             Id{n1} = func_Id(Rd(n1),rd(n1),W(n1),Lines(n1,j),Time2,dt,tpre(n1,j));
    310.         end
    311.         %计算Is
    312.         Is{j} = func_Is(N_in,rs,W,Lines(:,j),Time2,dt,tpre(n1,j));
    313.         %计算u
    314.         Um(j,:) = func_um(N_in,W,Rm,Id,Is{j},rm,Time2,dt,Lines(:,j),tpre(n1,j),vth);
    315.     end
    316.     Umss  = [Umss,Um];
    317. end 
    318.  
    319. figure;
    320. plot(1:Time2*STIME,Umss(1,:),'r');
    321. hold on
    322. plot(1:Time2*STIME,Umss(2,:),'g');
    323. hold on
    324. plot(1:Time2*STIME,Umss(3,:),'b');
    325. hold on
    326. plot(1:Time2*STIME,Umss(4,:),'c');
    327. hold off
    328. legend('Neuron1','Neuron2','Neuron3','Neuron4');
    329. axis([1,Time2*STIME,0,30]);
    330. clear Id Is Um w
    331.  
    332. %%
    333. %Fig.5.Weight distribution
    334. figure;
    335. subplot(121);
    336. bar3(w0(1:15,:),0.8,'r');hold on
    337. bar3(w0(1:12,:),0.8,'y');hold on
    338. bar3(w0(1:9,:) ,0.8,'g');hold on
    339. bar3(w0(1:6,:) ,0.8,'c');hold on
    340. bar3(w0(1:3,:) ,0.8,'b');hold on
    341. xlabel('Output Neruon');
    342. ylabel('Input Neruon');
    343. zlabel('Weight');
    344. title('Before training');
    345. axis([0,5,0,16,0,1.3]);
    346. view([-126,36]);
    347.  
    348. subplot(122);
    349. bar3(Ws(1:15,:),0.8,'r');hold on
    350. bar3(Ws(1:12,:),0.8,'y');hold on
    351. bar3(Ws(1:9,:) ,0.8,'g');hold on
    352. bar3(Ws(1:6,:) ,0.8,'c');hold on
    353. bar3(Ws(1:3,:) ,0.8,'b');hold on
    354. xlabel('Output Neruon');
    355. ylabel('Input Neruon');
    356. zlabel('Weight');
    357. title('After training');
    358. axis([0,5,0,16,0,1.3]);
    359. view([-126,36]);

    四、仿真结论分析

         将SNN进行仿真，并得到类似论文中的仿真效果，具体的仿真结果如下图所示：

     

     

    上述就是实际的仿真效果图。

    五、参考文献

    [1] Gupta A ,  Long L N . Hebbian learning with winner take all for spiking neural networks[C]// International Joint Conference on Neural Networks. IEEE, 2009.A05-12

  • 相关阅读:
    MySQL学习笔记：索引2
    如何在一个pycharm项目中创建jupyter notebook文件，并切换到conda环境中
    java开放式实验室预约系统计算机毕业设计MyBatis+系统+LW文档+源码+调试部署
    【STM32单片机】贪吃蛇游戏设计
    Wonderware 实时库——一套可落地的传统工业实时库
    SpringBoot定时任务 - 什么是ElasticJob？如何集成ElasticJob实现分布式任务调度？
    做软件测试三年，薪资不到20K，今天，我提出了辞职…
    【CV】第 15 章：结合计算机视觉和 NLP 技术
    Ajax进阶
    接口测试--Postman变量
  • 原文地址：https://blog.csdn.net/ccsss22/article/details/126313976