讲座2:神经编码与解码

视频来源：
1、面向类脑视觉的生物视觉编码机制和模型（余肇飞）https://www.bilibili.com/video/BV1rR4y1K7KW/?spm_id_from=333.337.search-card.all.click&vd_source=897075bbdd61e45006d749612d05a2ab

2、基于视觉编解码的深度学习类脑机制研究（何晖光）https://www.bilibili.com/video/BV1tT411j7DD/?spm_id_from=333.337.search-card.all.click&vd_source=897075bbdd61e45006d749612d05a2ab

深度学习vs计算机视觉

深度学习的发展带来计算机视觉、人工智能的热潮
深度学习不能解决CV的瓶颈问题

卷积神经网络受视觉网络的启发而提出

人脑视觉系统比我们想象的更聪明

视网膜解决了很多任务，将解决好的问题发送给大脑。
1、需要压缩信息
2、从场景提取特征，进行分类，减少视觉皮层处理难度

AI与脑科学互相促进，推动AI技术发展的同时加深对大脑工作机制的理解

2013-2019年的CVPR：只要是deep learning的应用就可以发
2019年之后的趋势：视觉的书-视觉机理-结合图像问题（分割，理解）-模型

视觉编解码

编码：一个刺激如何造成一种响应模式？ — 建立机理模型
解码：这些响应传递了什么信息？ — 如何重建大脑在做的事

视觉系统的研究

人类获取信息70%-80%都是来自于视觉

视网膜将外部的光信号转化为脉冲信号的过程，称为视觉编码
视觉皮层将脉冲信号转化的过程，称为解码

意义：中国约有800万盲人，这些盲人大部分的视觉皮层没有问题，视网膜发生了一些损坏。研究视网膜如何将光信号转化为脉冲信号，那么就可以研究一个视网膜假体

目前研究的数据类型：微电极阵列、钙成像，做编码/解码的一些工作

1、视网膜系统辨识：能否根据输入刺激和输出的脉冲序列，推导出视网膜连接结构
2、哪些视网膜组件产生了脉冲，产生了多久的脉冲

研究现状

1、脉冲激发平均法

缺点：只能获取平均的，不能获取每个子单元的信号，也无法获取每个子单元的权重

2、非负矩阵分解
将脉冲激发的图像分解为权重矩阵和模块矩阵

3、基于RNN类网络的视网膜编码模型

存在的困难：1、如何扩展到更复杂的应用场景？2、网络参数量怎么处理

Zheng Y, Jia S, Yu Z, et al. Unraveling neural coding of dynamic natural visual scenes via convolutional recurrent neural networks[J]. Patterns, 2021, 2(10).
Yan Q, Zheng Y, Jia S, et al. Revealing fine structures of the retinal receptive field by deep-learning networks[J]. IEEE transactions on cybernetics, 2020, 52(1): 39-50.
Zhang Y, Bu T, Zhang J, et al. Decoding pixel-level image features from two-photon calcium signals of macaque visual cortex[J]. Neural Computation, 2022, 34(6): 1369-1397.
Zhang Y, Jia S, Zheng Y, et al. Reconstruction of natural visual scenes from neural spikes with deep neural networks[J]. Neural Networks, 2020, 125: 19-30.

CNN 可以实现准确解码，优于目前的fMRI

基于视觉信息编解码的深度学习类脑机制研究

计算机模型怎么判断的？这是个黑盒子。于是就有工作进行解决这个问题
方法1：将每一层可视化出来，观察每一个神经元对哪些输入响应最大

方法2:研究神经网络和大脑之间有什么关系？
使用fMRI绘制出表征相似矩阵，而且CNN也有一个表征矩阵，这两个矩阵之间有什么关系？

随着DL发展，CV难以处理复杂背景下的复杂任务。而人脑可以处理复杂的视觉任务，那么如何将人脑特性融合进CV？

研究类脑的方式：通过编码解码的方式进行研究。
编码：将CNN不同层级的特征作为输入，估计神经元反应
解码：将神经元信号作为输入，预测CNN输出

从外部输入—大脑活动----编码
大脑活动信号----预测图像----解码
解码：建立大脑信号到预测图像的一个逆向工程
涉及到两个空间：图像空间+脑信号空间，但是这两个空间之间的间隔比较大，对此处理的方法是：通过一个特质空间作为桥梁，建立起这两个空间的联系

侵入性：右下
非侵入性：左上

fMRI工作原理

大脑活动是通过神经元放电进行的，直接对大脑放电信号进行测量困难较大，选择氧红血红蛋白测量，是间接反应大脑活动的一种数据模态

如何评价DNN和大脑之间的关系

将三个分数结合，并且对主流网络进行了一个评估