360度无死角、近在咫尺的“CNN”训练，是什么样的体验网友：美丽而不真实-量子位
要制作电脑视觉系统，CNN是不可缺少的
但是，卷积、游泳池化、软麦克斯……到底是怎样的姿态，是怎样连接的呢
对着电线空想一下，会有点冷。因此，也有在Unity中完全3D可视化的人。
不仅装模作样，训练的样子也很明显。
例如，epoch（迭代次数）的变化或每个层次在训练期间的变化。
为了便于了解网络细节，用户还可以在其中自由折叠或扩展层次。
例如，在线性放置和网格放置之间转换特征贴图。
输出卷积层的轮廓。
对完全连接层进行边缘绑定等。
可以通过加载TensorFlow检查点来构建这样的视觉效果。
也可以在“Unity”编辑器中设计。
有点像鹅女孩的感觉吗
这个项目最近在社交媒体上也引起了热议
网友发表了以下评论。
“如果在练习中能看到那个样子的话，即使很长时间也能忍耐。”
“寻求开源”
这个项目的作者是来自维也纳的3D特效工程师
他说，之所以创建这样的“CNN”可视化工具，是因为当他自己开始学习神经网络的时候，他感觉很难理解卷积层之间是如何连接的，以及如何与不同类型的层连接的。
该工具的主要功能包括折叠、最大池化和完全连接层可视化显示，以及简化各种机制以实现更清晰的可视化。
也就是说，希望初学者直观地getCNN的要点。
使用“Unity”创建三维网络
在正式开始Unity之前，作者在一个名为Houdini的软件中构建了一个可视化的三维网络原型。
也就是说，先给Unity版的3D网络提供一个构建思路，提前准备实现展示卷积计算方法，特点图表形状，侧绑定效果等问题。
节点编辑器长度为
然后，可以在Unity上构建三维神经网络。
首先，我们需要预先确定神经网络的“形式”。
因为我从来没有使用过“Unity”，所以我学习了着色器和过程几何学。
为着色器开发的语言着色器不能使用着色器的变化。只能通过预定义语义变量在顶点、几何和像素着色器之间传递。
另外，不能任意分配顶点属性，只有位置、颜色、UV等预先定义的属性。（这可能是三维网络无法实时改变颜色的原因之一）
在研究了与实例相关的一些概念之后，作者计划使用几何着色器的方法生成神经网络连接。起点和终点传递给顶点着色器，并直接传递给几何着色器。
这些线最多可以由120个顶点组成。这是因为根据Unity，变量的标量浮点数为1024。
设计的网络形式如下
然后，通过模型的TensorFlow代码生成相应的三维神经网络图像。
其中Tensorflow-native.ckpt格式的文件存储了重建模型地图所需的数据、二进制加权读取和激活值以及特定层的名称。
例如，对于cifar10-greyscale数据集，必须创建检查点文件并设置可以立即初始化的权重。
然后，您必须加载这些检查点文件，启动TensorFlow会话，输入一个示例培训，并查询每个层次的激活函数。
创建json文件，保存每个层的形状、名称、权重和活动函数以便于阅读。然后，使用权重值将颜色数据分配给各层的Unity网格。
最终我们得到了一个很好的结果
作者的开发视频也被录制了，文末可以知道地址。
有很多研究
事实上，神经网络可视化的研究一直以来都是由一些研究人员进行的。
例如，去年5月，中国博士将卷积神经网络可视化，将每个层次的变化可视化，只需点击相应的神经网络就能看到“操作”。
这是tensorflow.js加载的10层预训练模型，可以在浏览器上运行“CNN”模型。
话虽如此，这还是一个二维项目。
正如上面的神经网络模型一样，它创建了一个三维视觉神经网络。
该项目也采用边绑定、光线跟踪等技术进行特征提取、微调、归一化，使神经网络可视化。
该项目旨在利用这些技术来估计神经网络各个部分的重要性。
为此，作者用不同的颜色显示神经网络的各部分，从网络中节点和节点的重要性预测了关联性。
大致的步骤是这样的
对这样的3D神经网络可视化感兴趣的人，最好找到与句末对应的开源项目的地址。
作者介绍
斯特凡西森（Stefan Sietzen）住在维也纳，以前是3D视觉的自由职业者。
现在他在维也纳理工学院攻读硕士学位，对视觉计算很感兴趣，这个三维神经网络是他在硕士课程中所做的项目之一
开发过程：https：//vimeo.com/stefsietz
开放神经网络事业3d：https：//github.com/julrog/nn_vis
引用：https：//www.reddit.com/r/MachineLearning/comments/leq2kf/d_convolution_neural_network_visualization_made/https：//mp.weixin.qq.com/s/tmx59j75wurii4ruot8ttghttps：//vimeo.com/stefsietzhttp：//portfolio.stefansietzen.at/http：//visuality.at/vis2/detail.html是的