数据存储2：基本硬件组成。

哈喽大家好，我是风吹日晒又黑又菜的中点。今天来到了大模型AI集群里面专门讲存储的，看一下存储的硬件的发展还有存储的连接的方式，特别是在AI集群里面。

回到整个大模型的业务群流程，现在围绕着集群算力的准备在建设里面，主要的在存储具体的内容里面。接着回顾一下在整个课程里面，现在来到了真正的来到了第一个内容，就是存储的现状和具体的场景。存储的现状肯定要去了解一下存储的硬件的类型的具体的发展。

现在马上的来到第一个内容就是存储的介质，在存储的介质这里面实际上分为磁带、光盘、机械硬盘还有固态硬盘。当然这里面没有没举完，所有包括dmsm还有fresh这些将会在后面一一介绍。

现在正式的进入到第一个内容，数据存储的硬件。也就是所谓的真正的硬件了。

在整个存储硬件的组织形态里面往上看一下，这是一个到金字塔或者金字塔，往下容量越来越大，速度更慢了，但是价格更便宜。往上走了容量更少了，速度更快，但是价格也相当的贵。在缓存里面大部分的时候叫它叫做cash，这些cash主要是一级二级三级的cash，cash主要是由svm来去组成的。

什么是svm？在后面讲过去介绍，而组成大部分由dvm去组成的。再往下了就是各种各样的fresh了，包括现在用的非常火的固态硬盘ssd，实际上是由fresh not fresh来去组成的。

而在机械键盘里面的hdd就不再谈了，更多的在大模型里面用的最多的主要是上面这几种，特别是片内的存储和片外的存储，大部分都围绕着上面的这一块来去做的，而且容量越大了，每个单位存储的价格确实是越便宜的，但是延迟肯定会增加。

既然谈到刚才的l1、l2、l3的cash，cash实际上叫做高速缓存存储器，右边的就是英伟达的图，在英伟达的整体加工里面其实。

·HBM是分为多级的，它主要是介于CP或者GPU里面存储之间的一个高速的小容量的存储器。

·六日里面有一个L2的HDMI，还有AE的HDMI，最后还有一个register的寄存器。这些都是由SRAM拿去组成的，容量小，但是会比组成DVM技术更快，传输的速度更快。

捉迷老师你好，我想问一下为什么要引入11、12、13这种这么多级的HDMI？小新这个问题问的非常好，实际上CP或者GPU往往需要重复的从HBM或者DDR里面重复的去读取相同的数据块。这个时候引入了HDMI和增加HDMI的缓存的内容可以大幅的提升CP或者GPU里面读取数据的命中率，从而提升整个系统的性能的效率。这个就是多级缓存的原因。

·接下来来到了第一个内容，看DVM跟SRAM动态随机存储和static静态随机存储。这个具体的内容很多名词，搞不清楚没关系，后面将会把所有的目录数给出来，大家看看在什么位置就可以了。

现在来到了第一个内容NAND Flash，NAND Flash就是动态的随机存储，整个NAND Flash向右边的图所示有很多个重复的未单元，也就是必须要左边的图来组成。每一个基本单元由一个电容，也就是这里面的storage capacit里面的电容和一个晶体管，全sixt晶体管来组成的，在电容里面就会存储电和量，用零和一来去表示。

而晶体管是用来控制电容的充放电的，了解过半导体都知道其实电容会存在漏电的情况，所以为了避免丢失这些低塔数据，所以必须在数据改变或者断电之前，在一个定周期的时间内动态去给整个电容去充电，保持整体的电视，所以NAND Flash又称为动态随机存储这么一个概念。

接着来看一看NAND Flash的具体的应用场景，实际上。

NAND作为PC移动手机里面的内存的主流的方案，现在经常看到PC里面有很多内存调教，DDR还有早期的显卡，现在显卡都用HBM了，早期的显卡用GDDR，这种其实都是DN里面的一种具体的协议的实现。

有了DDR之后肯定要看看SSD vs HDD固态的随机存储，实际上SSD vs HDD是用来做一个读写的微线的控制开关，也就是bit nine左边左下角跟右下角的距离的开关，长升管就构成一个触发器，通电的时候就锁住二进制的数据零和一，因此又称为固态硬盘。因为它是用一个长相馆来做一个数字的记录的，所以它不需要定期的刷新。整体的性能就是响应的速度非常快，但是功耗很大，机长度很低，而且价格比较昂贵。

现在主要用于cpu和gpu的偏类的主要的款存或者辅助款存来去使用的。既然谈到看，选择缓存或者hpn dm。

现在来看看另外一个概念就是bandwifememory高带宽的存储器，在gpu里面会经常看到的。先看看下面的这个图，下面是hbm的逻辑架构图，整体hbm是由dvm，这里面看到dvm的代由dm的心力进行堆叠的加构去堆上去的，在硬件上面大幅的提升了每个dm的存储堆叠的容量和它的微宽，从而提高了非常强大的传输的速率。

具体来说它主要是由多层的dm可以看到，这里面的视力图一共有四层，通过一个硅通孔也就是这里面的绿色的这些模块tsv和v to点也就是micro pump连接在一起，把多个地面连接在一起从而形成一个存储的对战。

多个存储的对战和逻辑芯片也就是这里面左边的存储对战跟右边的逻辑芯片通过中间的一个硅胶，也就是中间灰色的这一层interposer，它是一个中间的硅胶制成封装在一起。所以很多时候hbm跟gpu是连在一款芯片里面的。

到了一点三，第三个内容fish，散存它不是闪电侠，fish的内容主要是分开两个，一个是notfish，一个是notfish。notface主要是用来执行片上程序的，notface主要是用来在大容量存储的场景的。后面会讲开notface，notface具体在什么场景里面去用了。

现在来看一下它们的优缺点。notfish的优点比较明确，它有非常好的读写性能和随机的访问的性能，得到非常广泛的应用，特别是在mcu领域或者bios里面。缺点就是单片的容量比较少，而且写入的速度比较慢，这个决定了它的整个应用场景范围还是比较窄的。

第二个就是notfish，主要是在它的优点加优秀的读写性能就读写的非常快，而且它的存储容量比较大，在一些比较大的容量存储里面非常得到非常广泛的应用了。后面讲到的ssd都是notfish的。

接着打开看一看notifice，因为notifice用的特别的多了，notifice不展开讲了，因为notifice确实跟ai相关性不太大，主要是聚焦讲ai系统，litifice的整体应能，它最核心的一个就是中间的一层浮三层，叫做fruitinggate一个晶体管。

数据其实是这里面这些电客，这些电客或者所谓的数据，在fashion内存单元里面是以电客的形式来去存储的。存储的电耗有多少？决定于下面这个控制器叫做ctrl k的被私家的电压，假设是二十伏的电压，那它控制的就是下面存储单元中充入电子还是释放电子。

而释放电子在称底再加上相同的电压就可以释放掉电子了，所以数据的读和写就是这么通过控制电荷来去形成的。随着半陶底的技术的发展，一开始是用floating gate晶体管的，后来发展到ct晶体管之后电荷存储在ct绝缘体上面电荷更不容易被丢失。

有了cd经理馆之后整个let's fish整体的一次性效率确实是发挥的淋漓尽致，确实现在非常好。后来现在来看一下左边的图中间的小框框或者小边角形就表示刚才office最小的单元。

实际上整个fresh是由一个非常多的刚才讲到的写经济款组组成的，而整体的3d not fresh是通过3d的对应的方式进一步提高了整个可用的存储的密度的。通过3d堆叠的方式主要优点就是降低每个字节的成本，在芯片的每单位面积上能够封装更多的beast。

不过缺点也比较明显，制造工艺复杂了，存储密度高了成本不就增加了吗？解完not fish的具体的原理之后简单了解，不是深入的了解，如果有兴趣的同时也可以打开set。

现在看一下fresh的具体的应用场景，实际上not fish主要是占了现在来说对于ai占了一个绝对的主导地位的。例如手机里面的一个非常大的内存，e t 的固态硬盘现在大部分的s s d都是用not ifice来去组成的，它用来存储一些没那么容易去丢失的一些资料。

所以s s d主要会选择not ish，而not ishe的容量不大，速度也不大，但是好处就是可以支持芯片类的，也就是片类的执行。这个时候就很有意思了，可以在northfest上面去写入系统、程序还有算法。

这个时候像一些公控的场景，例如mcu或者系统的boss这些就可以很好的去用not fast去组成，而没有需要去用到ram，直接不用ram直接用一个not fish就搞定了。

现在的t w s耳机也就是经常用到的无线的蓝牙耳机，主要是用not fish来去组成的，里面没有ramp。最后在整个存储的介字里面来看一下它具体的分类。存储的介字其实刚才讲到的，在ai系统里面用的更多的是一个，半导体的存储，里面分开两个，一个是意识性的存储，另外一个是非意识性的存储，对应的fresh。一次性的存储刚才讲到一个是动态的d变盘，一个是静态的s1，它里面有具体不同的应用场景的。

对于非一次性的存储器用的更多的是fresh memory，里面就分开not fresh和not fresh。整体的存储这些字今天在这里面就介绍完了，卷的不行了，ai系统的全单知识都会分享在这里，欢迎打开和吐槽，给我一键三连，谢谢各位，拜了个拜。