「Javardma协议」java rdp 协议

今天给各位分享Javardma协议的知识，其中也会对java rdp 协议进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、Kubernetes与HPC：（1）RDMA网络
• 2、如何开启rdma文件共享
• 3、计算机网络之RDMA技术（一）简介

Kubernetes与HPC：（1）RDMA网络

介绍RDMA网络实现之前，先介绍一下常见的几种网络环境：以太网（ethernet）、IB网（Infiniband）、光纤通道（Fibre Channel）。

以太网设计的初衷是为了实现不同系统的互联，是一种network，优先考虑交融性与分布式；IB主要解决的问题是在一个系统内部把多个设备整合起来，像一台设备一样工作，优先考虑的是高速与低延迟。

目前，大致有三类RDMA网络，分别是Infiniband、RoCE、iWARP。其中，Infiniband是一种专为RDMA设计的网络，从硬件级别保证可靠传输 ， 而RoCE 和 iWARP都是基于以太网的RDMA技术，支持相应的verbs接口。

从图中不难发现，RoCE协议存在RoCEv1和RoCEv2两个版本，主要区别RoCEv1是基于以太网链路层实现的RDMA协议(交换机需要支持PFC等流控技术，在物理层保证可靠传输)，而RoCEv2是以太网TCP/IP协议中UDP层实现。从性能上，很明显Infiniband网络最好，但网卡和交换机是价格也很高，然而RoCEv2和iWARP仅需使用特殊的网卡就可以了，价格也相对便宜很多。

RDMA这种技术以前只能运行在IB网络下，为了将这种技术用在以太网环境下，就逐步发展出了RoCE/iWarp两种协议。

目前来看RoCE比iWarp前景更好，实际使用也更广泛。

DPDK是Intel主导，提供了基于用户态的数据链路层的功能，可以在上面构建出基于用户态的网络栈。

更多细致的差异对比，可以参考 此文

发展出DPDK/RDMA以及多种实现，根本原因在于网络硬件发展很快，而占据主导的TCP协议当初是为了低速网络环境设计的。

要在Kubernetes中使用rdma设备，首先是通过device plugin插件机制，让k8s能够识别和使用rdma设备。其次，rdma网卡基本上都支持SR-IOV技术，利用基于该技术的Kubernetes CNI插件，可以构建出完整的容器网络。

当前支持RDMA的网卡主要是intel与mellanox两个厂家，各自均提供有对应k8s device plugin与SR-IOV网络cni插件。

在HPC场景下，pod之间除了高性能网络之外，也可以有额外的网络，由此引入pod多网卡诉求，intel提供了一种解决方案multus( )，该插件主要通过代理其它cni插件以实现，遵循k8s多网卡规范( )。

利用multus插件，结合常规cni插件与SR-IOV cni插件，即可实现下图所示的pod网络

A Hacker’s Guide to Kubernetes Networking

如何开启rdma文件共享

开启rdma文件共享：但是这个并不局限也是可控的，如果我们进行开发过程中， 就会在内核的库函数文件目录。

InfiniBand(IB)：从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的网卡和交换机。

RDMA过融合以太网(RoCE)：即RDMA over Ethernet, 允许通过以太网执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡必须是支持RoCE的特殊的NIC。

RDMA 的工作过程如下：

1)当一个应用执行RDMA 读或写请求时，不执行任何数据复制.在不需要任何内核内存参与的条件下， RDMA 请求从运行在用户空间中的应用中发送到本地NIC( 网卡)。

2) NIC 读取缓冲的内容，并通过网络传送到远程NIC。

3) 在网络上传输的RDMA 信息包含目标虚拟地址、内存钥匙和数据本身.请求完成既可以完全在用户空间中处理(通过轮询用户级完成排列) ，或者在应用一直睡眠到请求完成时的情况下通过内核内存处理.RDMA 操作使应用可以从一个远程应用的内存中读数据或向这个内存写数据。

计算机网络之RDMA技术（一）简介

姓名：周肇星；学号：22011110028；学院：通信工程学院

部分素材取自

【嵌牛导读】RDMA技术全称远程直接数据存取，就是为了解决网络传输中服务器端数据处理的延迟而产生的。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储器中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理功能。它消除了外部存储器复制和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。本专题将针对RDMA技术进行介绍！

【嵌牛鼻子】计算机网络，高性能网络，RDMA

【嵌牛提问】读完本文，对RDMA技术的概况有所认识了吗？

【嵌牛正文】

InfiniBand specification R1.3, Chapter3, 3.6.1, Page 126【描述零拷贝的优势】

DMA（直接内存访问）是一种能力，允许在计算机主板上的外部设备（PCIe设备）直接把数据发送到内存中去，数据搬运不需要CPU的参与

传统内存访问需要通过CPU进行数据Copy来移动数据，通过CPU将内存中的Buffer1移动到Buffer2中

DMA模式：可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2，而不需要操作系统CPU的参与，大大降低了CPU Copy的开销

在“节点A给节点B发消息”这一传输过程中：

A节点在用户空间中的内存数据，需要经过CPU拷贝到内核空间的缓冲区中，才可以被网卡访问，这期间数据会经过软件实现的TCP/IP协议栈，加上各层头部和校验码。网卡通过DMA拷贝内核中的数据到网卡内部的缓冲区中，进行处理后通过物理链路发送给对端

节点B收到数据后，会进行相反的过程：从网卡内部缓冲区中，将数据通过DMA拷贝到内存内核空间的缓冲区中，然后CPU会通过TCP/IP协议栈对其进行解析，将数据取出来拷贝到用户空间中

RDMA（ Remote Direct Memory Access ）意为远程直接地址访问，通过RDMA，本端节点可以“直接”访问远端节点的内存。所谓直接，指的是可以像访问本地内存一样，绕过传统以太网复杂的TCP/IP网络协议栈读写远端内存，而这个过程对端是不感知的，而且这个读写过程的大部分工作是由硬件而不是软件完成的

在使用了RDMA技术时，两端的CPU几乎不用参与数据传输过程（只参与控制面）：

节点A的网卡直接从内存的用户空间通过DMA拷贝数据到内部存储空间，然后硬件进行各层报文的组装后，通过物理链路发送到对端网卡

节点B的RDMA网卡收到数据后，剥离各层报文头和校验码，通过DMA将数据直接拷贝到用户空间内存中

浅谈 Linux下的零拷贝机制

由于Linux等操作系统将内存划分为用户空间和内核空间，在传统的Socket通信流程中CPU需要多次把数据在内存中来回拷贝。而通过RDMA技术，我们可以直接访问远端已经注册的内存区域

无需处理器处理数据的复制传输，使得不涉及内核介入，因而能够提供高带宽、低延迟通信。用户可以直接通过QP传输内存缓冲区中的数据。此外，R_KeysL_Keys提供的保护消除了操作系统验证数据传输的需要。因此，操作系统可以允许从用户模式发布WQE、绕过操作系统，从而消耗更少的指令周期

从Linux系统上看，除了引导系统的BIN区，整个内存空间主要被分成两个部分：内核空间（Kernel space）、用户空间（User space）。用户空间和内核空间的空间、操作权限以及作用都是不一样的

内核空间是Linux自身使用的内存空间，主要提供给程序调度、内存分配、连接硬件资源等程序逻辑使用

用户空间则是提供给各个进程的主要空间，用户空间不具有访问内核空间资源的权限，因此如果应用程序需要使用到内核空间的资源，则需要通过系统调用来完成：从用户空间切换到内核空间，然后在完成相关操作后再从内核空间切换回用户空间

案例为将系统中磁盘上的文件发送到远端

传统的I/O操作进行了4次用户空间与内核空间的上下文切换，以及4次数据拷贝，其中4次数据拷贝中包括了2次DMA拷贝和2次CPU拷贝

指的是IO（数据）流程可以绕过内核，即在用户层就可以把数据准备好并通知硬件准备发送和接收。避免了系统调用和上下文切换的开销

Cardona_Towards_Hyperscale_High_v1.pdf

因此传统的TCP/IP存在的问题主要是：I/O Bottleneck瓶颈问题

RDMA的分层模型分成两部分"控制通路"和“数据通路”

控制通路需要进入内核态准备通信所需的内存资源，而数据通路指的是实际数据交互过程中的流程

RDMA中SEND-RECV流程：

数据收发绕过了内核并且数据交换过程并不需要CPU参与，报文的组装和解析是由硬件完成的

指的是可以在远端节点CPU不参与通信的情况下（当然要持有访问远端某段内存的“钥匙”才行）对内存进行读写，这实际上是把报文封装和解析放到硬件中做了。而传统的以太网通信，双方CPU都必须参与各层报文的解析，如果数据量大且交互频繁，对CPU来讲将是一笔不小的开销，而这些被占用的CPU计算资源本可以做一些更有价值的工作

异步接口

异步事件：RDMA在I/O操作过程中并不阻塞相关线程，TCP/IP却是阻塞方式

此处所说的阻塞，是指TCP将数据发送到内核缓冲区是阻塞的

消息基于事务（Message based transactions） ，数据被处理为离散消息而不是流，消除了TCP/IP中应用程序将流切割为不同消息/事务的需求

分散/聚合条目：读取多个内存缓冲区的数据，作为一个流发送(聚合)，或接受一个流数据写入到多个内存缓冲区(分散)

RDMA协议

Javardma协议的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于java rdp 协议、Javardma协议的信息别忘了在本站进行查找喔。