「java数组mmap」Java数组去重
本篇文章给大家谈谈java数组mmap，以及Java数组去重对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。
本文目录一览：
java中为什么要用ByteBuffer代替byte操作字节数据
Java堆里的：HeapByteBuffer - 由byte[]存储实际数据
Java堆外的（native memory里的）：DirectByteBuffer - 由 malloc() / mmap() 等申请出来的空间存储实际数据
所以如果针对byte[]来编程，就只能操作Java堆内的数据；而如果针对ByteBuffer接口来编程，就自然地可以操作Java堆内与堆外的数据，而不必关心具体底下的数据存哪里。
java 多进程并发控制怎么做?
进程间的通讯无非就是读写文件，socket通讯或者使用共享内存。 你不想用读写文件的方式，那就用共享内存或者socket通讯的方式。我个人觉得用socket比较简单，也许是因为我对socket比较熟悉。 下面是一篇java实现共享内存的文章，java没法管理内存，其实他也是靠创建映像文件来实现的。 共享内存在java中的实现 在jdk1.4中提供的类MappedByteBuffer为我们实现共享内存提供了较好的方法。该缓冲区实际上是一个磁盘文件的内存映像。二者的变化将保持同步，即内存数据发生变化会立刻反映到磁盘文件中，这样会有效的保证共享内存的实现。 将共享内存和磁盘文件建立联系的是文件通道类：FileChannel。该类的加入是JDK为了统一对外部设备（文件、网络接口等）的访问方法，并且加强了多线程对同一文件进行存取的安全性。例如读写操作统一成read和write。这里只是用它来建立共享内存用，它建立了共享内存和磁盘文件之间的一个通道。 打开一个文件建立一个文件通道可以用RandomAccessFile类中的方法getChannel。该方法将直接返回一个文件通道。该文件通道由于对应的文件设为随机存取文件，一方面可以进行读写两种操作，另一方面使用它不会破坏映像文件的内容（如果用FileOutputStream直接打开一个映像文件会将该文件的大小置为0，当然数据会全部丢失）。这里，如果用 FileOutputStream和FileInputStream则不能理想的实现共享内存的要求，因为这两个类同时实现自由的读写操作要困难得多。 下面的代码实现了如上功能，它的作用类似UNIX系统中的mmap函数。 // 获得一个只读的随机存取文件对象 RandomAccessFile RAFile = new RandomAccessFile(filename,"r"); // 获得相应的文件通道 FileChannel fc = RAFile.getChannel(); // 取得文件的实际大小，以便映像到共享内存 int size = (int)fc.size(); // 获得共享内存缓冲区，该共享内存只读 MappedByteBuffer mapBuf = fc.map(FileChannel.MAP_RO,0,size); // 获得一个可读写的随机存取文件对象 RAFile = new RandomAccessFile(filename,"rw"); // 获得相应的文件通道 fc = RAFile.getChannel(); // 取得文件的实际大小，以便映像到共享内存 size = (int)fc.size(); // 获得共享内存缓冲区，该共享内存可读写 mapBuf = fc.map(FileChannel.MAP_RW,0,size); // 获取头部消息：存取权限 mode = mapBuf.getInt(); 如果多个应用映像同一文件名的共享内存，则意味着这多个应用共享了同一内存数据。这些应用对于文件可以具有同等存取权限，一个应用对数据的刷新会更新到多个应用中。 为了防止多个应用同时对共享内存进行写操作，可以在该共享内存的头部信息加入写操作标志。该共享内存的头部基本信息至少有： int Length； // 共享内存的长度。 int mode; // 该共享内存目前的存取模式。 共享内存的头部信息是类的私有信息，在多个应用可以对同一共享内存执行写操作时，开始执行写操作和结束写操作时，需调用如下方法： public boolean StartWrite() { if(mode == 0) { // 标志为0，则表示可写 mode = 1; // 置标志为1，意味着别的应用不可写该共享内存 mapBuf.flip(); mapBuf.putInt(mode); // 写如共享内存的头部信息 return true; } else { return false; // 指明已经有应用在写该共享内存，本应用不可写该共享内存 } } public boolean StopWrite() { mode = 0; // 释放写权限 mapBuf.flip(); mapBuf.putInt(mode);
将数组作为共享内存，mmap函数要怎么写呢？
mmap函数的使用方法 UNIX网络编程第二卷进程间通信对mmap函数进行了说明。该函数主要用途有三个：1、将一个普通文件映射到内存中bf通常在需要对文件进行频繁读写时使用v这样用内存读写取代I＆＃47；O读写，以获得较高的性能；2、将特殊文件进行匿名内存映射，可以为关联进程提供共享内存空间；3、为无关联的进程提供共享内存空间，一般也是将一个普通文件映射到内存中。函数：void ＊mmap（void ＊start，size＿t length，int prot，int flags，int fd，off＿t offsize）； 参数start：指向欲映射的内存起始地址，通常设为 NULL，代表让系统自动选定地址，映射成功后返回该地址。参数length：代表将文件中多大的部分映射到内存。参数prot：映射区域的保护方式。可以为以下几种方式的组合：PROT＿EXEC 映射区域可被执行PROT＿READ 映射区域可被读取PROT＿WRITE 映射区域可被写入PROT＿NONE 映射区域不能存取参数flags：影响映射区域的各种特性。在调用mmap（）时必须要指定MAP＿SHARED 或MAP＿PRIVATE。MAP＿FIXED 如果参数start所指的地址无法成功建立映射时，则放弃映射，不对地址做修正s通常不鼓励用此旗标。MAP＿SHARED对映射区域的写入数据会复制回文件内，而且允许其他映射该文件的进程共享。MAP＿PRIVATE 对映射区域的写入操作会产生一个映射文件的复制，即私人的“写入时复制”（copy on write）对此区域作的任何修改都不会写回原来的文件内容。MAP＿ANONYMOUS建立匿名映射。此时会忽略参数fddhl不涉及文件，而且映射区域无法和其他进程共享。MAP＿DENYWRITE只允许对映射区域的写入操作，其他对文件直接写入的操作将会被拒绝。MAP＿LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。参数fd：要映射到内存中的文件描述符。如果使用匿名内存映射时，即flags中设置了MAP＿ANONYMOUS，fd设为－1。有些系统不支持匿名内存映射，则可以使用fopen打开＆＃47；dev＆＃47；zero文件，然后对该文件进行映射，可以同样达到匿名内存映射的效果。参数offset：文件映射的偏移量，通常设置为0，代表从文件最前方开始对应，offset必须是分页大小的整数倍。返回值：若映射成功则返回映射区的内存起始地址，否则返回MAP＿FAILED（－1），错误原因存于errno 中。错误代码：EBADF 参数fd 不是有效的文件描述词EACCES 存取权限有误。如果是MAP＿PRIVATE 情况下文件必须可读，使用MAP＿SHARED则要有PROT＿WRITE以及该文件要能写入。EINVAL 参数start、length 或offset有一个不合法。EAGAIN 文件被锁譼蚴怯刑嗄诖姹凰 ＃牛危希停牛汀∧诖娌蛔恪O低车饔茫恚恚幔穑ǎ┯糜诠蚕砟诖娴牧街址绞剑骸。ǎ保┦褂闷胀ㄎ募峁┑哪诖嬗成洌菏视糜谌魏谓讨洹4耸保枰蚩虼唇ㄒ桓鑫募缓笤俚饔茫恚恚幔穑ǎ┑湫偷饔么肴缦拢海妫洌剑铮穑澹睿ǎ睿幔恚澹。妫欤幔纾。恚铮洌澹弧。椋妫ǎ妫洌Γ欤簦唬埃。穑簦颍剑恚恚幔穑ǎ危眨蹋蹋。欤澹睢。。校遥希裕撸遥牛粒模校遥希裕撸祝遥桑裕牛。停粒校撸樱龋粒遥牛摹。。妫洹。。埃弧⊥ü恚恚幔穑ǎ┦担嘞氯模荆
进程间通信方式
在操作系统中，一个进程可以理解为是关于计算机资源集合的一次运行活动，其就是一个正在执行的程序的实例。从概念上来说，一个进程拥有它自己的虚拟CPU和虚拟地址空间，任何一个进程对于彼此而言都是相互独立的，这也引入了一个问题 —— 如何让进程之间互相通信？
由于进程之间是互相独立的，没有任何手段直接通信，因此我们需要借助操作系统来辅助它们。举个通俗的例子，假如A与B之间是独立的，不能彼此联系，如果它们想要通信的话可以借助第三方C，比如A将信息交给C，C再将信息转交给B —— 这就是进程间通信的主要思想 —— 共享资源。
这里要解决的一个重要的问题就是如何避免竞争，即避免多个进程同时访问临界区的资源。
共享内存是进程间通信中最简单的方式之一。共享内存允许两个或更多进程访问同一块内存。当一个进程改变了这块地址中的内容的时候，其它进程都会察觉到这个更改。
你可能会想到，我直接创建一个文件，然后进程不就都可以访问了？
是的，但这个方法有几个缺陷：
Linux下采用共享内存的方式来使进程完成对共享资源的访问，它将磁盘文件复制到内存，并创建虚拟地址到该内存的映射，就好像该资源本来就在进程空间之中，此后我们就可以像操作本地变量一样去操作它们了，实际的写入磁盘将由系统选择最佳方式完成，例如操作系统可能会批量处理加排序，从而大大提高IO速度。
如同上图一样，进程将共享内存映射到自己的虚拟地址空间中，进程访问共享进程就好像在访问自己的虚拟内存一样，速度是非常快的。
共享内存的模型应该是比较好理解的：在物理内存中创建一个共享资源文件，进程将该共享内存绑定到自己的虚拟内存之中。
这里要解决的一个问题是如何将同一块共享内存绑定到自己的虚拟内存中，要知道在不同进程中使用 malloc 函数是会顺序分配空闲内存，而不会分配同一块内存，那么要如何去解决这个问题呢？
Linux操作系统已经想办法帮我们解决了这个问题，在 #include sys/ipc.h 和 #include sys/shm.h 头文件下，有如下几个shm系列函数：
通过上述几个函数，每个独立的进程只要有统一的共享内存标识符便可以建立起虚拟地址到物理地址的映射，每个虚拟地址将被翻译成指向共享区域的物理地址，这样就实现了对共享内存的访问。
还有一种相像的实现是采用mmap函数，mmap通常是直接对磁盘的映射——因此不算是共享内存，存储量非常大，但访问慢； shmat与此相反，通常将资源保存在内存中创建映射，访问快，但存储量较小。
不过要注意一点，操作系统并不保证任何并发问题，例如两个进程同时更改同一块内存区域，正如你和你的朋友在线编辑同一个文档中的同一个标题，这会导致一些不好的结果，所以我们需要借助信号量或其他方式来完成同步。
信号量是迪杰斯特拉最先提出的一种为解决 同步不同执行线程问题 的一种方法，进程与线程抽象来看大同小异，所以 信号量同样可以用于同步进程间通信 。
信号量 s 是具有非负整数值的全局变量，由两种特殊的 原子操作 来实现，这两种原子操作称为 P 和 V ：
信号量并不用来传送资源，而是用来保护共享资源，理解这一点是很重要的，信号量 s 的表示的含义为 同时允许最大访问资源的进程数量 ，它是一个全局变量。来考虑一个上面简单的例子：两个进程同时修改而造成错误，我们不考虑读者而仅仅考虑写者进程，在这个例子中共享资源最多允许一个进程修改资源，因此我们初始化 s 为1。
开始时，A率先写入资源，此时A调用P(s)，将 s 减一，此时 s = 0，A进入共享区工作。
此时，进程B也想进入共享区修改资源，它调用P(s)发现此时s为0，于是挂起进程，加入等待队列。
A工作完毕，调用V(s)，它发现s为0并检测到等待队列不为空，于是它随机唤醒一个等待进程，并将s加1，这里唤醒了B。
B被唤醒，继续执行P操作，此时s不为0，B成功执行将s置为0并进入工作区。
此时C想要进入工作区......
可以发现，在无论何时只有一个进程能够访问共享资源，这就是信号量做的事情，他控制进入共享区的最大进程数量，这取决于初始化s的值。此后，在进入共享区之前调用P操作，出共享区后调用V操作，这就是信号量的思想。
在Linux下并没有直接的PV函数，而是需要我们根据这几个基本的sem函数族进行封装：
正如其名，管道就如同生活中的一根管道，一端输送，而另一端接收，双方不需要知道对方，只需要知道管道就好了。
管道是一种最 基本的进程间通信机制。 管道由pipe函数来创建： 调用pipe函数，会在内核中开辟出一块缓冲区用来进行进程间通信，这块缓冲区称为管道，它有一个读端和一个写端。管道被分为匿名管道和有名管道。
匿名管道通过pipe函数创建，这个函数接收一个长度为2的Int数组，并返回1或0表示成功或者失败：
int pipe(int fd[2])
这个函数打开两个文件描述符，一个读端文件，一个写端，分别存入fd[0]和fd[1]中，然后可以作为参数调用 write 和 read 函数进行写入或读取，注意fd[0]只能读取文件，而fd[1]只能用于写入文件。
你可能有个疑问，这要怎么实现通信？其他进程又不知道这个管道，因为进程是独立的，其他进程看不到某一个进程进行了什么操作。
是的，‘其他’进程确实是不知道，但是它的子进程却可以！这里涉及到fork派生进程的相关知识，一个进程派生一个子进程，那么子进程将会复制父进程的内存空间信息，注意这里是复制而不是共享，这意味着父子进程仍然是独立的，但是在这一时刻，它们所有的信息又是相等的。因此子进程也知道该全局管道，并且也拥有两个文件描述符与管道挂钩，所以 匿名管道只能在具有亲缘关系的进程间通信。
还要注意，匿名管道内部采用环形队列实现，只能由写端到读端，由于设计技术问题，管道被设计为半双工的，一方要写入则必须关闭读描述符，一方要读出则必须关闭写入描述符。因此我们说 管道的消息只能单向传递。
注意管道是堵塞的，如何堵塞将依赖于读写进程是否关闭文件描述符。如果读管道，如果读到空时，假设此时写端口还没有被完全关闭，那么操作系统会假设还有数据要读，此时读进程将会被堵塞，直到有新数据或写端口被关闭；如果管道为空，且写端口也被关闭，此时操作系统会认为已经没有东西可读，会直接退出，并关闭管道。
对于写一个已经满了的管道同理而言。
管道内部由内核管理，在半双工的条件下，保证数据不会出现并发问题。
了解了匿名管道之后，有名管道便很好理解了。在匿名管道的介绍中，我们说其他进程不知道管道和文件描述符的存在，所以匿名管道只适用于具有亲缘关系的进程，而命名管道则很好的解决了这个问题 —— 现在管道有一个唯一的名称了，任何进程都可以访问这个管道。
注意，操作系统将管道看作一个抽象的文件，但管道并不是普通的文件，管道存在于内核空间中而不放置在磁盘(有名管道文件系统上有一个标识符，没有数据块)，访问速度更快，但存储量较小，管道是临时的，是随进程的，当进程销毁，所有端口自动关闭，此时管道也是不存在的，操作系统将所有IO抽象的看作文件，例如网络也是一种文件，这意味着我们可以采用任何文件方法操作管道，理解这种抽象是很重要的，命名管道就利用了这种抽象。
Linux下，采用mkfifo函数创建，可以传入要指定的‘文件名’，然后其他进程就可以调用open方法打开这个特殊的文件，并进行write和read操作(那肯定是字节流对吧)。
注意，命名管道适用于任何进程，除了这一点不同外，其余大多数都与匿名管道相同。
消息队列亦称报文队列，也叫做信箱，是Linux的一种通信机制，这种通信机制传递的数据会被拆分为一个一个独立的数据块，也叫做消息体，消息体中可以定义类型与数据，克服了无格式承载字节流的缺陷(现在收到void*后可以知道其原本的格式惹):
同管道类似，它有一个不足就是每个消息的最大长度是有上限的，整个消息队列也是长度限制的。
内核为每个IPC对象维护了一个数据结构struct ipc_perm，该数据结构中有指向链表头与链表尾部的指针，保证每一次插入取出都是O(1)的时间复杂度。
一个进程可以发送信号给另一个进程，一个信号就是一条消息，可以用于通知一个进程组发送了某种类型的事件，该进程组中的进程可以采取处理程序处理事件。
Linux下 unistd.h 头文件下定义了如图中的常量，当你在shell命令行键入 ctrl + c 时，内核就会前台进程组的每一个进程发送 SIGINT 信号，中止进程。
我们可以看到上述只有30个信号，因此操作系统会为每一个进程维护一个int类型变量sig，利用其中30位代表是否有对应信号事件，每一个进程还有一个int类型变量block，与sig对应，其30位表示是否堵塞对应信号(不调用处理程序)。如果存在多个相同的信号同时到来，多余信号会被存储在一个等待队列中等待。
我们要理解进程组是什么，每个进程属于一个进程组，可以有多个进程属于同一个组。每个进程拥有一个进程ID，称为 pid ，而每个进程组拥有一个进程组ID，称为 pgid ，默认情况下，一个进程与其子进程属于同一进程组。
软件方面(诸如检测键盘输入是硬件方面)可以利用kill函数发送信号，kill函数接受两个参数，进程ID和信号类型，它将该信号类型发送到对应进程，如果该pid为0，那么会发送到属于自身进程组的所有进程。
接收方可以采用signal函数给对应事件添加处理程序，一旦事件发生，如果未被堵塞，则调用该处理程序。
Linux下有一套完善的函数用以处理信号机制。
Socket套接字是用与网络中不同主机的通信方式，多用于客户端与服务器之间，在Linux下也有一系列C语言函数，诸如socket、connect、bind、listen与accept，我们无需花太多时间研究这些函数，因为我们可能一辈子都不会与他们打交道，对于原理的学习，后续我会对Java中的套接字socket源码进行剖析。
对于工作而言，我们可能一辈子都用不上这些操作，但作为对于操作系统的学习，认识到进程间是如何通信还是很有必要的。
面试的时候对于这些方法我们不需要掌握到很深的程度，但我们必须要讲的来有什么通信方式，这些方式都有什么特点，适用于什么条件，大致是如何操作的，能说出这些，基本足以让面试官对你十分满意了。
java数组mmap的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于Java数组去重、java数组mmap的信息别忘了在本站进行查找喔。
发布于：2022-12-02，除非注明，否则均为原创文章，转载请注明出处。