「javanifi集成」Javanide
今天给各位分享javanifi集成的知识，其中也会对Javanide进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
本文目录一览：
nifin刹车系统是哪国的？
nfifi简介
在Apache NiFi官网上，是这么介绍NiFi的：“一个易用、强大、可靠的数据处理与分发系统”。Apache NiFi的设计目标是自动化管理系统间的数据流。
NiFi之前是在美国国家安全局（NSA）开发和使用了8年的一个可视化、可定制的数据集成产品。2014年NSA将其贡献给了Apache开源社区，2015年7月成功成为Apache顶级项目。
nifi是一个基于web-ui用户界面，高度可配置的、安全的、基于工作流设计理念、具有很强交互性的、强大易用的、为不同系统间或者系统内的提供数据流管理与处理的系统。
单机版安装
采用maven编译的方式安装
1、安装git
可以使用Centos7上面自带的git。
2、安装maven，版本至少3.1.0以上
注意配置阿里云Maven镜像，不然编译的时候很慢。
3、Checking out from Git，从git中克隆源码
命令：git clone
4、安装
（1）nifi 1.x以上需要jdk8以上，0.x需jdk7以上
（2）Maven需要至少3.1.0以上版本
（3）有些构建步骤比较耗内存，确保MAVEN_OPTS提供足够的内存，可在环境变量中加入export MAVEN_OPTS=”-Xms1024m -Xmx3076m -XX:MaxPermSize=256m”，具体多大根据自己的实际情况来配置。
（4）构建完整的代码库。在源码树运行的根目录中如下命令：
mvn -T C2.0 clean package -Pinclude-grpc -DskipTests
（5）编译完之后在nifi-assembly/target目录下包含解压缩的文件，可以在bin目录下运行启动nifi， ./nifi.sh start
（6）然后访问http://主机:8080/nifi/，可在ui界面上玩了。
注：8080是nifi默认端口，如果有冲突，可在nifi.properties中修改端口号。
简单使用
nifi核心术语
FlowFile
一个FlowFile代表每个被系统处理的数据对象，一个FlowFile由两部分组成：属性和内容。内容是数据本身，属性是与数据相关的key-value的键值对，用于描述数据
FlowFileProcessor
Processor是NiFi的组件，可以用来创建、发送、接受、转换、路由、割裂、合并、处理FlowFiles。在用户建立数据流时，Processor是最重要的组成部分，可以将操作结果提交给下一个Processor或者回滚。
Connection
提供Processors之间的连接，用来定义Processors之间的执行关系，并允许不同Processors之间以不同的速度进行交互。
Flow Controller
控制器，它记录processor之间的连接关系，管理线程，管理processor和线程之间的使用关系。是一个类似broker的角色。
Processgroup
它表示一组processor和它们之间的连接。对于这个group而言，它可以通过input端口和output端口，进行数据的接收和发送。
实例
在FTP服务器上有一个txt的压缩文件，内容为：
这里写图片描述
使用nifi从FTP上获取此文件，将其解压，并将M替换为“男”，F替换为“女”，并将处理后的txt文件put到HDFS。
在nifi的web-ui上通过拖拽的方式将Processor拖拽到画布上进行配置，对于nifi的processor的配置说明可参考官网nifi官方文档。
要实现以上功能需要5个processor，相关配置如下：
1.GetFTP，负责从FTP的特定路径下获取文件，并创建FlowFile供后续处理，具体配置如下：
这里写图片描述
File Filter Regex属性可以配置要处理文件名的正则表达式，从而起到筛选文件的作用。
2. CompressContent，负责压缩或解压FlowFile的内容，具体配置如下：
这里写图片描述
3.ReplaceText，通过定义正则表达式，可对正则表达式匹配到的内容进行替换，从而起到对FlowFile内容进行修改的作用。此ReplaceText将FlowFile内容中的M替换成文字“男”。具体配置如下：
这里写图片描述
4. ReplaceText，与上一个Processor是同一个类型，将FlowFile内容中的F替换成文字“女”。
5. PutHDFS，负责将FlowFile以文件形式存放到HDFS的中。
大数据常用同步工具
一、离线数据同步
DataX
阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，操作简单通常只需要两步；
创建作业的配置文件（json格式配置reader,writer）；
启动执行配置作业。
非常适合离线数据，增量数据可以使用一些编码的方式实现，
缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。
参考资料：
github地址：
dataX3.0介绍：
datax初体验：
文档：
Sqoop
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
地址：
Sqoop导入：导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。
Sqoop导出：导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录，这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。
Sqoop支持全量数据导入和增量数据导入（增量数据导入分两种，一是基于递增列的增量数据导入（Append方式）。二是基于时间列的增量数据导入（LastModified方式）），同时可以指定数据是否以并发形式导入。
Kettle
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。
Kettle的Spoon有丰富的Steps可以组装开发出满足多种复杂应用场景的数据集成作业，方便实现全量、增量数据同步。缺点是通过定时运行，实时性相对较差。
NiFi
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。
NiFi基于Web方式工作，后台在服务器上进行调度。 用户可以为数据处理定义为一个流程，然后进行处理，后台具有数据处理引擎、任务调度等组件。
几个核心概念：
Nifi 的设计理念接近于基于流的编程 Flow Based Programming。
FlowFile：表示通过系统移动的每个对象，包含数据流的基本属性
FlowFile Processor（处理器）：负责实际对数据流执行工作
Connection（连接线）：负责不同处理器之间的连接，是数据的有界缓冲区
Flow Controller（流量控制器）：管理进程使用的线程及其分配
Process Group（过程组）：进程组是一组特定的进程及其连接，允许组合其他组件创建新组件
参考资料
Nifi简介及核心概念整理
官方网站：
二、实时数据同步
实时同步最灵活的还是用kafka做中间转发，当数据发生变化时，记录变化到kafka，需要同步数据的程序订阅消息即可，需要研发编码支持。这里说个mysql数据库的同步组件，阿里的canal和otter
canal
数据抽取简单的来说，就是将一个表的数据提取到另一个表中。有很多的ETL工具可以帮助我们来进行数据的抽取和转换，ETL工具能进行一次性或者定时作业抽取数据，不过canal作为阿里巴巴提供的开源的数据抽取项目，能够做到实时抽取，原理就是伪装成mysql从节点，读取mysql的binlog，生成消息，客户端订阅这些数据变更消息，处理并存储。下面我们来一起搭建一下canal服务
早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅消费的业务，从此开启了一段新纪元。
ps. 目前内部版本已经支持mysql和oracle部分版本的日志解析，当前的canal开源版本支持5.7及以下的版本(阿里内部mysql 5.7.13, 5.6.10, mysql 5.5.18和5.1.40/48)
基于日志增量订阅消费支持的业务：
数据库镜像
数据库实时备份
多级索引 (卖家和买家各自分库索引)
search build
业务cache刷新
价格变化等重要业务消息
otter
otter是在canal基础上又重新实现了可配置的消费者，使用otter的话，刚才说过的消费者就不需要写了，而otter提供了一个web界面，可以自定义同步任务及map表。非常适合mysql库之间的同步。
另外：otter已在阿里云推出商业化版本 数据传输服务DTS， 开通即用，免去部署维护的昂贵使用成本。DTS针对阿里云RDS、DRDS等产品进行了适配，解决了Binlog日志回收，主备切换、VPC网络切换等场景下的同步高可用问题。同时，针对RDS进行了针对性的性能优化。出于稳定性、性能及成本的考虑，强烈推荐阿里云用户使用DTS产品。
java点击按钮，出现另一个窗口
第一个窗体LoginFrame.java：
package winRelation;
import java.awt.Dimension;
import java.awt.Rectangle;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import javax.swing.JButton;
import javax.swing.JFrame;
import javax.swing.JOptionPane;
public class LoginFrame extends JFrame {
JButton button = new JButton("点击我");
class LoginOKAction implements ActionListener {
public void actionPerformed(ActionEvent e) {
JOptionPane.showMessageDialog(null, "将进入另一个窗体！");
new MainFrame();
setVisible(false);
}
}
public LoginFrame(){
super();
this.setResizable(false);
this.setSize(new Dimension(300, 205));
this.setTitle("第一个窗体");
this.setLayout(null);
this.setDefaultCloseOperation(EXIT_ON_CLOSE);
this.setLocation(300, 200);
this.setVisible(true);
this.getContentPane().add(button, null);
button.setBounds(new Rectangle(111, 70, 78, 27));
button.addActionListener(new LoginOKAction());//给按钮加事件监听器
}
public static void main(String[] args) {
new LoginFrame();
}
}
第二个窗体MainFrame.java：
package winRelation;
import java.awt.BorderLayout;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import javax.swing.JButton;
import javax.swing.JDesktopPane;
import javax.swing.JFrame;
import javax.swing.JInternalFrame;
import javax.swing.JMenu;
import javax.swing.JMenuBar;
import javax.swing.JMenuItem;
import javax.swing.JToolBar;
public class MainFrame extends JFrame{
private static final JDesktopPane DESKTOP_PANE = new JDesktopPane();
public MainFrame() {
super("这是主窗体");
setSize(640, 480);
//菜单设置
JMenuBar menuBar = new JMenuBar();
this.setJMenuBar(menuBar);
JMenu menu1 = new JMenu("菜单1");
JMenu menu101 = new JMenu("菜单101");
JMenuItem menu10101 = new JMenuItem("菜单10101");
JMenuItem menu102 = new JMenuItem("菜单102");
menu102.addActionListener(new ActionListener() {
public void actionPerformed(ActionEvent e) {
addIFame(new InternalFrame());
}
});
menu101.add(menu10101);
menu1.add(menu101);
menu1.add(menu102);
JMenu menu2 = new JMenu("菜单2");
menuBar.add(menu1);
menuBar.add(menu2);
this.getContentPane().add(DESKTOP_PANE);
this.setVisible(true);
}
public static void addIFame(JInternalFrame iframe) { // 添加子窗体的方法
DESKTOP_PANE.add(iframe);
}
public static void main(String[] args) {
new MainFrame();
}
}
第三个窗体（MainFrame中的窗体）InternalFrame.java：
package winRelation;
import javax.swing.JButton;
import javax.swing.JInternalFrame;
public class InternalFrame extends JInternalFrame{
public InternalFrame() {
super();
setClosable(true);
setIconifiable(true);
setTitle("内部窗体");
setBounds(50,50,400,300);
setVisible(true);
}
}
已经测试通过！
javanifi集成的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于Javanide、javanifi集成的信息别忘了在本站进行查找喔。