「削峰java」削峰填谷和等量齐观

博主:adminadmin 2022-12-09 07:48:07 73

今天给各位分享削峰java的知识,其中也会对削峰填谷和等量齐观进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

「面试题」消息队列最全解析,说人话的面试解析

其实面试官主要是想看看:

为什么使用消息队列

其实就是问问你消息队列都有哪些使用场景,然后你项目里具体是什么场景,说说你在这个场景里用消息队列是什么?

面试官问你这个问题, 期望的一个回答 是说,你们公司有个什么 业务场景 ,这个业务场景有个什么技术挑战,如果不用 MQ 可能会很麻烦,但是你现在用了 MQ 之后带给了你很多的好处。

先说一下消息队列常见的使用场景吧,其实场景有很多,但是比较核心的有 3 个: 解耦 、 异步 、 削峰 。

看这么个场景。A 系统发送数据到 BCD 三个系统,通过接口调用发送。如果 E 系统也要这个数据呢?那如果 C 系统现在不需要了呢?A 系统负责人几乎崩溃......

在这个场景中,A 系统跟其它各种乱七八糟的系统严重耦合,A 系统产生一条比较关键的数据,很多系统都需要 A 系统将这个数据发送过来。A 系统要时时刻刻考虑 BCDE 四个系统如果挂了该咋办?要不要重发,要不要把消息存起来?头发都白了啊!

如果使用 MQ,A 系统产生一条数据,发送到 MQ 里面去,哪个系统需要数据自己去 MQ 里面消费。如果新系统需要数据,直接从 MQ 里消费即可;如果某个系统不需要这条数据了,就取消对 MQ 消息的消费即可。这样下来,A 系统压根儿不需要去考虑要给谁发送数据,不需要维护这个代码,也不需要考虑人家是否调用成功、失败超时等情况。

面试技巧 :你需要去考虑一下你负责的系统中是否有类似的场景,就是一个系统或者一个模块,调用了多个系统或者模块,互相之间的调用很复杂,维护起来很麻烦。但是其实这个调用是不需要直接同步调用接口的,如果用 MQ 给它异步化解耦,也是可以的,你就需要去考虑在你的项目里,是不是可以运用这个 MQ 去进行系统的解耦。在简历中体现出来这块东西,用 MQ 作解耦。

再来看一个场景,A 系统接收一个请求,需要在自己本地写库,还需要在 BCD 三个系统写库,自己本地写库要 3ms,BCD 三个系统分别写库要 300ms、450ms、200ms。最终请求总延时是 3 + 300 + 450 + 200 = 953ms,接近 1s,用户感觉搞个什么东西,慢死了慢死了。用户通过浏览器发起请求,等待个 1s,这几乎是不可接受的。

一般互联网类的企业,对于用户直接的操作,一般要求是每个请求都必须在 200 ms 以内完成,对用户几乎是无感知的。

如果 使用 MQ ,那么 A 系统连续发送 3 条消息到 MQ 队列中,假如耗时 5ms,A 系统从接受一个请求到返回响应给用户,总时长是 3 + 5 = 8ms,对于用户而言,其实感觉上就是点个按钮,8ms 以后就直接返回了,爽!网站做得真好,真快!

每天 0:00 到 12:00,A 系统风平浪静,每秒并发请求数量就 50 个。结果每次一到 12:00 ~ 13:00 ,每秒并发请求数量突然会暴增到 5k+ 条。但是系统是直接基于 MySQL 的,大量的请求涌入 MySQL,每秒钟对 MySQL 执行约 5k 条 SQL。

一般的 MySQL,扛到每秒 2k 个请求就差不多了,如果每秒请求到 5k 的话,可能就直接把 MySQL 给打死了,导致系统崩溃,用户也就没法再使用系统了。

但是高峰期一过,到了下午的时候,就成了低峰期,可能也就 1w 的用户同时在网站上操作,每秒中的请求数量可能也就 50 个请求,对整个系统几乎没有任何的压力。

如果使用 MQ,每秒 5k 个请求写入 MQ,A 系统每秒钟最多处理 2k 个请求,因为 MySQL 每秒钟最多处理 2k 个。A 系统从 MQ 中慢慢拉取请求,每秒钟就拉取 2k 个请求,不要超过自己每秒能处理的最大请求数量就 ok,这样下来,哪怕是高峰期的时候,A 系统也绝对不会挂掉。而 MQ 每秒钟 5k 个请求进来,就 2k 个请求出去,结果就导致在中午高峰期(1 个小时),可能有几十万甚至几百万的请求积压在 MQ 中。

这个短暂的高峰期积压是 ok 的,因为高峰期过了之后,每秒钟就 50 个请求进 MQ,但是 A 系统依然会按照每秒 2k 个请求的速度在处理。所以说,只要高峰期一过,A 系统就会快速将积压的消息给解决掉。

优点上面已经说了,就是 在特殊场景下有其对应的好处 , 解耦 、 异步 、 削峰 。

缺点有以下几个:

所以消息队列实际是一种非常复杂的架构,你引入它有很多好处,但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉,做好之后,你会发现,妈呀,系统复杂度提升了一个数量级,也许是复杂了 10 倍。但是关键时刻,用,还是得用的。

综上,各种对比之后,有如下建议:

一般的业务系统要引入 MQ,最早大家都用 ActiveMQ,但是现在确实大家用的不多了,没经过大规模吞吐量场景的验证,社区也不是很活跃,所以大家还是算了吧,我个人不推荐用这个了;

后来大家开始用 RabbitMQ,但是确实 erlang 语言阻止了大量的 Java 工程师去深入研究和掌控它,对公司而言,几乎处于不可控的状态,但是确实人家是开源的,比较稳定的支持,活跃度也高;

不过现在确实越来越多的公司会去用 RocketMQ,确实很不错,毕竟是阿里出品,但社区可能有突然黄掉的风险(目前 RocketMQ 已捐给 Apache,但 GitHub 上的活跃度其实不算高)对自己公司技术实力有绝对自信的,推荐用 RocketMQ,否则回去老老实实用 RabbitMQ 吧,人家有活跃的开源社区,绝对不会黄。

所以 中小型公司 ,技术实力较为一般,技术挑战不是特别高,用 RabbitMQ 是不错的选择; 大型公司 ,基础架构研发实力较强,用 RocketMQ 是很好的选择。

如果是 大数据领域 的实时计算、日志采集等场景,用 Kafka 是业内标准的,绝对没问题,社区活跃度很高,绝对不会黄,何况几乎是全世界这个领域的事实性规范。

javaweb 如何将请求缓存,或者说延时请求?

把用户参数请求入队列,然后直接返回用户调用,后续消费者慢慢处理请求就好了,不过这样子只能返回调用是否成功,并不能立即返回业务处理结果

MessageQ是什么,RabbitMQ又是什么?两者有什么联系吗?谁能通俗易懂的的解释一下

MessageQ是IPC通信用的一种消息队列机制,它相对Nofity来说可以传递超32bit的数据。这个主要用于系统内通信,是在非常底层的东西,你可以认为是dsp之间通信的方案。

RabbitMQ是一种Message Broker,也就是消息队列,但此处的消息队列指的系统上应用层的消息队列。同类的kafak,ZeroMQ,MSMQ等等,主要用来降低各应用系统的耦合或流量削峰使用的。严格来说两者机制相同,但一般用于系统内,一个用于应用系统(比如网站什么的),所用的层次相差较大的。所以基本上来说MessageQ一般用于C/C++开发系统功能时使用,而RabbitMQ是应用程序之间解耦合用的,外部可以使用C#/Java甚至Javascript等开发语言使用,用来开发应用软件。

消息队列基础

消息队列使用的场景: 异步、解耦、削峰

异步: 比如在审批的场景里,多个步骤需要在一个流程里做完,比如审批通过/拒绝后,需要发送消息通知、代办、以及通知下游系统。如果这些步骤同步完进行,整个调用链太长,耗时太长,影响整体性能。因此可以将消息通知、代办和通知下游这些步骤进行异步处理。

解耦: 如果使用多线程进行异步,这样会造成与下游系统耦合,每对接一个系统,会增加一个接口调用,然后重新发布系统。使用消息队列,将消息发布到消息队列中,下游系统直接监听审批过程消息来感知审批进度,达到解耦目的。

削峰: 主要是应对突然爆发的流量冲击系统,导致系统超载。消息队列可以控制消费速度,按照系统的处理能力进行消费,例如秒杀系统。

JMS: JAVA Message Service, java 消息服务

jms 是 java 消息服务的缩写,jms 客户端之间可以使用 jms 服务进行异步消息传输。ActiveMQ 就是基于 JMS 规范实现的。

jms 支持两种消息模型:

JMS 五种不同的消息正文格式:

AMQP: Advanced Message Queuing Protocol,高级消息队列协议

对比:

选型是需要综合考虑:可靠性、性能、吞吐量、消息有序性、是否会丢失消息等

重复消费: 消费者集群如果重复消费同一条消息会导致业务异常,为了解决这个问题,我们需要保证接口幂等来消除重复消费引起的问题,幂等即在多次执行相同操作,产生的影响与第一次执行相同。

对于强校验的场景,我们可以加流水对账表来保证幂等性,即用流水对账表记录被消费的消息,如果再次来消息,先对比有没有被消费过,消费过的数据,直接返回。

对于弱校验场景,可以做缓存对比判断。

顺序消费: 对于同一个场景中多个消费者多条消息需要进行顺序消费的情况下,例如增改删操作需要保证顺序消费。或者审批流程的发起、通过、结束消息需要严格保证顺序。RocketMQ topic 内的队列机制可以保证 FIFO ,实现方式就是将消息同步发送到同一个队列中。此处只保证发送有序,消费有序由消费者自己保证。

分布式事务: 事务,是保证一系列操作,要么都成功,要么都回滚。分布式事务是在分布式系统中,保证一系列操作,要么都成功,要么都失败。

常见的分布式事务解决方案:

java可以开发什么项目?

小编收集了java开发10个练手项目教程,大企业实战项目教程+源码,将近5G的资料通通送给你!

项目一:Ting域主持人

项目介绍:Ting域主持人项目是一个标准的互联网项目,主要为各种需要主持人的场合提供主持人聘请相关功能。项目包含了前台和后台。前台主要是让新人和婚庆公司搜索相关主持人并进行聘请,在线对主持人下订单。后台是让主持人对自己订单的管理以及管理员对整个平台的管理。

技术架构:Spring、SpringMVC、MyBatis、MyBatisPlus、移动支付、短信验证、RBAC、EasyUI、POI、百度chart

项目亮点:真实企业项目;已上线项目;包含企业产品经理设计的项目原型;标准互联网项目,包含前后端;完整的第三方平台接入

2、未来出行汽车租赁平台

项目介绍:未来出行汽车租赁平台是为汽车出租、出售进行管理的平台。管理员平台中可以对租赁人和汽车进行管理。项目包含:客户管理、业务管理、系统管理、汽车管理、租赁人管理等模块。项目中还包含了完善的权限管理相关功能。

技术架构:Spring、SpringMVC、MyBatis、MyBatisPlus、移动支付、短信验证、RBAC、EasyUI、POI、百度chart

项目亮点:完善的页面资源;汽车租赁业务全部实现;概括能力强。包含了所学的全部技术

3、至尊智能家居

项目介绍:智能家居随着互联网和物联网的发展逐渐走进千家万户。智能家居的企业和工厂越来越多。至尊智能家居是智能家居企业进行综合管理的内部系统。可以实现智能家居管理、人事行政管理、系统公告、知识管理、任务管理、销售管理、项目管理、统计分析、系统设置、产品资料管理等功能。

技术架构:Spring Boot、SpringMVC、MyBatis、Druid、Logback、Quartz、Shiro、Swagger2、Linux、BootStrap

项目亮点:使用快速开发框架,真实感受最初进入企业的感觉;小组项目,完全模拟企业项目组开发中如何进行配合;Linux服务器,不仅仅是开发项目,还包含了部署项目

4、百战商城

项目介绍:百战商城项目是一个大型综合性的B2C平台。完全采用SOA模式架构,使用Dubbo实现服务调用。基于高并发、海量数据环境进行实现。

百战商城分为前后台两套系统。后台系统使用FastDFS实现分布式文件存储主要负责商品管理,商品分类管理,CMS等内容。前台系统使用Redis实现缓存数据查询包含首页服务,搜索服务,单点登录服务、购物车服务,订单服务等。

技术架构:Spring Boot、Spring MVC、MyBatis、Zookeeper、Dubbo、Redis、Solr、RabbitMQ、FastDFS、Nginx、Spring Security、Spring Session、MyBatis Plus、MyCat

项目亮点:真实大型互联网项目呈现;SOA架构;高并发解决方案;RabbitMQ实现流量削峰和异步消息;使用Solr实现海量数据搜索;Redis缓存穿透、缓存雪崩、缓存击穿解决方案;基于Linux平台部署该项目,企业真实服务器环境;Nginx服务代理、负载均衡;使用Navicat做数据库分库分表及读写分离;FastDFS分布式文件存储;Spring Security 完成权限验证;Spring Session 分布式Session

5、Livegoods房源租赁海选平台

项目介绍:本项目为前后端分离项目,移动客户端为其平台。作为互联网时代房屋平台,Livegoods拥有完善的房屋租赁资源搜索能力,可以根据城市定位,精确高效的搜索到需要的租赁房源信息。本系统分为租客平台、业主平台、用户管理平台两大功能平台。

技术架构:SpringBoot、SpringMVC、MyBatis、SpringDataMongoDB、SpringData、ElasticSearch、MongoDB、Spring Cloud、ElasticSearch、FastDFS、Nginx、支付

项目亮点:前后端分离项目,感受目前企业开发最主流的前后端分离开发模式;移动端项目,可以感受Java程序员开发app服务端的实现过程;微服务架构;秒杀系统实现;海量数据搜索;镜像和云

6、数字货币交易所项目

项目介绍:开源数字货币交易所,基于Java开发的比特币交易所,包含BTC交易所、ETH交易所、数字货币交易所、交易平台、撮合交易引擎等核心模块。项目技术采用业界最流行、社区非常活跃的开源组件Spring Cloud Alibaba来构建我们的交易系统,是行业第一家基于Alibaba技术的大型项目,也是Spring Cloud的最佳实践之一。

项目架构:

后端技术:Spring Cloud Alibaba + Spring Boot + Mybatis Plus + Elasticsearch + Kafka + Mongodb + Zookeeper + RocketMQ + OAuth2、0 + Jwt + Redis + Hutool + Orika + Fst + Swagger-ui + Mycat + Docker + ECS + OSS + 腾讯防水墙

前端技术:Vue + iView + less + axios

7、尚学堂OA系统

项目介绍:尚学堂OA系统取自真实的尚学堂办公自动化平台,包括人事管理、考勤管理、报销管理、收支管理等多个模块。可以全面练习JSP/Servlet核心技能、MVC模式、Ajax、数据库设计和多表SQL语句操作、PowerDesigner绘制数据库模型图、业务流程图、多种面向对象模型图,还有验证码、POI、Echarts、JUnit、kindeditor、My97DatePicker等辅助技术。通过该项目,学生熟悉项目设计开发流程,具有自主设计和开发项目初步能力。

功能模块:尚学堂OA系统:包括人事管理、考勤管理、报销管理、收支管理等多个模块。包含人事管理中的部门管理、岗位管理练习单表的MVC操作,人事管理中的员工管理练习多表的MVC操作。考勤管理练习Ajax的应用。报销管理涉及理解业务流程、异常链、事务管理等多项技能。收支管理主要是练习Echarts图表插件的使用,使用柱状图、饼图等直观显示统计数据。

需要java项目资料的小伙伴可以添加一下分享资料的官方老师WX:18731997677,备注“gx尚学堂”可以找老师免费领取几649套简历模板哦!

削峰java的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于削峰填谷和等量齐观、削峰java的信息别忘了在本站进行查找喔。

The End

发布于:2022-12-09,除非注明,否则均为首码项目网原创文章,转载请注明出处。