Austin

Spark深⼊浅出

~>_<~

Spark 简介

Apache Spark 是专为⼤规模数据处理⽽设计的快速通⽤的计算引擎。Spark是UC Berkeley AMP lab (加州⼤学伯克利分校AMP实验室)开源的类Hadoop MapReduce的通⽤并⾏框架,Spark拥有Hadoop MapReduce所具有并⾏计算的优点;但不同于MapReduce的是-Job中间输出结果可以保存在内存中,从⽽不再需要读写HDFS,因此Spark能更好地适⽤于数据挖掘与机器学习等需要迭代的MapReduce的算法。
img

阅读更多
RocketMQ、Kafka和ActiveMQ对比分析

(︶^︶)

ActiveMQ

ActiveMQ作为传统型消息中间件,严格遵循JMS规范,功能全面,安装简单,需要的资源少。但是性能较差,不支持高并发和数以亿计的消息缓存,容错和扩展性差,不支持重复消费,不支持批处理。

阅读更多
Dubbo原理分析

(≧▽≦)y

Apache Dubbo是⼀款⾼性能的基于JAVA语⾔的RPC(Remote Procedure Call)框架。
Apache Dubbo提供了三个关键功能,其中包括接⼝的远程调⽤、容错和负载均衡,以及⾃动
服务注册和发现,Apache Dubbo框架在阿⾥巴巴内外被⼴泛采⽤,包括滴滴、当当、去哪
⼉、网易考拉和其他许多公司。

诞生背景

随着互联网的发展,网站应用的规模不断扩大,常规的垂直应用架构已无法应对,分布式服务架构以及流动计算架构势在必行,亟需一个治理系统确保架构有条不紊的演进。
img

阅读更多
SpringBoot集成MongoDB

Alt text

(>﹏<)

        最近在做日志采集的工作中用到了MongoDB这款NoSQL数据库,相较于常见的RDBMS灵活且快速;而且非结构化的数据存储格式也极为适合一些应用场景,既节省内存又能提高读写速度。了解如何将MongoDB集成到SpringBoot这样一款非常流行的轻量、快速的开发框架很有必要。

阅读更多
Shiro轻松入门

(“ ▔□▔ )/

Shiro 简介

Apache Shiro 是 Java 的一个安全框架,支持JavaSE和JavaEE。Shiro 可以非常容易的开发出足够好的应用,可以帮助我们完成:认证、授权、加密、会话管理、与 Web 集成、缓存等。

Shiro基本功能

其基本功能点如下图所示:
img

阅读更多
MongoDB的优点和缺点

≡ ̄﹏ ̄≡

与关系型数据库相比,MongoDB的优点:

① 弱一致性(最终一致),更能保证用户的访问速度。

② 文档结构的存储方式(类JSON数据模式简单而强大),能够更便捷的获取数据。

阅读更多
Tomcat集群实现分布式会话

∑(っ °Д °;)っ

Tomcat整合Nginx做服务器集群可以极大地增强系统的可用性,成倍提升系统的负载能力,并实现动静分离,提高响应速度。但与此同时,这也带来了另一个问题——服务器与客户端的之间会话(session)该如何保存?服务器集群之后怎样让客户端与服务器的每一次会话使用的都是同一个session?
庆幸的是我们有好几种办法解决这一问题。

阅读更多
Lucene使用技巧总结

Lucene定时更新索引
Lucene单条索引更新耗时远高于整个索引库的批量更新。

经过测试,5000条数据建立索引只需600ms,20000条数据约1000ms…几十万的数据也只需要几秒。
更新数据索引只更新新添加或者改动的数据,需要将数据库查出的数据于IndexReader中的数据进行检索剔除,此操作耗时较多。初步测试结果:5000条数据需要50s;20000条数据需要220s…
若有20w条数据,则光剔除数据的时间就需要4h,明显行不通。
故还不如直接每次都重建所有索引。

阅读更多
二叉查找树和红黑树

┐(─__─)┌

二叉查找树(BST)的特性

(1) 左子树上所有结点的值均小于或等于它的根结点的值。

(2) 右子树上所有结点的值均大于或等于它的根结点的值。

(3) 左、右子树也分别为二叉排序树。

下图中这棵树,就是一颗典型的二叉查找树:

阅读更多
首页 归档 分类 标签 关于 搜索