当前位置: 萬仟网 > IT编程>数据库>

其他数据库

浅谈函数式编程

2019-12-05 15:41 | 分类:数据库 | 评论:0 次 | 浏览: 11

函数式编程(Functional Programming)是一种编程风格,它是相对于指令式编程风格而言的,常见的面向对象编程就是...

ElasticSearch如何一次查询出全部数据——基于Scroll

2019-12-05 15:41 | 分类:数据库 | 评论:0 次 | 浏览: 9

ElasticSearch 用Scroll(对应数据库的游标) 一次查出全部数据 ...

spark-3.0 application 调度算法解析

2019-12-04 15:59 | 分类:数据库 | 评论:0 次 | 浏览: 15

spark 各个版本的application 调度算法还是有这明显的不同之处的。从spark1.3.0 到 spark 1.6....

bayaim——听课笔记_01.Docker基础应用 10课.txt

2019-12-02 16:49 | 分类:数据库 | 评论:0 次 | 浏览: 18

2019年8月5日18:39:06 10.20.100.21rootbayaim 01-Docker介绍 docker -- g...

oracle性能优化(项目中的一个sql优化的简单记录)

2019-12-01 15:14 | 分类:数据库 | 评论:0 次 | 浏览: 22

在项目中,写的sql主要以查询为主,但是数据量一大,就会突出sql性能优化的重要性。其实在数据量2000W以内,可以考虑索引,但...

Hadoop_简介_01

2019-11-30 15:26 | 分类:数据库 | 评论:0 次 | 浏览: 18

1. Apache Hadoop 1.1 Hadoop介绍 Hadoop是Apache旗下的一个用java语言实现的开源软件框架...

Linux虚拟机扩容根分区CentOs6.9 VMware14

2019-11-29 15:10 | 分类:数据库 | 评论:0 次 | 浏览: 29

1、首先关闭虚拟机点击编辑虚拟机设置 2、点击想要扩容的硬盘点击扩容 3、增加容量 输入想增加的容量,因为我本身是30G写到35...

Kafka 的No kafka server to stop报错处理

2019-11-27 16:04 | 分类:数据库 | 评论:0 次 | 浏览: 19

使用kafka-server-stop.sh命令关闭kafka服务,发现无法删除,报错如下图No kafka server to...

kafka connector 使用总结以及自定义connector开发

2019-11-26 15:48 | 分类:数据库 | 评论:0 次 | 浏览: 28

Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数...

数据中台架构体系浅析

2019-11-26 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 25

中台出现的背景 从技术上来看,随着业务的发展,很多企业在前期搭建了很多的IT系统,系统间像烟囱一样相互独立。在面对着越来越复杂的...

理解Spark SQL(三)—— Spark SQL程序举例

2019-11-26 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 23

上一篇说到,在Spark 2.x当中,实际上SQLContext和HiveContext是过时的,相反是采用SparkSessi...

「漏洞预警」Apache Flink 任意 Jar 包上传导致远程代码执行漏洞复现

2019-11-26 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 27

漏洞描述 Apache Flink是一个用于分布式流和批处理数据的开放源码平台。Flink的核心是一个流数据流引擎,它为数据流上...

高维数据Lasso思路

2019-11-26 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 23

海量数据的特征工程中, 如果数据特征维度达到几千乃至上万 常规的lasso很容易失效 这里介绍几种泛义lasso,是在实际数据处...

hadoop搭建的前期准备

2019-11-23 15:44 | 分类:数据库 | 评论:0 次 | 浏览: 34

这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的 需要...

spark利用yarn提交任务报:YARN application has exited unexpectedly with state UNDEFINED

2019-11-22 15:33 | 分类:数据库 | 评论:0 次 | 浏览: 43

spark用yarn提交任务会报ERROR cluster.YarnClientSchedulerBackend: YARN a...

理解Spark SQL(二)—— SQLContext和HiveContext

2019-11-22 15:33 | 分类:数据库 | 评论:0 次 | 浏览: 27

使用Spark SQL,除了使用之前介绍的方法,实际上还可以使用SQLContext或者HiveContext通过编程的方式实现...

数据治理的王者——Apache Atlas

2019-11-22 15:33 | 分类:数据库 | 评论:0 次 | 浏览: 32

一、Atlas是什么? 在当今大数据的应用越来越广泛的情况下,数据治理一直是企业面临的巨大问题。 大部分公司只是单纯的对数据进行...

【Elasticsearch 7 探索之路】(三)倒排索引

2019-11-21 15:34 | 分类:数据库 | 评论:0 次 | 浏览: 31

上一篇,我们介绍了 ES 文档的基本 CURE 和批量操作。我们都知道倒排索引是搜索引擎非常重要的一种数据结构,什么是倒排索引,...

理解Spark SQL(一)—— CLI和ThriftServer

2019-11-21 15:34 | 分类:数据库 | 评论:0 次 | 浏览: 46

Spark SQL主要提供了两个工具来访问hive中的数据,即CLI和ThriftServer。前提是需要Spark支持Hive...

elasticsearch入门之核心概念篇

2019-11-20 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 47

一、elasticsearch是什么 elasticsearch是一个基于Lucene的搜索服务器,采用Java语言编写,使用L...

Zookeeper分布式集群搭建

2019-11-20 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 38

文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,...

Hive表的几种存储格式

2019-11-20 15:47 | 分类:数据库 | 评论:0 次 | 浏览: 29

Hive的文件存储格式: textFile textFile为默认格式 存储方式:行存储 缺点:磁盘开销大;数据解析开销大;压缩...

频繁项集的产生及经典算法

2019-11-20 07:53 | 分类:数据库 | 评论:0 次 | 浏览: 41

前言: 关联规则是数据挖掘中最活跃的研究方法之一, 是指搜索业务系统中的所有细节或事务,找出所有能把一 组事件或数据项与另一组事...

flink 流式处理中如何集成mybatis框架

2019-11-20 07:53 | 分类:数据库 | 评论:0 次 | 浏览: 39

flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操...

雅虎日本如何用 Pulsar 构建日均千亿的消息平台

2019-11-18 15:43 | 分类:数据库 | 评论:0 次 | 浏览: 28

雅虎日本是一家雅虎和软银合资的日本互联网公司,是日本最受欢迎的门户网站之一。雅虎日本的互联网服务在日本市场占主导地位。 下图从三...

Spark(一): 基本架构及原理

2019-11-18 15:43 | 分类:数据库 | 评论:0 次 | 浏览: 27

Spark运行模式有Local,STANDALONE,YARN,MESOS,KUBERNETES这5种,其中最为常见的是YARN...

Flink入门(一)——Apache Flink介绍

2019-11-18 15:43 | 分类:数据库 | 评论:0 次 | 浏览: 32

Apache Flink是什么? ​ 在当代数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何...

数据采集

2019-11-17 15:38 | 分类:数据库 | 评论:0 次 | 浏览: 30

链接:https://bdcc.bigdataedu.org/block/48(需账号登录) ...

数据挖掘

2019-11-17 15:38 | 分类:数据库 | 评论:0 次 | 浏览: 31

...

Apache Spark 3.0 预览版正式发布,多项重大功能发布

2019-11-17 15:38 | 分类:数据库 | 评论:0 次 | 浏览: 36

2019年11月08日 数砖的 Xingbo Jiang 大佬给社区发了一封邮件,宣布 Apache Spark 3.0 预览版...

Copyright © 2019  萬仟网 保留所有权利. 粤ICP备17035492号-1
站长QQ:2386932994 | 联系邮箱:2386932994@qq.com