现在位置: 首页 > summer发表的所有文章
  • 02月
  • 08日
日历(Calendars) ⁄ 共 1150字 评论关闭
CalendarView是一个开源的Android日历视图控件,能够把月和星期整合起来一起显示数据。   特性: 1、自定义样式颜色和文字大小。   2、可以将周六、周日或者周一设置为每周的第一天。   3、Overflow mark below the day when the views don't fit   可定制的属性: <com.sickmartian.calendarview.MonthView xmlns:calendar_view="http://schemas.android.com/apk/res-auto" android:layout_below="@+id/control_container" calendar_view:textSize="12sp" calendar_view:activeTextColor="@color/colorPrimaryText" calendar_vi......
阅读全文
  • 02月
  • 07日
大数据 ⁄ 共 2454字 评论关闭
在大数据领域,处理数据速度快是Spark的一大亮点,也称为很多公司选择的Spark的一个主要原因,但是每个事物都有双面性,本文列出Spark的优点和缺点,一共各位大牛在技术选型时做个参考。   如果你要寻求一种处理海量数据的解决方案,就会有很多可选项。选择哪一种取决于具体的用例和要对数据进行何种操作,可以从很多种数据处理框架中进行遴选。例如Apache的Samza、Storm和Spark等等。本文将重点介绍Spark的功能,Spark不但非常适合用来对数据进行批处理,也非常适合对实时的流数据进行处理。   Spark目前已经非常成熟,数据处理工......
阅读全文
  • 02月
  • 07日
大数据 ⁄ 共 2441字 评论关闭
Apache Flink 1.2.0于2017年2月7日正式发布。其API和其他1.x.y版本使用@Public标注的API是兼容的。Apache Flink 1.2.0是1.x.y系列的第三个主要版本。本版本一共解决了650个issues。   下面我们来看下Apache Flink 1.2.0的新特性。   Dynamic Scaling / Key Groups Flink streaming job 现在支持通过从带有不同并行度的保持点(savepoint)恢复来修改作业的并行度。整个作业的并行度和操作符(operator)的并行度的修改都是支持的。在StreamExecutionEnvironment中,用户可以通过设置被称为“max parallelism”的参数为每个作业进行参数配......
阅读全文
  • 02月
  • 07日
大数据 ⁄ 共 1441字 评论关闭
2017年1月29日Apache CarbonData发布了1.0.0版本。CarbonData是一款由华为开发、开源并支持Apache Hadoop的列式存储文件格式,支持索引、压缩以及解编码等,其目的是为了实现同一份数据达到多种需求,而且能够实现更快的交互查询。目前该项目正处于Apache孵化过程中。下面我们来看下CarbonData 1.0.0版本的新特性:   新的数据加载解决方案 旧版本的CarbonData数据加载解决方案依赖了Kettle引擎,然而Kettle引擎并不是为大数据领域而设计的,而且代码的维护非常复杂。所以,在Apache CarbonData 1.0.0版本,引入了新的数据加载解决......
阅读全文
本文主要介绍如何在window7中使用eclipse开发hadoop项目。我们首先要做的工作是先搭建hadoop的伪分布或完全分布运行环境。关于hadoop的伪分布运行环境请参考:hadoop自学笔记1——hadoop2.6.5 ubuntu16.04单机和伪分布环境搭建教程。 搭建hadoop开发环境需要用到如下的软件:jdk1.7(64位),eclipse(LUNA),hadoop-eclipse-plugin-2.6.5.jar,hadoop-common-2.2.0-bin-master.zip,hadoop-2.6.5。相关的软件我都上传到了百度云,大家可以在文章末尾找到相关的链接进行下载。 1、设置hadoop jobTracker和HDFS端口。 这两个端口是在hadoo......
阅读全文
  • 01月
  • 19日
大数据 ⁄ 共 1549字 评论关闭
Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业,成为Apache的顶级项目。从此hadoop生态系统又添加一新成员。 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一个非常大的贡献。Apache Beam的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。   Beam仅仅是一个SDK,是一个应用顶层的API,那么......
阅读全文
  • 01月
  • 19日
大数据 ⁄ 共 662字 评论关闭
Apache基金会在美国时间2017年1月17日正式对外发出通告: Hbase推出 1.3.0版。该版本大约解决了1700个issues,修复了大量bug,性能较于以往的版本有显著的提升。 以下的新特性值得关注: Date-based tiered compactions (HBASE-15181, HBASE-15339) Maven archetypes for HBase client applications (HBASE-14877) Throughput controller for flushes (HBASE-14969) Controlled delay (CoDel) based RPC scheduler (HBASE-15136) Bulk loaded HFile replication (HBASE-13153) More improvements to Procedure V2 Improvements to ......
阅读全文
最近在使用ibatis2开发项目的时,通过select语句查询出来的日期格式会自动把后面的小时分钟秒给截断了,开始以为是程序的问题,经过查找,确定不是程序的问题。然后查找ibatis的源码,发现也不是源码的问题。 后来经过一番查找,发现是jdbc jar包的问题,项目中使用的是class12.jar,换成ojdbc6.jar后,问题就解决了,不会把日期格式字段后面的小时分钟秒给截断了。 本文后面提供ojdbc6.jar的下载。 主要,在使用ojdbc6.jar时,必须把jdk换成1.6以上。
阅读全文
本教程主要实现了在ubuntu16.04上搭建hadoop2.6.5的单机和伪分布运行环境。搭建过程中用到的软件jdk1.7、hadoop2.6.5、ubuntu16.04都是64位的。 1、安装ubuntu。 这个网上很多教程,大家去搜下即可。一般是在win7中使用vmware创建一个虚拟机,然后在虚拟机中安装ubuntu。我用的是最新的ubuntu16.04 64位桌面版。下载地址为:https://www.ubuntu.com/download/desktop。提供一个在虚拟机中安装ubuntu的教程: http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html。在选择虚拟机内存的时候一定要选择2G的内存,否则在......
阅读全文
  • 12月
  • 23日
大数据 ⁄ 共 141字 评论关闭
本书收集了6个在企业中使用hadoop生态系统解决大数据的案例。通过阅读本书,可以让你的hadoop技能上升一个级别,并且能够把hadoop的知识运用于解决企业大数据的实际问题、利用好企业大数据。本书是英文版。作者:Anurag Shrivastava。2016年9月出版。 本书目录:
阅读全文
  • 12月
  • 23日
大数据 ⁄ 共 427字 评论关闭
《Hadoop权威指南》第三版PDF中文版下载,清华大学2015年1月1号出版,由华东师范大学数据科学与工程学院主持翻译。本书增加了很多hadoop2.X的新特性,包含MapReduceAPI,以及MapReduce2及其灵活性更强的执行模型(YARN)等。适用于Hadoop初学者、有一定工作经验的Hadoop开发者和管理员。 本书目录: Chapert 1:初始Hadoop Chapert 2:关于MapReduce Chapert 3:Hadoop分布式文件系统 Chapert 4:Hadoop的I/O操作 Chapert 5:MapReduce应用开发 Chapert 6:MapReduce工作机制 Chapert 7:MapReduce的类型与格式 Chapert 8:MapReduce的特性 ......
阅读全文
  • 12月
  • 22日
大数据 ⁄ 共 1371字 评论关闭
本文将概述即将发布的Apache Flink 1.2.0新功能。在Apache Flink 1.1+版本上,社区主要的集中点在操作性(Operations)、生态系统(Ecosystem)、更广泛的用户(Broader Audience)以及应用特性(Application Features)等方面的开发。各个模块的开发主要包括了如下的方向: 而Flink 1.2版本对以下的方面进行了提升,其中动态扩展(Dynamic Scaling)和可查询状态(Queryable State)又是本版本的重中之重。 动态扩展(Dynamic Scaling)和可查询状态(Queryable State) 这个是Apache Flink 1.2.0版本的功能的重中之重,后面会重......
阅读全文
×