热点推荐

分享通过修改操作系统hosts实现翻墙访问国外网站的方法

本文分享通过修改操作系统的hosts文件实现访问google的方法,并且提供相应的IP地址(请通过文章末尾的下载按钮进行下载)。下面按照不同的操作系统来...

大数据

大数据学习——Apache Hadoop 2.8.0正式发布

2017年03月31日 ⁄ 共 2750字 评论关闭
时隔两年,Apache Hadoop终于又有大改版,Apache基金会近日发布了Hadoop 2.8版,一次新增了2,919项更新功能或新特色。不过,Hadoop官网建议,2.8.0仍有少数功能在测试,要等到释出2.8.1或是2.8.2版才适合用于正式环境。   在2.8.0版众多更新,主要分布于4大套件分别是:   共用套件(Common) 底层分散式档案系统HDFS套件(HDFS) MapReduce运算套件(MapReduce) YARN分析框架(YARN) 例如,共用套件中,可无上限存取S3档案的Ha...
阅读全文

大数据

大数据学习——Rheem,一个高效且易于扩展的大数据处理开源框架

2017年03月24日 ⁄ 共 2200字 评论关闭
RHEEM是一个可扩展且易于使用的跨平台大数据分析系统,它在现有的数据处理平台之上提供了一个抽象。它允许用户使用易于使用的编程接口轻松地编写数据分析任务,为开发者提供了不同的方式进行性能优化,编写好的程序可以在任意数据处理平台上允许,这其中包括:PostgreSQL, Spark, Hadoop MapReduce或者Flink等;Rheem将选择经典处理框架的最佳配置来运行这些程序。RHEEM抽象完全基于用户定义函数(UDF),允许用户专注于其应用...
阅读全文
大数据

大数据学习——org.apache.hadoop.hbase.io.ImmutableBytesWritable异常的两种解决方法

2017年03月23日 ⁄ 共 4949字 评论关闭
本文分享两种解决object not serializable (class: org.apache.hadoop.hbase.io.ImmutableBytesWritable)的方法。现在整理处理,分享给需要的兄弟们。   在使用Spark操作Hbase的时候,其返回的数据类型是RDD[ImmutableBytesWritable,Result],我们可能会对这个结果进行其他的操作,比如join等,但是因为org.apache.hadoop.hbase.io.ImmutableBytesWritable 和 org.apache.hadoop.hbase.client.Result 并没有实现 java.io.Serial...
阅读全文
大数据

大数据学习——Spark Structured Streaming入门编程指南

2017年03月22日 ⁄ 共 13626字 评论关闭
概览     Structured Streaming 是一个可拓展,容错的,基于Spark SQL执行引擎的流处理引擎。使用小量的静态数据模拟流处理。伴随流数据的到来,Spark SQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。你可以在Spark SQL上引擎上使用DataSet/DataFrame API处理流数据的聚集,事件窗口,和流与批次的连接操作等。最后Structured Streaming 系统快速,稳定,端到端的恰好一次保证,支持容错的处理。 使用范例   import...
阅读全文
大数据

深入了解Hadoop Streaming的工作原理以及分享几个Hadoop Streaming的使用场景

2017年03月21日 ⁄ 共 9774字 评论关闭
本文深入讲述了Hadoop Streaming的工作原理,以及如何使用Hadoop Streaming。同时列出了几个使用Hadoop Streaming的场景。   Hadoop Streaming 是 Hadoop 提供的一个 MapReduce 编程工具,它允许用户使用任何可执行文件、脚本语言或其他编程语言来实现 Mapper 和 Reducer 作业。比如下面的例子   mapred streaming \ -input myInputDirs \ -output myOutputDir \ -mapper /bin/cat \ -reducer /usr/bin/wc   Hadoop Streaming程...
阅读全文
其它

分享通过修改操作系统hosts实现翻墙访问国外网站的方法

2017年03月20日 ⁄ 共 510字 评论关闭
本文分享通过修改操作系统的hosts文件实现访问google的方法,并且提供相应的IP地址(请通过文章末尾的下载按钮进行下载)。下面按照不同的操作系统来介绍: Windows   用文本编辑器打开C:\Windows\System32\drivers\etc中的hosts文件,然后复制下载的hosts文件里面的全部内容到C:\Windows\System32\drivers\etc\hosts文件里。   Android   修改/system/etc/hosts文件,不过这个需要ROOT权限,而且需要重启手机。   Linux  ...
阅读全文
Android开发经验

ListView复用和优化详解

11月10日 评论关闭
前言 我们每一个Android开发人员对ListView的使用肯定是很熟悉的,然而多少人能真正的懂ListView的缓存机制呢,说白了就是List...
共有34478篇文章 更 多
Android/iOS应用

SimpleChat——最棒的Android聊天室系统

08月24日 评论关闭
SimpleChat是一个最棒的Android聊天室系统,使用firebase作为数据库,小时能实时的传递,具有IRC样式。 特性: 1、实时...
共有343篇文章 更 多
微信开发

div+css实现页面右侧底部悬浮层

04月27日 评论关闭
效果图: 代码如下:   div+css页面右侧底部悬浮层 原文 QQ在线咨询 微信 微博 mail
共有1392篇文章 更 多
数据库开发经验

oracle数据库常用语句

11月10日 评论关闭
--查看数据库版本-- select * from product_component_version; -- 查看dbf存放位置 select * from dba_data_files; -- 查看...
共有7454篇文章 更 多
iOS开发经验

const,static,extern 简介

11月10日 评论关闭
const,static,extern 简介 一、const与宏的区别: const简介:之前常用的字符串常量,一般是抽成宏,但是苹果不推荐我们抽成...
共有14486篇文章 更 多
移动开发资讯

Google Android或采纳苹果的Swift编程语言:避开

04月08日 评论关闭
据TNW报道,苹果正考虑将苹果公司开源的Swift作为Android的“一类”编程语言。有消息称,在苹果宣布将Swift开源的前后(去年12...
共有614篇文章 更 多
游戏开发

再谈虚表

05月22日 评论关闭
图上3类C3中继承关系,内存布局都有影响     多继承可导致子类有多个虚表指针,导致了成员变量排列在n*sizeof (vo...
共有323篇文章 更 多
编程语言

ibatis2查询日期格式字段自动截断小时分钟秒的解决方

01月18日 评论关闭
最近在使用ibatis2开发项目的时,通过select语句查询出来的日期格式会自动把后面的小时分钟秒给截断了,开始以为是程序的问题...
共有27018篇文章 更 多
×