现在位置: 首页 > summer发表的所有文章
本教程主要实现了在ubuntu16.04上搭建hadoop2.6.5的单机和伪分布运行环境。搭建过程中用到的软件jdk1.7、hadoop2.6.5、ubuntu16.04都是64位的。 1、安装ubuntu。 这个网上很多教程,大家去搜下即可。一般是在win7中使用vmware创建一个虚拟机,然后在虚拟机中安装ubuntu。我用的是最新的ubuntu16.04 64位桌面版。下载地址为:https://www.ubuntu.com/download/desktop。提供一个在虚拟机中安装ubuntu的教程: http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html。在选择虚拟机内存的时候一定要选择2G的内存,否则在......
阅读全文
  • 12月
  • 23日
大数据 ⁄ 共 141字 评论关闭
本书收集了6个在企业中使用hadoop生态系统解决大数据的案例。通过阅读本书,可以让你的hadoop技能上升一个级别,并且能够把hadoop的知识运用于解决企业大数据的实际问题、利用好企业大数据。本书是英文版。作者:Anurag Shrivastava。2016年9月出版。 本书目录:
阅读全文
  • 12月
  • 23日
大数据 ⁄ 共 427字 评论关闭
《Hadoop权威指南》第三版PDF中文版下载,清华大学2015年1月1号出版,由华东师范大学数据科学与工程学院主持翻译。本书增加了很多hadoop2.X的新特性,包含MapReduceAPI,以及MapReduce2及其灵活性更强的执行模型(YARN)等。适用于Hadoop初学者、有一定工作经验的Hadoop开发者和管理员。 本书目录: Chapert 1:初始Hadoop Chapert 2:关于MapReduce Chapert 3:Hadoop分布式文件系统 Chapert 4:Hadoop的I/O操作 Chapert 5:MapReduce应用开发 Chapert 6:MapReduce工作机制 Chapert 7:MapReduce的类型与格式 Chapert 8:MapReduce的特性 ......
阅读全文
  • 12月
  • 22日
大数据 ⁄ 共 1371字 评论关闭
本文将概述即将发布的Apache Flink 1.2.0新功能。在Apache Flink 1.1+版本上,社区主要的集中点在操作性(Operations)、生态系统(Ecosystem)、更广泛的用户(Broader Audience)以及应用特性(Application Features)等方面的开发。各个模块的开发主要包括了如下的方向: 而Flink 1.2版本对以下的方面进行了提升,其中动态扩展(Dynamic Scaling)和可查询状态(Queryable State)又是本版本的重中之重。 动态扩展(Dynamic Scaling)和可查询状态(Queryable State) 这个是Apache Flink 1.2.0版本的功能的重中之重,后面会重......
阅读全文
  • 12月
  • 16日
大数据 ⁄ 共 6134字 评论关闭
前言   《HDFS NameNode内存全景》中,我们从NameNode内部数据结构的视角,对它的内存全景及几个关键数据结构进行了简单解读,并结合实际场景介绍了NameNode可能遇到的问题,还有业界进行横向扩展方面的多种可借鉴解决方案。 事实上,对NameNode实施横向扩展前,会面临常驻内存随数据规模持续增长的情况,为此需要经历不断调整NameNode内存的堆空间大小的过程,期间会遇到几个问题: 1、当前内存空间预期能够支撑多长时间。 2、何时调整堆空间以应对数据规模增长。 3、增加多大堆空间。 4、另一方面NameNode堆空间又不能无......
阅读全文
  • 12月
  • 14日
大数据 ⁄ 共 9703字 评论关闭
一、概述 从整个HDFS系统架构上看,NameNode是其中最重要、最复杂也是最容易出现问题的地方,而且一旦NameNode出现故障,整个Hadoop集群就将处于不可服务的状态,同时随着数据规模和集群规模地持续增长,很多小量级时被隐藏的问题逐渐暴露出来。所以,从更高层次掌握NameNode的内部结构和运行机制尤其重要。除特别说明外,本文基于社区版本Hadoop-2.4.1[1][2],虽然2.4.1之后已经有多次版本迭代,但是基本原理相同。   NameNode管理着整个HDFS文件系统的元数据。从架构设计上看,元数据大致分成两个层次:Namespace管理层,负责管......
阅读全文
  • 12月
  • 01日
大数据 ⁄ 共 2745字 评论关闭
1、登录用户界面后,要想切换到命令行,有两个方法:(1)点击左上角,然后搜索xterm,就可以打开命令行了。(2)在空白地方点击鼠标右键,在弹出的菜单中点击“打开终端(E)”即可。 2、ubuntu在安装时是不指定root账号的密码,当你没设置密码时,密码是随机的。通过在安装时设置的用户登录后,打开终端,输入如下的命令:sudo passwd root 。然后会让你输入两次密码,这时root账号的密码已经设置完成,不在是随机的。 3、使用ifconfig获取IP地址信息。 4、当需要root账号时,在命令行输入su,然后输入root的密码,这时就可以在登录账......
阅读全文
因为工作的原因,需要在ubuntu16.04上安装ssh软件,便于在windows7上使用putty连接远程的linux服务器。在使用sudo apt-get install openssh-server命令安装ssh是出现如下的错误: E:软件包openssh-server还没有可供安装的候选者。 这是因为我安装的是ubuntu16.04 LTS操作系统,这个操作系统没有包含有openssh server软件。 解决方法是先下载openssh server软件,然后进行安装。 下载软件的命令为:sudo apt-get update。下载完毕后使用sudo apt-get install openssh-server安装。 使用sudo /etc/init.d/ssh start命令开启ssh服务。 ......
阅读全文
  • 11月
  • 10日
编程语言 ⁄ 共 246字 评论关闭
spring配置文件中可以配置多套不同环境配置,如下: <beans xml.....>     <beans profile="dev">     </beans>   <beans profile="test">     </beans>   </beans> 集成Web.xml:设置相应的环境标识来应用配置。 <context-param> <param-name>Spring.profile.name</param-name> <param-value>dev</param-value> </context-param>  
阅读全文
  • 11月
  • 10日
Android开发经验 ⁄ 共 6952字 评论关闭
前言 我们每一个Android开发人员对ListView的使用肯定是很熟悉的,然而多少人能真正的懂ListView的缓存机制呢,说白了就是ListView为了提高效率,而内部实现的一种优化,牺牲一点内存。而这种优化就需要复用ItemView(也就是item对应的View).那么下面楼主来对ListView和RecyclerView的item复用问题做一个深入的讲解 先来一张大家学习的时候都遇到过的图 看不懂也没啥事,可以接着往下看,先有一个直观的认识 首先来解答几个问题 1.ListView为什么会存在Item复用问题 答:ListView内部为了优化而建立的复用机制,在下面方法中第二个参数就是......
阅读全文
  • 11月
  • 10日
编程语言 ⁄ 共 4540字 评论关闭
× 目录 [1]总括 [2]算术运算符 [3]赋值运算符[4]位运算符[5]比较运算符[6]错误控制[7]逻辑运算符[8]字符串连接[9]数组运算符 前面的话   运算符是可以通过给出的一或多个表达式来产生另一个表达式的东西。与javascript类似,php也拥有类似的运算符语法,本文将详细介绍php运算符   [注意]关于javascript运算符语法移步至此   总括   运算符可按照其能接受几个值来分组。一元运算符只能接受一个值,例如 !(逻辑取反运算符)或 ++(递增运算符)。 二元运算符可接受两个值,例如熟悉的算术运算符 +(加)和 -(减)......
阅读全文
  • 11月
  • 10日
编程语言 ⁄ 共 788字 评论关闭
默认情况下,正则表达式 ^ 和 忽略行结束符,仅分别与整个输入序列的开头和结尾匹配。如果激活 MULTILINE 模式,则 ^ 在输入的开头和行结束符之后(输入的结尾)才发生匹配。处于 MULTILINE 模式中时, 仅在行结束符之前或输入序列的结尾处匹配。 import java.util.regex.Pattern; /** * Created by Frank * 使用正则表达式在文本中查找换行符 */ public class NLMatch { public static void main(String[] args) { String input = "I dream of engines\nmore engines, all day long"; System.out.println......
阅读全文
×