花开时节
see_you_again · 共 210 篇文章
[置顶] 收藏的博客及网站
1. http://gary0416.iteye.com/ 2. http://www.lupaworld.com/portal.php?mod=list&catid=586 业界资讯 3. http://www.lupaworld.com/article-258417-1.html 教程开源 4. http://www.lupaworld.com/home.php?mod=space&uid=22802&do=blog&view=me&from=space&page=2 文章不错 5.15个Android通用流行框架大全 http://www.lupaworld.com/article-2…
2015-10-20 15:48 · 知识点收集 · 评论(0)
大数据学习笔记1000条
笔记汇总 1. Zookeeper用于集群主备切换。 2. YARN让集群具备更好的扩展性。 3. Spark没有存储能力。 4. Spark的Master负责集群的资源管理,Slave用于执行计算任务。 5. Hadoop从2.x开始,把存储和计算分离开来,形成两个相对独立的子集群:HDFS和YARN,MapReduce依附于YARN来运行。 6. YARN可以为符合YARN编程接口需求的集群提供调度服务。 7. YARN: ResourceManager 一主多备 NodeManager 一般与DataNode部署在一起。 8. 单机硬件配置会严重影响集群的性能。 9. 初始化集群机器环…
2017-05-28 11:26 · 大数据 · 评论(0)
异常、堆内存溢出、OOM的几种情况
1、堆内存溢出 【情况一】: java.lang.OutOfMemoryError: Java heap space:这种是java堆内存不够,一个原因是真不够,另一个原因是程序中有死循环; 如果是java堆内存不够的话,可以通过调整JVM下面的配置来解决: < jvm-arg>-Xms3062m < / jvm-arg> < jvm-arg>-Xmx3062m < / jvm-arg> 【情况二】 java.lang.OutOfMemoryError: GC overhead limit exceeded 【解释】:JDK6新增错误类型,当GC为释放很小空间占用大量时间时抛出;一般是因为堆…
2017-05-19 15:58 · 知识点 · 评论(0)
Java -D参数
-D set a systemproperty(设置系统属性) 可通过语句System.getProperties().list(System.out);查看有哪些参数可以设置。 可设置的参数: -- listing properties -- java.runtime.name=Java(TM) 2 Runtime Environment, Stand... sun.boot.library.path=C:\Program Files\Java\jre1.5.0_08\bin java.vm.version=1.5.0_08-b03 java.vm.vendor=Sun Microsyst…
2017-05-03 08:48 · 知识点收集 · 评论(0)
测试java多线程CPU占用率
public class App { public static void main(String[] args) { int num = args[0].toString()==null?1:Integer.parseInt(args[0].toString()) ; System.out.println("args[0] is "+num); ExecutorService cachedThreadPool = Executors.newFixedThreadPool(num); final AtomicLong atomic = new AtomicLong(0); for (int …
2017-05-02 17:13 · demo · 评论(0)
模式匹配case class
match表达式 // 正则匹配 val pattern = "([0-9]+) ([a-z]+)".r; "741258933 hadoop" match { case pattern(num,item) => println(num+":"+item) } 输出结果:741258933:hadoop 数组匹配 def match_array(arr:Any) = arr match{ case Array(0) => println("Array:0" ) case Array(x,y) => println("Array:x="+x+",y="+y ) case Array(0,_*)…
2017-04-21 15:16 · Scala · 评论(0)
hiveSQL执行详细流程
1、提交sql 交给驱动 2、驱动编译解析相关的字段表信息 3、去metastore查询相关的信息返回字段表信息 4、编译返回信息 发给驱动 5、驱动发送一个执行计划交给执行引擎 6.1、DDLs 对数据库表的操作的直接和metastore交互 create table t1(name string); 6.1、把job交给job tracker 让task tracker执行 返回执行信息 6.2、完成job返回数据信息、找namenode查数据 6.3、namenode交互 select count(1) from t1; 6.1、dfs ops 直接和直接去数据 select * fr…
2017-04-21 14:03 · 大数据 · 评论(0)
使用tomcat启动solr
windows或者linux服务器下部署 第一步 建立一个solr的运行目录 例如:D:\solr-tomcat 将下载的solr-4.10.4中的solr-4.10.4\example目录下的solr文件夹拷贝到D:\solr-tomcat目录下 第二步 建立JNDI文件 在tomcat的conf\Catalina\localhost目录下建立文件solr.xml <Context path="/solr" docBase="D:\apache-tomcat-8.0.15\solr.war"> <Environment name="solr/home" type="java.lang.St…
2017-04-21 13:59 · 大数据 · 评论(0)
HDFS常用命令
bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加一个或者多个文件到hdfs制定文件中.也可以从命令行读取输入. <!--[if !supportLists]-->· <!--[endif]--> hdfs dfs -appendToFile localfile /user/hadoop/hadoopfile <!--[if !supportLists]-->· <!--[endif]--> hdfs dfs -appendToFile localfile1 localfile2 …
2017-04-21 13:55 · 大数据 · 评论(0)
常用数据库操作
下面按类别列出一些ORACLE用户常用数据字典的查询使用方法。 1、用户 查看当前用户的缺省表空间 SQL>select username,default_tablespace from user_users; 查看当前用户的角色 SQL>select * from user_role_privs; 查看当前用户的系统权限和表级权限 SQL>select * from user_sys_privs; SQL>select * from user_tab_privs; 2、表 查看用户下所有的表 SQL>select * from user_tables; 查看名称包含log字符的表 SQL>…
2017-04-20 15:34 · oracle · 评论(0)
Linux 下zip包的压缩与解压
linux zip 命令详解 功能说明:压缩文件。 语 法:zip [-AcdDfFghjJKlLmoqrSTuvVwXyz$][-b <工作目录>][-ll][-n <字尾字符串>][-t <日期时间>][-<压缩效率>][压缩文件][文件...][-i <范本样式>][-x <范本样式>] 补充说明:zip是个使用广泛的压缩程序,文件经它压缩后会另外产生具有".zip"扩展名的压缩文件。 参 数: -A 调整可执行的自动解压缩文件。 -b<工作目录> 指定暂时存放文件的目录。 -c 替每个被压缩的文件加上注释。 -d 从压缩文件内删除指定的文件。 -D 压缩文件内不建立目录名称。 -f …
2017-04-17 13:38 · OS · 评论(0)
2017 年你不能错过的 Java 类库
因为内容非常好,我便将它整理成参考列表分享给大家, 同时附上各个库的特性简介和示例。 请欣赏! Guice Guice (发音同 ‘juice’) ,是一个 Google 开发的轻量级依赖性注入框架,适合 Java 6 以上的版本。 # Typical dependency injection public class DatabaseTransactionLogProvider implements Provider<TransactionLog> { @Inject Connection connection; public TransactionLog get() { return n…
2017-04-10 15:21 · 知识点收集 · 评论(0)
TcpTimedWaitDelay
TcpTimedWaitDelay 由于等待时间太长,导致端口大量被占用,影响并发数。 Data type Range Default value REG_DWORD 0x1E 0x12C ( 30–300 seconds ) 0xF0 ( 240 seconds = 4 minutes ) 描述 确定的时间也需要TCP可以释放一个封闭连接和重用其资源。关闭并释放之间的时间间隔称为TIME_WAIT状态或2实验室状态。在这段时间里,可以重新连接在客户端和服务器更少的成本比建立一个新的连接。 RFC 793要求TCP保持关闭连接的间隔至少等于两倍的最大段终生火星科学实验室(2)网络。当连接释放…
2017-04-10 14:48 · OS · 评论(0)
Oracle中INITRANS和MAXTRANS参数
from:http://blog.sina.com.cn/s/blog_5eb210c50100gq7m.html 每个块都有一个块首部。这个块首部中有一个事务表。事务表中会建立一些条目来描述哪些事务将块上的哪些行/元素锁定。这个事务表的初始大小由对象的INITRANS 设置指定。对于表,这个值默认为2(索引的INITRANS 也默认为2)。事务表会根据需要动态扩展,最大达到MAXTRANS 个条目(假设块上有足够的自由空间)。所分配的每个事务条目需要占用块首部中的23~24 字节的存储空间。注意,对于Oracle 10g,MAXTRANS 则会忽略,所有段的MAXTRANS 都是255。 …
2017-04-05 14:38 · oracle · 评论(0)