R332">332 
        Delete delete = new Delete(Bytes.toBytes("wangwu"));
333 
        table.delete(delete);
334 
        System.out.println("删除成功。");
335 
    }
336
337 
    /**
338 
     * 删除数据
339 
     *
340 
     * @throws Exception 异常
341 
     */
342 
    @Test
343 
    public void multiDelete() throws Exception {
344 
        table = connection.getTable(TableName.valueOf(TABLE_NAME));
345 
        Delete delete = new Delete(Bytes.toBytes("zhangsan"));
346 
        //删除当前版本的内容
347 
        // delete.addColumn(Bytes.toBytes("more"),Bytes.toBytes("good"));
348 
        //删除所有版本
349 
        //delete.addColumns(Bytes.toBytes("more"),Bytes.toBytes("good"));
350
351 
        /*
352 
         * addColumn addColumns 是不一样的 ，记住了，
353 
         *
354 
         * addColumn 是删除单元格当前最近版本的 内容，
355 
         *
356 
         * addColumns 是删除单元格所有版本的内容
357 
         * */
358 
        //删除列族
359 
        delete.addFamily(Bytes.toBytes("info"));
360
361 
        table.delete(delete);
362 
        System.out.println("删除列成功。");
363 
    }
364
365 
    /**
366 
     * 删除表
367 
     *
368 
     * @throws Exception 异常
369 
     */
370 
    @Test
371 
    public void dropTable() throws Exception {
372 
        table = connection.getTable(TableName.valueOf(TABLE_NAME));
373 
        if (admin.tableExists(TableName.valueOf(TABLE_NAME))) {
374 
            admin.disableTable(TableName.valueOf(TABLE_NAME));
375 
            admin.deleteTable(TableName.valueOf(TABLE_NAME));
376 
            System.out.println("删除成功");
377 
        } else {
378 
            System.out.println("表不存在");
379 
        }
380 
    }
381 
}

+ 15 - 0
ipu-hbase-example/src/test/resources/hbase.properties
ファイルの表示 

@ -0,0 +1,15 @@
1 
#hadoop的安装目录 mysql
2 
hadoop.home.dir=/home/mysql/software/hadoop273
3 
#hbase在hadoop上的存储路径 iZm5e5xe1w25avi0io1f5aZ
4 
hbase.rootdir=hdfs://iZm5e5xe1w25avi0io1f5aZ:9000/hbase
5 
#hbase连接的zookeeper集群地址 iZm5e5xe1w25avi0io1f5aZ:2101,iZm5e5xe1w25avi0io1f5aZ:2102,iZm5e5xe1w25avi0io1f5aZ:2103
6 
hbase.zookeeper.quorum=iZm5e5xe1w25avi0io1f5aZ:2101,iZm5e5xe1w25avi0io1f5aZ:2102,iZm5e5xe1w25avi0io1f5aZ:2103
7 
#hbase表名
8 
table.name=school
9 
#hbase表的列族 <不能修改>
10 
table.cloumns=info###address###more
11 
#student的格式
12 
key=age###sex###city###address###hobby###good
13 
zhang.shan=18###男###beijing###tianjing###girl###basketball
14 
li.si=22###女###nanjing###fuzhou###boy###ball
15 
wang.wu=20###男###changsha###yueyang###girl###walk

+ 8 - 0
ipu-hbase-example/src/test/resources/log4j.properties
ファイルの表示 

@ -0,0 +1,8 @@
1 
log4j.rootLogger=error, console
2 
log4j.logger.org.apache.zookeeper=error
3 
log4j.logger.com.ai.ipu.example=debug
4
5 
log4j.appender.console=org.apache.log4j.ConsoleAppender
6 
log4j.appender.console.target=System.out
7 
log4j.appender.console.layout=org.apache.log4j.PatternLayout
8 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %5p [%t] (%F:%L) - %m%n

+ 86 - 0
ipu-spark-example/pom.xml
ファイルの表示 

@ -0,0 +1,86 @@
1 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
2 
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
3 
	<modelVersion>4.0.0</modelVersion>
4
5 
	<parent>
6 
		<groupId>com.ai.ipu</groupId>
7 
		<artifactId>ipu-aggregator</artifactId>
8 
		<version>3.1-SNAPSHOT</version>
9 
	</parent>
10
11 
	<groupId>com.ai.ipu.example</groupId>
12 
	<artifactId>ipu-spark-example</artifactId>
13 
	<version>1.0</version>
14 
	<packaging>jar</packaging>
15
16 
	<name>ipu-spark-example</name>
17 
	<url>http://maven.apache.org</url>
18
19 
	<properties>
20 
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
21 
		<ipu>3.1-SNAPSHOT</ipu>
22 
		<jdk>1.8</jdk>
23 
		<junit>4.12</junit>
24 
		<spark>2.4.1</spark>
25 
		<slf4j-api>1.7.16</slf4j-api>
26 
	</properties>
27
28 
	<dependencies>
29 
		<dependency>
30 
			<groupId>junit</groupId>
31 
			<artifactId>junit</artifactId>
32 
			<version>${junit}</version>
33 
			<scope>test</scope>
34 
		</dependency>
35
36 
		<dependency>
37 
			<groupId>com.ai.ipu</groupId>
38 
			<artifactId>ipu-cache</artifactId>
39 
			<version>${ipu}</version>
40 
		</dependency>
41
42 
		<dependency>
43 
			<groupId>org.apache.hadoop</groupId>
44 
			<artifactId>hadoop-client</artifactId>
45 
			<version>2.7.3</version>
46 
		</dependency>
47
48 
		<!--<dependency>
49 
			<groupId>io.netty</groupId>
50 
			<artifactId>netty-all</artifactId>
51 
			<version>4.1.17.Final</version>
52 
		</dependency>-->
53
54 
		<dependency>
55 
			<groupId>org.apache.spark</groupId>
56 
			<artifactId>spark-core_2.11</artifactId>
57 
			<version>${spark}</version>
58 
		</dependency>
59
60 
		<!-- java.lang.NoSuchMethodError: org.slf4j.helpers.Util.reportFailure(Ljava/lang/String;)V -->
61 
		<dependency>
62 
			<groupId>org.slf4j</groupId>
63 
			<artifactId>slf4j-log4j12</artifactId>
64 
			<version>${slf4j-api}</version>
65 
		</dependency>
66
67 
		<!-- Failed to set setXIncludeAware(true) for parser -->
68 
		<!--<dependency>
69 
			<groupId>xerces</groupId>
70 
			<artifactId>xercesImpl</artifactId>
71 
			<version>2.9.1</version>
72 
		</dependency>-->
73 
	</dependencies>
74
75 
	<build>
76 
		<plugins>
77 
			<plugin>
78 
                <groupId>org.apache.maven.plugins</groupId>
79 
                <artifactId>maven-surefire-plugin</artifactId>
80 
                <configuration>
81 
                    <skip>true</skip>
82 
                </configuration>
83 
            </plugin>
84 
		</plugins>
85 
	</build>
86 
</project>

+ 46 - 0
ipu-spark-example/src/main/java/com/ai/ipu/example/spark/SparkConfig.java
ファイルの表示 

@ -0,0 +1,46 @@
1 
package com.ai.ipu.example.spark;
2
3 
import com.ai.ipu.basic.file.ResourceBundleUtil;
4
5 
/**
6 
 * 类描述
7 
 *
8 
 * @author lilb3@asiainfo.com
9 
 * @since 2019-07-01 15:36
10 
 **/
11 
public class SparkConfig {
12 
    private static final String CONFIG_FILE_PATH = "spark";
13 
    /*Spark集群*/
14 
    private static String sparkMaster;
15 
    /*Hadoop地址*/
16 
    private static String hdfsUri;
17 
    /*测试文件*/
18 
    private static String testFileName;
19 
    /*项目打包路径*/
20 
    private static String jarFilePath;
21
22 
    public static String getSparkMaster() {
23 
        return sparkMaster;
24 
    }
25
26 
    public static String getHdfsUri() {
27 
        return hdfsUri;
28 
    }
29
30 
    public static String getTestFileName() {
31 
        return testFileName;
32 
    }
33
34 
    public static String getJarFilePath() {
35 
        return jarFilePath;
36 
    }
37
38 
    /*加载配置文件*/
39 
    static {
40 
        try {
41 
            ResourceBundleUtil.initialize(CONFIG_FILE_PATH, SparkConfig.class);
42 
        } catch (Exception e) {
43 
            System.out.println(CONFIG_FILE_PATH + "配置文件读取失败" + e);
44 
        }
45 
    }
46 
}

+ 125 - 0
ipu-spark-example/src/main/java/com/ai/ipu/example/spark/SparkExample.java
ファイルの表示 

@ -0,0 +1,125 @@
1 
package com.ai.ipu.example.spark;
2
3 
import org.apache.spark.SparkConf;
4 
import org.apache.spark.api.java.JavaPairRDD;
5 
import org.apache.spark.api.java.JavaRDD;
6 
import org.apache.spark.api.java.JavaSparkContext;
7 
import org.apache.spark.api.java.function.FlatMapFunction;
8 
import org.apache.spark.api.java.function.Function2;
9 
import org.apache.spark.api.java.function.PairFunction;
10 
import org.apache.spark.api.java.function.VoidFunction;
11 
import scala.Tuple2;
12
13 
import java.util.Arrays;
14 
import java.util.Iterator;
15 
import java.util.List;
16
17 
/**
18 
 * Spark统计单词个数示例
19 
 *
20 
 * @author lilb3@asiainfo.com
21 
 * @since 2019-07-01 15:36
22 
 **/
23 
public class SparkExample {
24 
    public static void main(String[] args) {
25 
        /*
26 
         * 对于所有的spark程序所言，要进行所有的操作，首先要创建一个spark上下文。
27 
         * 在创建上下文的过程中，程序会向集群申请资源及构建相应的运行环境。
28 
         * 设置spark应用程序名称
29 
         * 创建的 sparkContext 唯一需要的参数就是 sparkConf，它是一组 K-V 属性对。
30 
         */
31 
        SparkConf sparkConf = new SparkConf().setAppName("SparkExample").setMaster(SparkConfig.getSparkMaster());
32 
        /*java.lang.ClassCastException: cannot assign instance of java.lang.invoke.SerializedLambda to field org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1.f$3 of type org.apache.spark.api.java.function.FlatMapFunction in instance of org.apache.spark.api.java.JavaRDDLike$$anonfun$fn$1$1*/
33 
        sparkConf.setJars(new String[]{SparkConfig.getJarFilePath()});
34
35 
        JavaSparkContext jsc = new JavaSparkContext(sparkConf);
36
37 
        // 用List构建JavaRDD
38 
        List<String> data = Arrays.asList("1", "2", "3", "4", "5");
39 
        JavaRDD<String> distData = jsc.parallelize(data);
40 
        List<String> intLine = distData.collect();
41 
        for (String string : intLine) {
42 
            System.out.println("List构建： " + string);
43 
        }
44
45 
        // 从hdfs读取文件形成RDD
46 
        String textFilePath = SparkConfig.getHdfsUri() + "/" + SparkConfig.getTestFileName();
47 
        /*
48 
         * 利用textFile接口从文件系统中读入指定的文件，返回一个RDD实例对象。
49 
         * RDD的初始创建都是由SparkContext来负责的，将内存中的集合或者外部文件系统作为输入源。
50 
         * RDD：弹性分布式数据集，即一个 RDD 代表一个被分区的只读数据集。一个 RDD 的生成只有两种途径，
51 
         * 一是来自于内存集合和外部存储系统，另一种是通过转换操作来自于其他 RDD，比如 Map、Filter、Join，等等。
52 
         * textFile()方法可将本地文件或HDFS文件转换成RDD，读取本地文件需要各节点上都存在，或者通过网络共享该文件
53 
         */
54 
        JavaRDD<String> lines = jsc.textFile(textFilePath);
55 
        List<String> stringLine = lines.collect();
56 
        for (String string : stringLine) {
57 
            System.out.println("文件读取： " + string);
58 
        }
59
60 
        // 行数据的分割，调用flatMap函数
61 
        /*
62 
         * new FlatMapFunction<String, String>两个string分别代表输入和输出类型
63 
         * Override的call方法需要自己实现一个转换的方法，并返回一个Iterable的结构
64 
         *
65 
         * flatmap属于一类非常常用的spark函数，简单的说作用就是将一条rdd数据使用你定义的函数给分解成多条rdd数据
66 
         * 例如，当前状态下，lines这个rdd类型的变量中，每一条数据都是一行String，我们现在想把他拆分成1个个的词的话，
67 
         */
68 
        //flatMap与map的区别是，对每个输入，flatMap会生成一个或多个的输出，而map只是生成单一的输出
69 
        //用空格分割各个单词,输入一行,输出多个对象,所以用flatMap
70 
        JavaRDD<String> words = lines.flatMap((FlatMapFunction<String, String>) s -> {
71 
            String[] words1 = s.split(" ");
72 
            return Arrays.asList(words1).iterator();
73 
        });
74
75 
        // 将数据转换为key/value键值对
76 
        /*
77 
         * pairFunction<T,K,V>: T:输入类型；K,V：输出键值对
78 
         * 表示输入类型为T,生成的key-value对中的key类型为k,value类型为v,对本例,T=String, K=String, V=Integer(计数)
79 
         * 需要重写call方法实现转换
80 
         */
81 
        //scala.Tuple2<K,V> call(T t)
82 
        //Tuple2为scala中的一个对象,call方法的输入参数为T,即输入一个单词s,新的Tuple2对象的key为这个单词,计数为1
83 
        JavaPairRDD<String, Integer> ones = words.mapToPair((PairFunction<String, String, Integer>) s -> {
84 
            System.out.println("mapToPair call: " + s);
85 
            return new Tuple2<>(s, 1);
86 
        });
87
88 
        // 聚合结果
89 
        /*
90 
         * 调用reduceByKey方法,按key值进行reduce
91 
         *  reduceByKey方法，类似于MR的reduce
92 
         *  要求被操作的数据（即下面实例中的ones）是KV键值对形式，该方法会按照key相同的进行聚合，在两两运算
93 
         *  若ones有<"one", 1>, <"one", 1>,会根据"one"将相同的pair单词个数进行统计,输入为Integer,输出也为Integer输出<"one", 2>
94 
         */
95 
        // reduce阶段，key相同的value怎么处理的问题
96 
        // 备注：spark也有reduce方法，输入数据是RDD类型就可以，不需要键值对，
97 
        // reduce方法会对输入进来的所有数据进行两两运算
98 
        JavaPairRDD<String, Integer> counts = ones.reduceByKey((Function2<Integer, Integer, Integer>) (i1, i2) -> {
99 
            System.out.println("reduceByKey call:" + i1 + ", " + i2);
100 
            return i1 + i2;
101 
        });
102
103 
        // 结果输出到HDFS，Windows对应的是真实目录，如：D:/logs/spark_test/1555319746196，父目录必须存在，否则不执行
104 
        counts.saveAsTextFile(SparkConfig.getHdfsUri() + "/spark/" + System.currentTimeMillis());
105
106
107 
        /*
108 
         * 结果转化为常见类型输出
109 
         * collect方法用于将spark的RDD类型转化为我们熟知的java常见类型
110 
         */
111 
        List<Tuple2<String, Integer>> output = counts.collect();
112 
        for (Tuple2<?, ?> tuple : output) {
113 
            System.out.println(tuple._1() + ": " + tuple._2());
114 
        }
115
116 
        // 直接输出
117 
        counts.foreachPartition((VoidFunction<Iterator<Tuple2<String, Integer>>>) tuple2Iterator -> {
118 
            while (tuple2Iterator.hasNext()) {
119 
                Tuple2<String, Integer> t2 = tuple2Iterator.next();
120 
                System.out.println(t2._1() + ": " + t2._2());
121 
            }
122 
        });
123 
        jsc.stop();
124 
    }
125 
}

+ 8 - 0
ipu-spark-example/src/main/resources/log4j.properties
ファイルの表示 

@ -0,0 +1,8 @@
1 
log4j.rootLogger=error, console
2 
log4j.logger.org.apache.zookeeper=error
3 
log4j.logger.com.ai.ipu.example=debug
4
5 
log4j.appender.console=org.apache.log4j.ConsoleAppender
6 
log4j.appender.console.target=System.out
7 
log4j.appender.console.layout=org.apache.log4j.PatternLayout
8 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %5p [%t] (%F:%L) - %m%n

+ 8 - 0
ipu-spark-example/src/main/resources/spark.properties
ファイルの表示 

@ -0,0 +1,8 @@
1 
#Spark集群
2 
spark.master=spark://iZm5e5xe1w25avi0io1f5aZ:7077
3 
#Hadoop地址
4 
hdfs.uri=hdfs://iZm5e5xe1w25avi0io1f5aZ:9000
5 
#测试文件
6 
test.file.name=aaa.txt
7 
#项目打包路径
8 
jar.file.path=D:\\ideaws\\rest\\code-example\\ipu-spark-example\\target\\ipu-spark-example-1.0.jar

rest-guide - Nuosi Git Service
首頁 探索 說明
登入
rest
/
rest-guide
關註 5
讚好 1
派生 0
代碼 問題管理 0 合併請求 0 提交歷史 234 版本發佈 0 Wiki

rest的向导工程

分支: master
分支列表 標籤列表
rest-guide
/
comp-example
liutong3 5a6b4e1d88 sonar扫描 3 年之前
..
src 5a6b4e1d88 sonar扫描 3 年之前
.gitignore e0e46714fb comp-example工程初始化 6 年之前
.project e0e46714fb comp-example工程初始化 6 年之前
pom.xml 76cf5b7d79 1.Hadoop/Hbase测试用例代码已经转移到对应目录，故删除。 6 年之前