[TOC]
# 簡介
jdk8出來的

顯示了過濾,映射,跳過,計數等多步操作,這是一種集合元素的處理方案,而方案是一種函數模型.
圖中每一種方框都是流,調用指定方法,可以從一個流轉換到另一個流.
這里的filter,map,skip都是對函數模型進行操作,集合元素并沒有真正的處理,只有當終結方法count執行的時候,整個模型才會按照指定策略執行操作.這得益于lambda的延遲執行特性.
備注: stream流,其實是一個集合元素的函數模型,它并不是集合,也不是數據結構,其本身并不存儲任何元素(或其他地址值)
Stream(流)是一個來自數據源的元素隊列
* 元素是特定類型的對象,形成一個隊列.java中的stream并不會存儲元素,而是按需計算.
* **數據源** 流的來源.可以是集合,數組等
和collection不同,stream操作還有兩個基礎特性
* **pipelining**: 中間操作都會返回流對象本身.這樣多個操作可以串聯成一個管道,如同流式風格.這樣做可以對操作進行優化,比如延遲支持和短路
* **內部迭代**: 以前對集合遍歷都是通過Iterator或者增強for的方式,顯示的在集合外部進行迭代,這叫做外部迭代.stream提供了內部迭代的方式,流可以直接調用遍歷方法.
# 獲取流
`java.util.stream.Stream<T>`是java8新加入的最常用的流接口(這不是一個函數式接口)
獲取一個流非常簡單,有以下幾種方式
* 所有的collection集合都可以通過stream默認方法獲取流
* stream接口的靜態方法of可以獲取數組對應的流
## 根據collection獲取流
首先,`java.util.Collection`接口中加入了default方法stream用來獲取流,所以其所有實現類均可獲取流
~~~
default Stream<E> stream() {
return StreamSupport.stream(spliterator(), false);
}
~~~
## strem.parallel()或者parallelStream并行流
創建流時,除非另有說明,否則它始終是串行流。要創建并行流,請調用操作`Collection.parallelStream`或者,調用操作`BaseStream.parallel`
~~~
//切換為順序流
sequential()
~~~
單個個線程計算`1+2+3+...+1000=?`,java 8代碼為:
~~~
public class DemoTest {
public static void main(String[] args) {
IntStream strem = IntStream.rangeClosed(1, 1000);
int sum = strem.sum();
System.out.println(sum);
}
}
~~~
引入并行計算,只需要添加`strem.parallel()`即可,具體如下:
~~~
public class DemoTest {
public static void main(String[] args) {
IntStream strem = IntStream.rangeClosed(1, 1000);
int sum = strem.parallel().sum();
System.out.println(sum);
}
}
~~~
`java.util.Collection<E>`新添加了兩個默認方法
* default Stream stream() : 返回串行流
* default Stream parallelStream() : 返回并行流
可以發現,stream()和parallelStream()方法返回的都是`java.util.stream.Stream<E>`類型的對象,說明它們在功能的使用上是沒差別的。唯一的差別就是單線程和多線程的執行
### 并行流的問題
發現一個查詢返回一會是3,一會是4
~~~
for (int i = 0; i < 100; i++) {
List<String> list1 = new ArrayList<>();
List<String> list2 = new ArrayList<>();
list1.add("a");
list1.add("b");
list1.add("c");
list1.add("d");
list1.parallelStream().forEach(list -> list2.add(list));
System.out.println(list2.size());
}
~~~
循環100次,會出現3,分析原因:ArrayList是線程不安全的,在并行流時,會出現并發問題。所以項目中不要動不動就用ArrayList,在高并發的情況下可能會有問題
**Arraylist本身底層是一個數組,多線程并發下線程并不安全,操作出現的原因無非就是多個線程賦值可能同時操作同一個地址,后賦值的把先賦值的給覆蓋掉了,才會出現這種問題**
## 靜態方法of獲取
參數是一個可變參數,那么我們可以傳遞一個數組
~~~
public static<T> Stream<T> of(T t) {
return StreamSupport.stream(new Streams.StreamBuilderImpl<>(t), false);
}
~~~
~~~
//集合轉為stream流
ArrayList<Object> list = new ArrayList<>();
Stream<Object> stream1 = list.stream();
HashSet<Object> set = new HashSet<>();
Stream<Object> stream2 = set.stream();
HashMap<Object, Object> map = new HashMap<>();
//獲取鍵存到一個collection集合中
Set<Object> keySet = map.keySet();
Stream<Object> stream3 = keySet.stream();
//獲取值存到coollection中
Collection<Object> values = map.values();
Stream<Object> stream4 = values.stream();
//獲取鍵值對
Set<Map.Entry<Object, Object>> entries = map.entrySet();
Stream<Map.Entry<Object, Object>> stream5 = entries.stream();
//把數組轉換為stream流
Stream<Integer> stream6 = Stream.of(1, 2, 3, 4, 5);
//可變參數可以傳遞數組
Integer[] arr = {1, 2, 3, 4, 5, 6};
Stream<Integer> stream7 = Stream.of(arr);
~~~
## 創建null的流
~~~
Stream<Object> stream = Stream.ofNullable(null);
stream.forEach(System.out::println);
~~~
## 生成無限流
~~~
迭代
// public static<T> Stream<T> iterate(final T seed, final UnaryOperator<T> f)
Stream<Integer> stream = Stream.iterate(0, x -> x + 2);
stream.limit(10).forEach(System.out::println);
// 生成
// public static<T> Stream<T> generate(Supplier<T> s)
Stream<Double> stream1 = Stream.generate(Math::random);
stream1.limit(10).forEach(System.out::println);
~~~
## 組合concat
~~~
public static <T> Stream<T> concat(Stream<? extends T> a, Stream<? extends T> b)
~~~
兩個流合并為一個流,與`java.lang.String`中的concat方法不同
# 常用方法

這些方法分為兩種:
* 延遲方法: 返回值類型仍然是Stream接口自身類型的方法,因此支持鏈式調用
* 終結方法: 返回值類型不再是Stream接口自身類型的方法,因此不再支持類似StringBuilder那樣的鏈式調用,終結方法包括: count和forEach方法
## 終止方法
### 逐一處理forEach
stream流中的常用方法forEach
~~~
void forEach(Consumer<? super T> action);
~~~
Consumer接口是一個消費型函數式接口
forEach是用來遍歷流中的數據
是一個終結方法,遍歷之后就不能繼續調用Stream流中的其他方法
### 按照順序取數據forEachOrdered
~~~
List<String> strs = Arrays.asList("a", "b", "c");
strs.stream().forEachOrdered(System.out::print);//abc
System.out.println();
strs.stream().forEach(System.out::print);//abc
System.out.println();
strs.parallelStream().forEachOrdered(System.out::print);//abc
System.out.println();
strs.parallelStream().forEach(System.out::print);//bca
~~~
先看第一段輸出和第二段輸出,使用的是stream的流,這個是一個串行流,也就是程序是串行執行的,所有看到遍歷的結果都是按照集合的元素放入的順序;
看第三段和第四段輸出,使用的parallelStream的流,這個流表示一個并行流,也就是在程序內部迭代的時候,會幫你免費的并行處理,關于java8的并行處理,會在后期為大家介紹;
第三段代碼的forEachOrdered表示嚴格按照順序取數據,forEach在并行中,隨機排列了;這個也可以看出來,在并行的程序中,如果對處理之后的數據,沒有順序的要求,使用forEach的效率,肯定是要更好的
### 統計個數count
~~~
long count();
~~~
返回是long值不像之前的int值
### 至少匹配一個元素anyMatch
anyMatch方法可以回答“流中是否有一個元素能匹配給定的詞”
~~~
List<String> words = Arrays.asList("Java 8", "Lambdas", "In", "Action");
boolean in = words.stream().anyMatch((x) -> x.equals("In"));
System.out.println(in);
~~~
### 是否匹配所有元素allMatch
allMatch方法的工作原理和anyMatch類似,但它會看看流中的元素是否都能匹配給定的
~~~
boolean isHealthy = menu.stream().allMatch(d -> d.getCalories() < 1000);
~~~
### 沒有任何元素與給定的匹配noneMatch
~~~
boolean isHealthy = menu.stream().noneMatch(d -> d.getCalories() >= 1000);
~~~
### 查找元素findAny
findAny方法將返回當前流中的任意元素。它可以與其他流操作結合使用。比如,你可能想
找到一道素食菜肴。你可以結合使用filter和findAny方法來實現這個查詢:
~~~
Optional<Dish> dish = menu.stream().filter(Dish::isVegetarian) .findAny();
~~~

findFirst是查找第一個
### max,min
~~~
max(Comparator c)
~~~
求 Stream 中的最大值、最小值。
例:取出 Stream 中最長的字符串
~~~
String[] testStrings = { "java", "react", "angular", "javascript", "vue" };
Optional<String> max = Stream.of(testStrings).max((p1, p2) -> Integer.compare(p1.length(), p2.length()));
System.out.println(max);
~~~
### 收集collect
~~~
//將流轉換為其他形式
collect(Collector c)
~~~
collect(toList()) 終止操作
由Stream中的值生成一個List列表,也可用collect(toSet())生成一個Set集合

~~~
String[] testStrings = { "java", "react", "angular", "vue" };
List<String> list = Stream.of(testStrings).collect(Collectors.toList());
for (int i = 0, length = list.size(); i < length; i++) {
System.out.println(list.get(i));
}
~~~
### 歸約reduce
~~~
//可以將流中元素反復結合起來,得到一個值。返回 T
reduce(T iden, BinaryOperator b)
//可以將流中元素反復結合起來,得到一個值。返回 Optional<T>
reduce(BinaryOperator b)
~~~
## 中間操作
### 去重distinct
~~~
@Test
public void distinctStream() {
Stream<String> distinctStream = Stream.of("bj","shanghai","tianjin","bj","shanghai").distinct();
Stream<String> sortedStream = distinctStream.sorted(Comparator.comparing(String::length));
sortedStream.forEach(x -> System.out.print(x + " "));
}
~~~
輸出
~~~
bj tianjin shanghai
~~~
### 排序sorted
~~~
Stream<Integer> sortedStream = Stream.of(1,3,7,4,5,8,6,2).sorted();
sortedStream.collect(Collectors.toList()).forEach(x -> System.out.print(x + " "));
System.out.println();
Stream<Integer> sortedReverseStream = Stream.of(1,3,7,4,5,8,6,2).sorted(new Comparator<Integer>() {
@Override
public int compare(Integer o1, Integer o2) {
return o1 - o2;
}
});
Stream<Integer> sortedReverseStreamV2 = Stream.of(1,3,7,4,5,8,6,2).sorted((Integer o1, Integer o2) -> o2 - o1);
sortedReverseStreamV2.collect(Collectors.toList()).forEach(x -> System.out.print(x + " "));
~~~
輸出
~~~
1 2 3 4 5 6 7 8
8 7 6 5 4 3 2 1
~~~
### 過濾filter
~~~
Stream<T> filter(Predicate<? super T> predicate);
~~~
把一個流轉換為他的子集
### 映射Map
把流中的元素映射到另一個
~~~
<R> Stream<R> map(Function<? super T, ? extends R> mapper);
~~~
### 扁平化flatmap
flatmap可用 Stream 替換值,并將多個 Stream 流合并成一個 Stream 流
我們先來看個為什么要使用這個
~~~
List<String> words = Arrays.asList("Java 8", "Lambdas", "In", "Action");
List<String[]> list = words.stream()
.map(word -> word.split("")).distinct().collect(toList());
~~~
這個方法的問題在于,傳遞給map方法的Lambda為每個單詞返回了一個String\[\](String 列表)。因此,map返回的流實際上是Stream類型的。你真正想要的是用 Stream來表示一個字符流

嘗試使用map和Arrays.stream()
首先,你需要一個字符流,而不是數組流。有一個叫作Arrays.stream()的方法可以接受 一個數組并產生一個流,例如:
~~~
String[] arrayOfWords = {"Goodbye", "World"}; Stream<String> streamOfwords = Arrays.stream(arrayOfWords);
~~~
把它用在前面的那個流水線里,看看會發生什么:

當前的解決方案仍然搞不定!這是因為,你現在得到的是一個流的列表(更準確地說是 Stream)!的確,你先是把每個單詞轉換成一個字母數組,然后把每個數組變成了一 個獨立的流。
你可以像下面這樣使用flatMap來解決這個問題
~~~
List<String> words = Arrays.asList("Java 8", "Lambdas", "In", "Action");
List<String> collect = words.stream()
.map(word -> word.split(""))
.flatMap(Arrays::stream)
.distinct()
.collect(toList());
~~~
使用flatMap方法的效果是,各個數組并不是分別映射成一個流,而是映射成流的內容。所 有使用`map(Arrays::stream)`時生成的單個流都被合并起來,即扁平化為一個流

一言以蔽之,flatmap方法讓你把一個流中的每個值都換成另一個流,然后把所有的流連接 起來成為一個流。

### 取前幾個limit
~~~
Stream<T> limit(long maxSize);
~~~
參數是long,如果集合當前長度大于參數進行截取,否則不進行截取
### 跳過前幾個skip
~~~
Stream<T> skip(long n);
~~~
如果流的長度大于n,則跳過n個.否則將會得到一個長度為0的空流
### 排序sorted
sorted有2個,無參和有參數(定制的)
~~~
//此時針對Employees進行排序:失敗。原因:Employee類沒有實現Comparable接口
// List<Employee> list1 = EmployeeData.getEmployees();
// list1.stream().sorted().forEach(System.out::println);
// sorted(Comparator com)——定制排序
List<Employee> list1 = EmployeeData.getEmployees();
list1.stream().sorted((e1,e2) -> {
if(e1.getAge() != e2.getAge()){
return e1.getAge() - e2.getAge();
}else{
return -Double.compare(e1.getSalary(),e2.getSalary());
}
}).forEach(System.out::println);
~~~
## 遇到不符合條件就終止talkWhile
從流中一直獲取判定器為真的元素,一旦遇到元素為假,就終止處理,后面就不處理了
~~~
Stream<Integer> stream = Stream.of(3, 9, 7, 1, 10, 11);
Stream<Integer> integerStream = stream.takeWhile(t -> t % 2 != 0);
integerStream.forEach(System.out::print);
~~~
輸出
3971
## 遇到不合適的就丟棄dropWhile
只要為真的就一直丟棄,直到遇見為假的,就終止處理,后面就不處理了
~~~
Stream<Integer> stream = Stream.of(3, 9, 7, 1, 6, 11);
Stream<Integer> integerStream = stream.dropWhile(t -> t % 2 != 0);
integerStream.forEach(System.out::print);
~~~
輸出
611
- 基礎
- 編譯和安裝
- classpath到底是什么?
- 編譯運行
- 安裝
- sdkman多版本
- jabba多版本
- java字節碼查看
- 數據類型
- 簡介
- 整形
- char和int
- 變量和常量
- 大數值運算
- 基本類型包裝類
- Math類
- 內存劃分
- 位運算符
- 方法相關
- 方法重載
- 可變參數
- 方法引用
- 面向對象
- 定義
- 繼承和覆蓋
- 接口和抽象類
- 接口定義增強
- 內建函數式接口
- 多態
- 泛型
- final和static
- 內部類
- 包
- 修飾符
- 異常
- 枚舉類
- 代碼塊
- 對象克隆
- BeanUtils
- java基礎類
- scanner類
- Random類
- System類
- Runtime類
- Comparable接口
- Comparator接口
- MessageFormat類
- NumberFormat
- 數組相關
- 數組
- Arrays
- string相關
- String
- StringBuffer
- StringBuilder
- 正則
- 日期類
- Locale類
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新時間日期API
- 簡介
- LocalDate,LocalTime,LocalDateTime
- Instant時間點
- 帶時區的日期,時間處理
- 時間間隔
- 日期時間校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判斷集合唯一
- Map和Entry
- stack類
- Collections集合工具類
- Stream數據流
- foreach不能修改內部元素
- of方法
- IO
- File類
- 字節流stream
- 字符流Reader
- IO流分類
- 轉換流
- 緩沖流
- 流的操作規律
- properties
- 序列化流與反序列化流
- 打印流
- System類對IO支持
- commons-IO
- IO流總結
- NIO
- 異步與非阻塞
- IO通信
- Unix的IO模型
- epoll對于文件描述符操作模式
- 用戶空間和內核空間
- NIO與普通IO的主要區別
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代碼
- 多線程
- 創建線程
- 線程常用方法
- 線程池相關
- 線程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的幾種線程池
- 線程安全
- 線程同步的幾種方法
- synchronized
- 死鎖
- lock接口
- ThreadLoad
- ReentrantLock
- 讀寫鎖
- 鎖的相關概念
- volatile
- 釋放鎖和不釋放鎖的操作
- 等待喚醒機制
- 線程狀態
- 守護線程和普通線程
- Lamda表達式
- 反射相關
- 類加載器
- 反射
- 注解
- junit注解
- 動態代理
- 網絡編程相關
- 簡介
- UDP
- TCP
- 多線程socket上傳圖片
- NIO
- JDBC相關
- JDBC
- 預處理
- 批處理
- 事務
- properties配置文件
- DBUtils
- DBCP連接池
- C3P0連接池
- 獲得MySQL自動生成的主鍵
- Optional類
- Jigsaw模塊化
- 日志相關
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 簡介
- 倉庫
- 目錄結構
- 常用命令
- 生命周期
- idea配置
- jar包沖突
- 依賴范圍
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多環境
- 自定義插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 亂碼
- session和cookie
- cookie
- session
- jsp
- 簡介
- 注釋
- 方法,成員變量
- 指令
- 動作標簽
- 隱式對象
- EL
- JSTL
- javaBean
- listener監聽器
- Filter過濾器
- 圖片驗證碼
- HttpUrlConnection
- 國際化
- 文件上傳
- 文件下載
- spring
- 簡介
- Bean
- 獲取和實例化
- 屬性注入
- 自動裝配
- 繼承和依賴
- 作用域
- 使用外部屬性文件
- spel
- 前后置處理器
- 生命周期
- 掃描規則
- 整合多個配置文件
- 注解
- 簡介
- 注解分層
- 類注入
- 分層和作用域
- 初始化方法和銷毀方法
- 屬性
- 泛型注入
- Configuration配置文件
- aop
- aop的實現
- 動態代理實現
- cglib代理實現
- aop名詞
- 簡介
- aop-xml
- aop-注解
- 代理方式選擇
- jdbc
- 簡介
- JDBCTemplate
- 事務
- 整合
- junit整合
- hibernate
- 簡介
- hibernate.properties
- 實體對象三種狀態
- 檢索方式
- 簡介
- 導航對象圖檢索
- OID檢索
- HQL
- Criteria(QBC)
- Query
- 緩存
- 事務管理
- 關系映射
- 注解
- 優化
- MyBatis
- 簡介
- 入門程序
- Mapper動態代理開發
- 原始Dao開發
- Mapper接口開發
- SqlMapConfig.xml
- map映射文件
- 輸出返回map
- 輸入參數
- pojo包裝類
- 多個輸入參數
- resultMap
- 動態sql
- 關聯
- 一對一
- 一對多
- 多對多
- 整合spring
- CURD
- 占位符和sql拼接以及參數處理
- 緩存
- 延遲加載
- 注解開發
- springMVC
- 簡介
- RequestMapping
- 參數綁定
- 常用注解
- 響應
- 文件上傳
- 異常處理
- 攔截器
- springBoot
- 配置
- 熱更新
- java配置
- springboot配置
- yaml語法
- 運行
- Actuator 監控
- 多環境配置切換
- 日志
- 日志簡介
- logback和access
- 日志文件配置屬性
- 開機自啟
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查詢
- 復雜查詢
- 多數據源的支持
- Repository分析
- JpaSpeci?cationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 動態sql
- 關聯映射
- 使用xml
- spring容器
- 整合druid
- 整合郵件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 請求
- restful
- 攔截器
- 常用注解
- 參數校驗
- 自定義filter
- websocket
- 響應
- 異常錯誤處理
- 文件下載
- 常用注解
- 頁面
- Thymeleaf組件
- 基本對象
- 內嵌對象
- 上傳文件
- 單元測試
- 模擬請求測試
- 集成測試
- 源碼解析
- 自動配置原理
- 啟動流程分析
- 源碼相關鏈接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 創建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本數據類型
- 函數
- 區間
- 區塊鏈
- 簡介
- linux
- ulimit修改
- 防止syn攻擊
- centos7部署bbr
- debain9開啟bbr
- mysql
- 隔離性
- sql執行加載順序
- 7種join
- explain
- 索引失效和優化
- 表連接優化
- orderby的filesort問題
- 慢查詢
- show profile
- 全局查詢日志
- 死鎖解決
- sql
- 主從
- IDEA
- mac快捷鍵
- 美化界面
- 斷點調試
- 重構
- springboot-devtools熱部署
- IDEA進行JAR打包
- 導入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文檔顯示
- sftp文件同步
- 書簽
- 代碼查看和搜索
- postfix
- live template
- git
- 文件頭注釋
- JRebel
- 離線模式
- xRebel
- github
- 連接mysql
- 選項沒有Java class的解決方法
- 擴展
- 項目配置和web部署
- 前端開發
- json和Inject language
- idea內存和cpu變高
- 相關設置
- 設計模式
- 單例模式
- 簡介
- 責任鏈
- JUC
- 原子類
- 原子類簡介
- 基本類型原子類
- 數組類型原子類
- 引用類型原子類
- JVM
- JVM規范內存解析
- 對象的創建和結構
- 垃圾回收
- 內存分配策略
- 備注
- 虛擬機工具
- 內存模型
- 同步八種操作
- 內存區域大小參數設置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 變量
- 運算符
- 模塊
- Rewrite規則
- Netty
- netty為什么沒用AIO
- 基本組件
- 源碼解讀
- 簡單的socket例子
- 準備netty
- netty服務端啟動
- 案例一:發送字符串
- 案例二:發送對象
- websocket
- ActiveMQ
- JMS
- 安裝
- 生產者-消費者代碼
- 整合springboot
- kafka
- 簡介
- 安裝
- 圖形化界面
- 生產過程分析
- 保存消息分析
- 消費過程分析
- 命令行
- 生產者
- 消費者
- 攔截器interceptor
- partition
- kafka為什么快
- kafka streams
- kafka與flume整合
- RabbitMQ
- AMQP
- 整體架構
- RabbitMQ安裝
- rpm方式安裝
- 命令行和管控頁面
- 消息生產與消費
- 整合springboot
- 依賴和配置
- 簡單測試
- 多方測試
- 對象支持
- Topic Exchange模式
- Fanout Exchange訂閱
- 消息確認
- java client
- RabbitAdmin和RabbitTemplate
- 兩者簡介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 詳解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 簡介
- 入門程序
- luke查看索引
- 分析器
- 索引庫維護
- elasticsearch
- 配置
- 插件
- head插件
- ik分詞插件
- 常用術語
- Mapping映射
- 數據類型
- 屬性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 單模式下CURD
- mget多個文檔
- 批量操作
- 版本控制
- 基本查詢
- Filter過濾
- 組合查詢
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 發布訂閱
- 事務
- 連接池
- 管道
- 分布式可重入鎖
- 配置文件翻譯
- 持久化
- RDB
- AOF
- 總結
- Lettuce
- zookeeper
- zookeeper簡介
- 集群部署
- Observer模式
- 核心工作機制
- zk命令行操作
- zk客戶端API
- 感知服務動態上下線
- 分布式共享鎖
- 原理
- zab協議
- 兩階段提交協議
- 三階段提交協議
- Paxos協議
- ZAB協議
- hadoop
- 簡介
- hadoop安裝
- 集群安裝
- 單機安裝
- linux編譯hadoop
- 添加新節點
- 退役舊節點
- 集群間數據拷貝
- 歸檔
- 快照管理
- 回收站
- 檢查hdfs健康狀態
- 安全模式
- hdfs簡介
- hdfs命令行操作
- 常見問題匯總
- hdfs客戶端操作
- mapreduce工作機制
- 案例-單詞統計
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定義排序
- 自定義Bean對象
- 排序的分類
- 案例-按總量排序需求
- 一次性完成統計和排序
- 分區
- 分區簡介
- 案例-結果分區
- 多表合并
- reducer端合并
- map端合并(分布式緩存)
- 分組
- groupingComparator
- 案例-求topN
- 全局計數器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat機制
- 自定義InputFormat
- 自定義outputFormat
- 多job串聯
- 倒排索引
- 共同好友
- 串聯
- 數據壓縮
- InputFormat接口實現類
- yarn簡介
- 推測執行算法
- 本地提交到yarn
- 框架運算全流程
- 數據傾斜問題
- mapreduce的優化方案
- HA機制
- 優化
- Hive
- 安裝
- shell參數
- 數據類型
- 集合類型
- 數據庫
- DDL操作
- 創建表
- 修改表
- 分區表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 嚴格模式
- 函數
- 內置運算符
- 內置函數
- 自定義函數
- Transfrom實現
- having和where不同
- 壓縮
- 存儲
- 存儲和壓縮結合使用
- explain詳解
- 調優
- Fetch抓取
- 本地模式
- 表的優化
- GroupBy
- count(Distinct)去重統計
- 行列過濾
- 動態分區調整
- 數據傾斜
- 并行執行
- JVM重用
- 推測執行
- reduce內存和個數
- sql查詢結果作為變量(shell)
- youtube
- flume
- 簡介
- 安裝
- 常用組件
- 攔截器
- 案例
- 監聽端口到控制臺
- 采集目錄到HDFS
- 采集文件到HDFS
- 多個agent串聯
- 日志采集和匯總
- 單flume多channel,sink
- 自定義攔截器
- 高可用配置
- 使用注意
- 監控Ganglia
- sqoop
- 安裝
- 常用命令
- 數據導入
- 準備數據
- 導入數據到HDFS
- 導入關系表到HIVE
- 導入表數據子集
- 增量導入
- 數據導出
- 打包腳本
- 作業
- 原理
- azkaban
- 簡介
- 安裝
- 案例
- 簡介
- command類型單一job
- command類型多job工作流flow
- HDFS操作任務
- mapreduce任務
- hive腳本任務
- oozie
- 安裝
- hbase
- 簡介
- 系統架構
- 物理存儲
- 尋址機制
- 讀寫過程
- 安裝
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 過濾器查詢
- 建表高級屬性
- 與mapreduce結合
- 與sqoop結合
- 協處理器
- 參數配置優化
- 數據備份和恢復
- 節點管理
- 案例-點擊流
- 簡介
- HUE
- 安裝
- storm
- 簡介
- 安裝
- 集群啟動及任務過程分析
- 單詞統計
- 單詞統計(接入kafka)
- 并行度和分組
- 啟動流程分析
- ACK容錯機制
- ACK簡介
- BaseRichBolt簡單使用
- BaseBasicBolt簡單使用
- Ack工作機制
- 本地目錄樹
- zookeeper目錄樹
- 通信機制
- 案例
- 日志告警
- 工具
- YAPI
- chrome無法手動拖動安裝插件
- 時間和空間復雜度
- jenkins
- 定位cpu 100%
- 常用腳本工具
- OOM問題定位
- scala
- 編譯
- 基本語法
- 函數
- 數組常用方法
- 集合
- 并行集合
- 類
- 模式匹配
- 異常
- tuple元祖
- actor并發編程
- 柯里化
- 隱式轉換
- 泛型
- 迭代器
- 流stream
- 視圖view
- 控制抽象
- 注解
- spark
- 企業架構
- 安裝
- api開發
- mycat
- Groovy
- 基礎