[TOC]
# 頁面注意
設置文件上傳輸入項時須注意:
* 必須要設置input輸入項的name屬性,否則瀏覽器將不會發送上傳文件的數據。
* 必須把form的enctype屬值設為`multipart/form-data`。設置該值后,瀏覽器在上傳文件時,將把文件數據附帶在http請求消息體中,并使用MIME協議對上傳的文件進行描述,以方便接收方對上傳數據進行解析和處理。
現在我們設計一個這樣的文件上傳頁面——upload.jsp
~~~
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>Insert title here</title>
</head>
<body>
<form action="${pageContext.request.contextPath }/UploadServlet" enctype="multipart/form-data" method="post">
上傳用戶:<input type="text" name="username"><br/>
上傳文件1:<input type="file" name="file1"><br/>
上傳文件2:<input type="file" name="file2"><br/>
<input type="submit" value="上傳">
</form>
</body>
</html>
~~~
此時表單的提交方式應該為POST,因為請求方式為POST方式,則可以在請求的實體內容中向服務器發送數據,即文件數據將附帶在http請求消息體中。
# Servlet處理請求
接下來如何在Servlet中讀取文件上傳數據,并保存到本地硬盤中呢?
答案應該是這樣的:Request對象提供了一個getInputStream方法,通過這個方法可以讀取到客戶端提交過來的數據。但由于用戶可能會同時上傳多個文件,在servlet端編程直接讀取上傳數據,并分別解析出相應的文件數據是一項非常麻煩的工作。
~~~
public class UploadServlet extends HttpServlet {
protected void doGet(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
InputStream in = request.getInputStream();
int len = 0;
byte[] buffer = new byte[1024];
while ((len=in.read(buffer)) > 0) {
System.out.println(new String(buffer, 0, len));
}
}
protected void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
doGet(request, response);
}
}
~~~
這時我們再次輸入上傳用戶名和兩個文件,Eclipse的控制臺輸出如下:
~~~
-----------------------------24566388929294
Content-Disposition: form-data; name="username"
aaa
-----------------------------24566388929294
Content-Disposition: form-data; name="file1"; filename="涓婁紶鏂囦歡1.txt"
Content-Type: text/plain
aaaaaaaaaa
-----------------------------24566388929294
Content-Disposition: form-data; name="file2"; filename="涓婁紶鏂囦歡2.txt"
Content-Type: text/plain
bbbbbbbbb
-----------------------------24566388929294--
~~~
這時我們在servlet端編程直接讀取上傳數據,并分別解析出相應的文件數據是一項非常麻煩的工作。為方便用戶處理文件上傳數據,Apache開源組織提供了一個用來處理表單文件上傳的一個開源組件( Commons-fileupload ),該組件性能優異,并且其API使用極其簡單,可以讓開發人員輕松實現web文件上傳功能,因此在web開發中實現文件上傳功能,通常使用Commons-fileupload組件實現。
# 導入Commons-fileupload
使用Commons-fileupload組件實現文件上傳,需要導入該組件相應的支撐jar包:Commons-fileupload和commons-io。commons-io不屬于文件上傳組件的開發jar文件,但Commons-fileupload組件從1.1版本開始,它工作時需要commons-io包的支持。
我們從網上下載了這兩個jar包
* commons-fileupload.jar
* commons-io-2.5.jar
# fileupload組件工作流程
fileupload組件工作流程如圖所示:

## 核心API—DiskFileItemFactory
DiskFileItemFactory是創建FileItem對象的工廠,這個工廠類常用方法有:
* public void setSizeThreshold(int sizeThreshold):設置內存緩沖區的大小,默認值為10K。當上傳文件大于緩沖區大小時, fileupload組件將使用臨時文件緩存上傳文件。
* public void setRepository(java.io.File repository):指定臨時文件目錄,默認值為System.getProperty("java.io.tmpdir")。
* public DiskFileItemFactory(int sizeThreshold, java.io.File repository):構造函數
## 核心API—ServletFileUpload
ServletFileUpload負責處理上傳的文件數據,并將表單中每個輸入項封裝成一個FileItem對象中。常用方法有:
* boolean isMultipartContent(HttpServletRequest request):判斷上傳表單是否為multipart/form-data類型。
* List parseRequest(HttpServletRequest request):解析request對象,并把表單中的每一個輸入項包裝成一個FileItem對象,并返回一個保存了所有FileItem的list集合。
* setFileSizeMax(long fileSizeMax):設置上傳文件的最大值。
* setSizeMax(long sizeMax):設置上傳文件總量的最大值。
* setHeaderEncoding(java.lang.String encoding):設置編碼格式。
* setProgressListener(ProgressListener pListener)
## 中文亂碼
上傳文件的中文亂碼問題:
* 解決上傳文件的中文亂碼:ServletFileUpload.setHeaderEncoding(“UTF-8”)
* 解決普通輸入項的中文亂碼(注意,表單類型為multipart/form-data的時候,設置request的編碼是無效的):FileItem.setString("UTF-8")
## 注意事項
**在處理表單之前須判斷提交表單的類型**
如果處理文件上傳的UploadServlet一上來不管三七二十一就劈頭蓋臉地用解析器進行解析數據,而不管表單類型是不是multipart/form-data。
顯然這樣做是不合理的。合理的做法應該是:在處理表單之前,要記得調用ServletFileUpload.isMultipartContent方法判斷提交表單的類型,如果該方法返回true,則按上傳方式處理,否則按照傳統方式處理表單即可
**當上傳文件大于緩沖區大小時, fileupload組件將使用臨時文件緩存上傳文件**
DiskFileItemFactory是創建FileItem對象的工廠,其內存緩沖區的大小默認為10K,當上傳文件大于緩沖區大小時, fileupload組件將使用臨時文件緩存上傳文件。比方說我們要上傳一部電影,電影通常都在幾百兆左右,這么大的一個文件顯然就已經超出了內存緩沖區的大小,那這個時候我們可以使用臨時文件來緩存上傳文件。
我們在項目的WebRoot根目錄下新建一個保存臨時文件的目錄——temp。
我們可以設置DiskFileItemFactory的內存緩沖區大小為1M,即內存緩沖區開辟1M大小的空間。如果上傳文件沒有超過1M,那么fileupload組件將使用內存緩沖區緩存上傳文件;如果上傳文件超過1M,那么fileupload組件將使用臨時文件緩存上傳文件。那么代碼就應該是這樣的:
~~~
DiskFileItemFactory factory = new DiskFileItemFactory();
factory.setSizeThreshold(1024*1024);
~~~
然后還要指定臨時文件的目錄,那代碼就應該是這樣的:
~~~
factory.setRepository(new File(this.getServletContext().getRealPath("/temp")));
~~~
**上傳文件的保存目錄**
大家在做上傳文件時,總該會想我們上傳的文件會保存在哪兒吧?絕大部分的程序員可能會在WebRoot根目錄下新建一個upload目錄,在此目錄下保存上傳的文件
**判斷文件擴展名**
我們在做文件上傳系統的時候,可以限制上傳文件的類型,如我這個文件上傳系統只支持XXX.jpg、XXX.gif、XXX.avi、XXX.txt等格式的文件上傳,其他格式的文件我是拒絕的。要做到這點其實不難,只要在處理上傳文件時,判斷上傳文件的后綴名是不是允許的即可
**限制上傳文件的大小**
我們也可以設置單個上傳文件的大小,只要超出我們設置的值,就不讓其上傳,并給用戶以友好提示。
有些人還是要以身試險的,如我調用解析器的setFileSizeMax方法設置上傳文件的最大值為5M,即ServletFileUpload.setFileSizeMax(1024*1024*5);,只要有人上傳的文件大于5M,試想解析器在解析這份文件時,應如何做呢?可以想見,解析器就會拋出一個異常,翻閱Commons-fileupload組件的文檔,就能找到這樣一個異常:FileUploadBase.FileSizeLimitExceededException,不錯,我們就是要拋它,然后程序員通過是否抓到這個異常,進而就可以給用戶友好提示
**為防止文件覆蓋的現象發生,要為上傳文件產生一個唯一的文件名**
我們在上傳文件系統的時候,要考慮到多用戶上傳相同文件名的文件,而導致文件覆蓋的情況發生的問題。為了避免上傳文件的覆蓋,程序在保存上傳文件時,要為每一個文件生成一個唯一的文件名
## 例子
最后我們要編寫處理文件上傳的Servlet。我們可以按照下面的步驟將它擼出來。
1. 創建DiskFileItemFactory對象,設置緩沖區大小和臨時文件目錄,也即創建解析工廠。
2. 使用DiskFileItemFactory對象創建ServletFileUpload對象,并設置上傳文件的大小限制,也即創建解析器。
3. 調用ServletFileUpload.parseRequest方法解析request對象,得到一個保存了所有上傳內容的List對象。
4. 對list進行迭代,每迭代一個FileItem對象,調用其isFormField方法判斷是否是上傳文件。
1. 為普通表單字段,則調用getFieldName、getString方法得到字段名和字段值。
2. 為上傳文件,則調用getInputStream方法得到數據輸入流,從而讀取上傳數據。
~~~
public class UploadServlet extends HttpServlet {
protected void doGet(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
// List<String> types = Arrays.asList(".jpg",".gif",".avi",".txt");
List<String> types = Arrays.asList("jpg","gif","avi","txt");
// request.setCharacterEncoding("UTF-8");
try {
DiskFileItemFactory factory = new DiskFileItemFactory();
factory.setSizeThreshold(1024*1024);
factory.setRepository(new File(this.getServletContext().getRealPath("/temp")));
ServletFileUpload upload = new ServletFileUpload(factory);
upload.setProgressListener(new ProgressListener() {
// update方法一定要由解析器來調用
@Override
public void update(long pBytesRead, long pContentLength, int pItems) {
System.out.println("當前已解析:" + pBytesRead);
}
});
// 限制上傳文件的大小
upload.setFileSizeMax(1024*1024*5); // 只要超出5M,for循環在解析的時候就會拋異常
// 提交的表單類型不是multipart/form-data,沒必要用解析器進行解析數據,按照傳統方式獲取表單數據
if (!upload.isMultipartContent(request)) {
// 按照傳統方式獲取表單數據
request.getParameter("username");
blabla......
return;
}
// 解決上傳文件的中文亂碼問題,設置解析器的編碼,到底設什么編碼,也不能瞎寫,一定要看表單的數據是以什么編碼提交的!
upload.setHeaderEncoding("UTF-8");
List<FileItem> list = upload.parseRequest(request);
for (FileItem item : list) {
if (item.isFormField()) {
// 為普通輸入項的數據
String inputName = item.getFieldName();
String inputValue = item.getString("UTF-8");
// inputValue = new String(inputValue.getBytes("ISO8859-1"), "UTF-8");
System.out.println(inputName + "=" + inputValue);
} else {
// 代表當前處理的item里面封裝的是上傳文件
String fileName = item.getName().substring(item.getName().lastIndexOf("\\")+1);
if (fileName == null || fileName.trim().equals("")) {
continue;
}
// 拿到文件的擴展名
String ext = fileName.substring(fileName.lastIndexOf(".")+1);
if (!types.contains(ext)) {
request.setAttribute("message", "本系統不支持" + ext + "這種類型");
request.getRequestDispatcher("/message.jsp").forward(request, response);
return;
}
InputStream in = item.getInputStream();
int len = 0;
byte[] buffer = new byte[1024];
// 得到保存在服務器中唯一的文件名
String saveFileName = generateFileName(fileName);
// 產生文件的保存目錄
String savePath = generateSavePath(this.getServletContext().getRealPath("/WEB-INF/upload"), saveFileName);
FileOutputStream out = new FileOutputStream(savePath + File.separator + saveFileName);
while ((len=in.read(buffer)) > 0) {
out.write(buffer, 0, len);
}
in.close();
out.close();
/*
* 上傳文件完了之后,刪除臨時文件,
* 千萬注意:這句代碼一定要放在流關閉之后,否則,還有流和它相關聯,那就刪除不掉臨時文件,
* 為了確保流關閉、刪除掉臨時文件,最好把這些代碼放到finally代碼塊中。
*/
item.delete();
}
}
} catch (FileUploadBase.FileSizeLimitExceededException e) {
e.printStackTrace();
request.setAttribute("message", "文件大小不能超過5M");
request.getRequestDispatcher("/message.jsp").forward(request, response);
return;
} catch (Exception e) {
throw new RuntimeException(e);
}
request.setAttribute("message", "上傳成功!!!");
request.getRequestDispatcher("/message.jsp").forward(request, response);
}
public String generateSavePath(String path, String fileName) {
int hashCode = fileName.hashCode(); // 得到字符串在內存中的地址,如121221
int dir1 = hashCode & 15; // int dir1 = hashCode & 0xf; 代表一級目錄
int dir2 = (hashCode >> 4) & 0xf; // 代表二級目錄
// 用戶第一次上傳文件,此savePath目錄在服務器的硬盤里原本是沒有的,所以應將其創建出來
String savePath = path + File.separator + dir1 + File.separator + dir2;
File file = new File(savePath);
if (!file.exists()) {
file.mkdirs(); // 創建多級目錄用mkdirs()方法
}
return savePath;
}
public String generateFileName(String fileName) {
// 4de727e8-2579-477f-a4ae-658355f107fe
return UUID.randomUUID().toString() + "_" + fileName;
}
protected void doPost(HttpServletRequest request, HttpServletResponse response)
throws ServletException, IOException {
doGet(request, response);
}
}
~~~
- 基礎
- 編譯和安裝
- classpath到底是什么?
- 編譯運行
- 安裝
- sdkman多版本
- jabba多版本
- java字節碼查看
- 數據類型
- 簡介
- 整形
- char和int
- 變量和常量
- 大數值運算
- 基本類型包裝類
- Math類
- 內存劃分
- 位運算符
- 方法相關
- 方法重載
- 可變參數
- 方法引用
- 面向對象
- 定義
- 繼承和覆蓋
- 接口和抽象類
- 接口定義增強
- 內建函數式接口
- 多態
- 泛型
- final和static
- 內部類
- 包
- 修飾符
- 異常
- 枚舉類
- 代碼塊
- 對象克隆
- BeanUtils
- java基礎類
- scanner類
- Random類
- System類
- Runtime類
- Comparable接口
- Comparator接口
- MessageFormat類
- NumberFormat
- 數組相關
- 數組
- Arrays
- string相關
- String
- StringBuffer
- StringBuilder
- 正則
- 日期類
- Locale類
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新時間日期API
- 簡介
- LocalDate,LocalTime,LocalDateTime
- Instant時間點
- 帶時區的日期,時間處理
- 時間間隔
- 日期時間校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判斷集合唯一
- Map和Entry
- stack類
- Collections集合工具類
- Stream數據流
- foreach不能修改內部元素
- of方法
- IO
- File類
- 字節流stream
- 字符流Reader
- IO流分類
- 轉換流
- 緩沖流
- 流的操作規律
- properties
- 序列化流與反序列化流
- 打印流
- System類對IO支持
- commons-IO
- IO流總結
- NIO
- 異步與非阻塞
- IO通信
- Unix的IO模型
- epoll對于文件描述符操作模式
- 用戶空間和內核空間
- NIO與普通IO的主要區別
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代碼
- 多線程
- 創建線程
- 線程常用方法
- 線程池相關
- 線程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的幾種線程池
- 線程安全
- 線程同步的幾種方法
- synchronized
- 死鎖
- lock接口
- ThreadLoad
- ReentrantLock
- 讀寫鎖
- 鎖的相關概念
- volatile
- 釋放鎖和不釋放鎖的操作
- 等待喚醒機制
- 線程狀態
- 守護線程和普通線程
- Lamda表達式
- 反射相關
- 類加載器
- 反射
- 注解
- junit注解
- 動態代理
- 網絡編程相關
- 簡介
- UDP
- TCP
- 多線程socket上傳圖片
- NIO
- JDBC相關
- JDBC
- 預處理
- 批處理
- 事務
- properties配置文件
- DBUtils
- DBCP連接池
- C3P0連接池
- 獲得MySQL自動生成的主鍵
- Optional類
- Jigsaw模塊化
- 日志相關
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 簡介
- 倉庫
- 目錄結構
- 常用命令
- 生命周期
- idea配置
- jar包沖突
- 依賴范圍
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多環境
- 自定義插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 亂碼
- session和cookie
- cookie
- session
- jsp
- 簡介
- 注釋
- 方法,成員變量
- 指令
- 動作標簽
- 隱式對象
- EL
- JSTL
- javaBean
- listener監聽器
- Filter過濾器
- 圖片驗證碼
- HttpUrlConnection
- 國際化
- 文件上傳
- 文件下載
- spring
- 簡介
- Bean
- 獲取和實例化
- 屬性注入
- 自動裝配
- 繼承和依賴
- 作用域
- 使用外部屬性文件
- spel
- 前后置處理器
- 生命周期
- 掃描規則
- 整合多個配置文件
- 注解
- 簡介
- 注解分層
- 類注入
- 分層和作用域
- 初始化方法和銷毀方法
- 屬性
- 泛型注入
- Configuration配置文件
- aop
- aop的實現
- 動態代理實現
- cglib代理實現
- aop名詞
- 簡介
- aop-xml
- aop-注解
- 代理方式選擇
- jdbc
- 簡介
- JDBCTemplate
- 事務
- 整合
- junit整合
- hibernate
- 簡介
- hibernate.properties
- 實體對象三種狀態
- 檢索方式
- 簡介
- 導航對象圖檢索
- OID檢索
- HQL
- Criteria(QBC)
- Query
- 緩存
- 事務管理
- 關系映射
- 注解
- 優化
- MyBatis
- 簡介
- 入門程序
- Mapper動態代理開發
- 原始Dao開發
- Mapper接口開發
- SqlMapConfig.xml
- map映射文件
- 輸出返回map
- 輸入參數
- pojo包裝類
- 多個輸入參數
- resultMap
- 動態sql
- 關聯
- 一對一
- 一對多
- 多對多
- 整合spring
- CURD
- 占位符和sql拼接以及參數處理
- 緩存
- 延遲加載
- 注解開發
- springMVC
- 簡介
- RequestMapping
- 參數綁定
- 常用注解
- 響應
- 文件上傳
- 異常處理
- 攔截器
- springBoot
- 配置
- 熱更新
- java配置
- springboot配置
- yaml語法
- 運行
- Actuator 監控
- 多環境配置切換
- 日志
- 日志簡介
- logback和access
- 日志文件配置屬性
- 開機自啟
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查詢
- 復雜查詢
- 多數據源的支持
- Repository分析
- JpaSpeci?cationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 動態sql
- 關聯映射
- 使用xml
- spring容器
- 整合druid
- 整合郵件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 請求
- restful
- 攔截器
- 常用注解
- 參數校驗
- 自定義filter
- websocket
- 響應
- 異常錯誤處理
- 文件下載
- 常用注解
- 頁面
- Thymeleaf組件
- 基本對象
- 內嵌對象
- 上傳文件
- 單元測試
- 模擬請求測試
- 集成測試
- 源碼解析
- 自動配置原理
- 啟動流程分析
- 源碼相關鏈接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 創建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本數據類型
- 函數
- 區間
- 區塊鏈
- 簡介
- linux
- ulimit修改
- 防止syn攻擊
- centos7部署bbr
- debain9開啟bbr
- mysql
- 隔離性
- sql執行加載順序
- 7種join
- explain
- 索引失效和優化
- 表連接優化
- orderby的filesort問題
- 慢查詢
- show profile
- 全局查詢日志
- 死鎖解決
- sql
- 主從
- IDEA
- mac快捷鍵
- 美化界面
- 斷點調試
- 重構
- springboot-devtools熱部署
- IDEA進行JAR打包
- 導入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文檔顯示
- sftp文件同步
- 書簽
- 代碼查看和搜索
- postfix
- live template
- git
- 文件頭注釋
- JRebel
- 離線模式
- xRebel
- github
- 連接mysql
- 選項沒有Java class的解決方法
- 擴展
- 項目配置和web部署
- 前端開發
- json和Inject language
- idea內存和cpu變高
- 相關設置
- 設計模式
- 單例模式
- 簡介
- 責任鏈
- JUC
- 原子類
- 原子類簡介
- 基本類型原子類
- 數組類型原子類
- 引用類型原子類
- JVM
- JVM規范內存解析
- 對象的創建和結構
- 垃圾回收
- 內存分配策略
- 備注
- 虛擬機工具
- 內存模型
- 同步八種操作
- 內存區域大小參數設置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 變量
- 運算符
- 模塊
- Rewrite規則
- Netty
- netty為什么沒用AIO
- 基本組件
- 源碼解讀
- 簡單的socket例子
- 準備netty
- netty服務端啟動
- 案例一:發送字符串
- 案例二:發送對象
- websocket
- ActiveMQ
- JMS
- 安裝
- 生產者-消費者代碼
- 整合springboot
- kafka
- 簡介
- 安裝
- 圖形化界面
- 生產過程分析
- 保存消息分析
- 消費過程分析
- 命令行
- 生產者
- 消費者
- 攔截器interceptor
- partition
- kafka為什么快
- kafka streams
- kafka與flume整合
- RabbitMQ
- AMQP
- 整體架構
- RabbitMQ安裝
- rpm方式安裝
- 命令行和管控頁面
- 消息生產與消費
- 整合springboot
- 依賴和配置
- 簡單測試
- 多方測試
- 對象支持
- Topic Exchange模式
- Fanout Exchange訂閱
- 消息確認
- java client
- RabbitAdmin和RabbitTemplate
- 兩者簡介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 詳解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 簡介
- 入門程序
- luke查看索引
- 分析器
- 索引庫維護
- elasticsearch
- 配置
- 插件
- head插件
- ik分詞插件
- 常用術語
- Mapping映射
- 數據類型
- 屬性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 單模式下CURD
- mget多個文檔
- 批量操作
- 版本控制
- 基本查詢
- Filter過濾
- 組合查詢
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 發布訂閱
- 事務
- 連接池
- 管道
- 分布式可重入鎖
- 配置文件翻譯
- 持久化
- RDB
- AOF
- 總結
- Lettuce
- zookeeper
- zookeeper簡介
- 集群部署
- Observer模式
- 核心工作機制
- zk命令行操作
- zk客戶端API
- 感知服務動態上下線
- 分布式共享鎖
- 原理
- zab協議
- 兩階段提交協議
- 三階段提交協議
- Paxos協議
- ZAB協議
- hadoop
- 簡介
- hadoop安裝
- 集群安裝
- 單機安裝
- linux編譯hadoop
- 添加新節點
- 退役舊節點
- 集群間數據拷貝
- 歸檔
- 快照管理
- 回收站
- 檢查hdfs健康狀態
- 安全模式
- hdfs簡介
- hdfs命令行操作
- 常見問題匯總
- hdfs客戶端操作
- mapreduce工作機制
- 案例-單詞統計
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定義排序
- 自定義Bean對象
- 排序的分類
- 案例-按總量排序需求
- 一次性完成統計和排序
- 分區
- 分區簡介
- 案例-結果分區
- 多表合并
- reducer端合并
- map端合并(分布式緩存)
- 分組
- groupingComparator
- 案例-求topN
- 全局計數器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat機制
- 自定義InputFormat
- 自定義outputFormat
- 多job串聯
- 倒排索引
- 共同好友
- 串聯
- 數據壓縮
- InputFormat接口實現類
- yarn簡介
- 推測執行算法
- 本地提交到yarn
- 框架運算全流程
- 數據傾斜問題
- mapreduce的優化方案
- HA機制
- 優化
- Hive
- 安裝
- shell參數
- 數據類型
- 集合類型
- 數據庫
- DDL操作
- 創建表
- 修改表
- 分區表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 嚴格模式
- 函數
- 內置運算符
- 內置函數
- 自定義函數
- Transfrom實現
- having和where不同
- 壓縮
- 存儲
- 存儲和壓縮結合使用
- explain詳解
- 調優
- Fetch抓取
- 本地模式
- 表的優化
- GroupBy
- count(Distinct)去重統計
- 行列過濾
- 動態分區調整
- 數據傾斜
- 并行執行
- JVM重用
- 推測執行
- reduce內存和個數
- sql查詢結果作為變量(shell)
- youtube
- flume
- 簡介
- 安裝
- 常用組件
- 攔截器
- 案例
- 監聽端口到控制臺
- 采集目錄到HDFS
- 采集文件到HDFS
- 多個agent串聯
- 日志采集和匯總
- 單flume多channel,sink
- 自定義攔截器
- 高可用配置
- 使用注意
- 監控Ganglia
- sqoop
- 安裝
- 常用命令
- 數據導入
- 準備數據
- 導入數據到HDFS
- 導入關系表到HIVE
- 導入表數據子集
- 增量導入
- 數據導出
- 打包腳本
- 作業
- 原理
- azkaban
- 簡介
- 安裝
- 案例
- 簡介
- command類型單一job
- command類型多job工作流flow
- HDFS操作任務
- mapreduce任務
- hive腳本任務
- oozie
- 安裝
- hbase
- 簡介
- 系統架構
- 物理存儲
- 尋址機制
- 讀寫過程
- 安裝
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 過濾器查詢
- 建表高級屬性
- 與mapreduce結合
- 與sqoop結合
- 協處理器
- 參數配置優化
- 數據備份和恢復
- 節點管理
- 案例-點擊流
- 簡介
- HUE
- 安裝
- storm
- 簡介
- 安裝
- 集群啟動及任務過程分析
- 單詞統計
- 單詞統計(接入kafka)
- 并行度和分組
- 啟動流程分析
- ACK容錯機制
- ACK簡介
- BaseRichBolt簡單使用
- BaseBasicBolt簡單使用
- Ack工作機制
- 本地目錄樹
- zookeeper目錄樹
- 通信機制
- 案例
- 日志告警
- 工具
- YAPI
- chrome無法手動拖動安裝插件
- 時間和空間復雜度
- jenkins
- 定位cpu 100%
- 常用腳本工具
- OOM問題定位
- scala
- 編譯
- 基本語法
- 函數
- 數組常用方法
- 集合
- 并行集合
- 類
- 模式匹配
- 異常
- tuple元祖
- actor并發編程
- 柯里化
- 隱式轉換
- 泛型
- 迭代器
- 流stream
- 視圖view
- 控制抽象
- 注解
- spark
- 企業架構
- 安裝
- api開發
- mycat
- Groovy
- 基礎