[TOC]
# jps顯示java進程
`java process status`
命令格式:`jps [options] [hostid]?`
`[options]`選項?:
~~~
-q:僅輸出VM標識符,不包括classname,jar name,arguments in main method?
-m:輸出main method的參數?
-l:輸出完全的包名,應用主類名,jar的完全路徑名?
-v:輸出jvm參數?
-V:輸出通過flag文件傳遞到JVM中的參數(.hotspotrc文件或-XX:Flags=所指定的文件?
-Joption:傳遞參數到vm,例如:-J-Xms512m
~~~
~~~
jps -lmv
~~~
# jstat分析JVM的使用情況
**jstat -gc**
例子
如下表示分析進程id為31736 的gc情況,每隔1000ms打印一次記錄,打印10次停止,每3行后打印指標頭部
~~~
jstat -gc -h3 31736 1000 10
~~~
| 參數 | 描述 |
| --- | --- |
| S0C |年輕代中第一個survivor(幸存區)的容量 (字節)
| S1C |年輕代中第二個survivor(幸存區)的容量 (字節)
| S0U |年輕代中第一個survivor(幸存區)目前已使用空間 (字節)
| S1U |年輕代中第二個survivor(幸存區)目前已使用空間 (字節)
| EC | 年輕代中Eden(伊甸園)的容量 (字節)
| EU | 年輕代中Eden(伊甸園)目前已使用空間 (字節)
| OC | Old代的容量 (字節)
| OU | Old代目前已使用空間 (字節)
| PC | Perm(持久代)的容量 (字節)
| PU | Perm(持久代)目前已使用空間 (字節)
| YGC |從應用程序啟動到采樣時年輕代中gc次數
| YGCT| 從應用程序啟動到采樣時年輕代中gc所用時間(s)
| FGC |從應用程序啟動到采樣時old代(全gc)gc次數
| FGCT| 從應用程序啟動到采樣時old代(全gc)gc所用時間(s)
| GCT |從應用程序啟動到采樣時gc用的總時間(s)
**jstat -gcutil**
查看gc的統計信息
~~~
jstat -gcutil xxxx
~~~
| 參數 | 描述 |
| --- | --- |
| S0 | 年輕代中第一個survivor(幸存區)已使用的占當前容量百分比
| S1 | 年輕代中第二個survivor(幸存區)已使用的占當前容量百分比
| E | 年輕代中Eden(伊甸園)已使用的占當前容量百分比
| O | old代已使用的占當前容量百分比
| P | perm代已使用的占當前容量百分比
| YGC | 從應用程序啟動到采樣時年輕代中gc次數
| YGCT| 從應用程序啟動到采樣時年輕代中gc所用時間(s)
| FGC | 從應用程序啟動到采樣時old代(全gc)gc次數
| FGCT| 從應用程序啟動到采樣時old代(全gc)gc所用時間(s)
| GCT | 從應用程序啟動到采樣時gc用的總時間(s)
**`jstat -gccapacity pid`**
可以顯示,VM內存中三代(young,old,perm)對象的使用和占用大小,
| 參數 | 描述 |
| --- | --- |
| NGCMN | 年輕代(young)中初始化(最小)的大小 (字節)
| NGCMX | 年輕代(young)的最大容量 (字節)
| NGC | 年輕代(young)中當前的容量 (字節)
| S0C | 年輕代中第一個survivor(幸存區)的容量 (字節)
| S1C |年輕代中第二個survivor(幸存區)的容量 (字節)
| EC | 年輕代中Eden(伊甸園)的容量 (字節)
| OGCMN | old代中初始化(最小)的大小 (字節)
| OGCMX | old代的最大容量 (字節)
| OGC | old代當前新生成的容量 (字節)
| OC | Old代的容量 (字節)
| PGCMN | perm代中初始化(最小)的大小 (字節)
| PGCMX | perm代的最大容量 (字節)
| PGC | perm代當前新生成的容量 (字節)
| PC | Perm(持久代)的容量 (字節)
| YGC | 從應用程序啟動到采樣時年輕代中gc次數
| FGC | 從應用程序啟動到采樣時old代(全gc)gc次數
# jinfo查看jvm擴展參數
~~~
jinfo [option] <pid>
jinfo [option] <executable <core>
jinfo [option] [server_id@]<remote server IP or hostname>
where <option> is one of:
-flag <name> to print the value of the named VM flag
-flag [+|-]<name> to enable or disable the named VM flag
-flag <name>=<value> to set the named VM flag to the given value
-flags to print VM flags
-sysprops to print Java system properties
<no option> to print both of the above
~~~
**參數說明**
* pid 對應jvm的進程id
* executable core 產生core dump文件
* \[server-id@\]remote server IP or hostname 遠程的ip或者hostname,server-id標記服務的唯一性id
**option**
* no option 輸出全部的參數和系統屬性
* \-flag name 輸出對應名稱的參數
* \-flag \[+|-\]name 開啟或者關閉對應名稱的參數
* \-flag name=value 設定對應名稱的參數
* \-flags 輸出全部的參數
* \-sysprops 輸出系統屬性
**Javacore 概述**
Javacore,也可以稱為“threaddump”或是“javadump”,它是 Java 提供的一種診斷特性,能夠提供一份可讀的當前運行的 JVM 中線程使用情況的快照。即在某個特定時刻,JVM 中有哪些線程在運行,每個線程執行到哪一個類,哪一個方法。
應用程序如果出現不可恢復的錯誤或是內存泄露,就會自動觸發 Javacore 的生成
> 命令:jinfo pid
> 描述:輸出當前 jvm 進程的全部參數和系統屬性
> 命令:jinfo -flag name pid
> 描述:輸出對應名稱的參數
> 可以查看指定的 jvm 參數的值。如:查看當前 jvm 進程是否開啟打印 GC 日志。
> 命令:jinfo -flag \[+|-\]name pid
> 描述:開啟或者關閉對應名稱的參數
> 使用 jinfo 可以在不重啟虛擬機的情況下,可以動態的修改 jvm 的參數。尤其在線上的環境特別有用。主要是針對 boolean 值的參數設置的
> 命令:jinfo -flag name=value pid
> 描述:修改指定參數的值。
> 如果是設置 value值,則需要使用 name=value 的形式。
> 命令:jinfo -flags pid
> 描述:輸出全部的參數
> 命令:jinfo -sysprops pid
> 描述:輸出當前 jvm 進行的全部的系統屬性
# jmap生成堆內信息
命令jmap是一個多功能的命令。它可以生成 java 程序的 dump 文件, 也可以查看堆內對象示例的統計信息、查看 ClassLoader 的信息以及 finalizer 隊列。
~~~
jmap [option] <pid>
jmap [option] <executable <core>
jmap [option] [server_id@]<remote server IP or hostname>
~~~
**參數**
* **option:** 選項參數。
* **pid:** 需要打印配置信息的進程ID。
* **executable:** 產生核心dump的Java可執行文件。
* **core:** 需要打印配置信息的核心文件。
* **server-id** 可選的唯一id,如果相同的遠程主機上運行了多臺調試服務器,用此選項參數標識服務器。
* **remote server IP or hostname** 遠程調試服務器的IP地址或主機名。
**option**
* **no option:** 查看進程的內存映像信息,類似 Solaris pmap 命令。
* **heap:** 顯示Java堆詳細信息
* **histo\[:live\]:** 顯示堆中對象的統計信息
* **clstats:**打印類加載器信息
* **finalizerinfo:** 顯示在F-Queue隊列等待Finalizer線程執行finalizer方法的對象
* **dump::**生成堆轉儲快照
* **F:** 當-dump沒有響應時,使用-dump或者-histo參數. 在這個模式下,live子參數無效.
* **help:**打印幫助信息
* **J:**指定傳遞給運行jmap的JVM的參數
>命令:jmap pid
>描述:查看進程的內存映像信息,類似 Solaris pmap 命令。
> 使用不帶選項參數的jmap打印共享對象映射,將會打印目標虛擬機中加載的每個共享對象的起始地址、映射大小以及共享對象文件的路徑全稱。這與Solaris的pmap工具比較相似。
> 命令:jmap -heap pid
> 描述:顯示Java堆詳細信息
> 命令:jmap -dump:format=b,file=heapdump.phrof pid
> 描述:生成堆轉儲快照dump文件。
> 以hprof二進制格式轉儲Java堆到指定filename的文件中。live子選項是可選的。如果指定了live子選項,堆中只有活動的對象會被轉儲。想要瀏覽heap dump,你可以使用jhat(Java堆分析工具)讀取生成的文件。
這個命令執行,JVM會將整個heap的信息dump寫入到一個文件,heap如果比較大的話,就會導致這個過程比較耗時,并且執行的過程中為了保證dump的信息是可靠的,所以會暫停應用, 線上系統慎用。
# jcmd
一個多功能的工具,可以用它來導出堆、查看Java進程、導出線程信息、執行GC、還可以進行采樣分析(jmc 工具的飛行記錄器)
**查看性能統計**
命令:`jcmd pid PerfCounter.print `
描述:查看指定進程的性能統計信息
**列出當前運行的 java 進程可以執行的操作**
命令:`jcmd PID help`
**查看具體命令的選項**
如果想查看命令的選項,比如想查看 JFR.dump 命令選項,可以通過如下命令:
`jcmd 11772 help JFR.dump`
**JFR**
要使用 JRF 相關的功能,必須使用 VM.unlock\_commercial\_features 參數取消鎖定商業功能
~~~
jcmd 8152 VM.unlock_commercial_features
~~~
* 啟動JFR
執行命令:jcmd $PID JFR.start name=abc,duration=120s
* Dump JFR
等待至少duration(本文設定120s)后,執行命令:jcmd PID JFR.dump name=abc,duration=120s filename=abc.jfr(注意,文件名必須為.jfr后綴)
* 檢查JFR狀態
執行命令:jcmd $PID JFR.check name=abc,duration=120s
* 停止JFR
執行命令:jcmd $PID JFR.stop name=abc,duration=120s
* JMC分析
切回開發機器,下載步驟3中生成的abc.jfr,打開jmc,導入abc.jfr即可進行可視化分析
**查看 JVM 的啟動時長**
命令:`jcmd PID VM.uptime`
**查看系統中類統計信息**
命令:`jcmd PID GC.class_histogram`
**查看目標jvm進程的版本信息**
`jcmd PID VM.version`
**執行gc**
`jcmd PID GC.run `
**查看 JVM 的啟動命令行**
`jcmd PID VM.command_line`
**查看 JVM 的啟動參數**
`jcmd PID VM.flags`
# jhat分析堆文件
用來分析java堆的命令,可以將堆中的對象以html的形式顯示出來,包括對象的數量,大小等等,并支持對象查詢語言
~~~
jhat xxx
~~~
有時你dump出來的堆很大,在啟動時會報堆空間不足的錯誤,可以使用如下參數:
`jhat -J-Xmx512m`
# jstack線程堆棧分析
參數提示
* \-l 長列表. 打印關于鎖的附加信息,例如屬于java.util.concurrent 的 ownable synchronizers列表.
* \-F 當’jstack \[-l\] pid’沒有相應的時候強制打印棧信息
* \-m 打印java和native c/c++框架的所有棧信息.
通過 jstack 命令可以獲取當前進程的所有線程信息。
每個線程堆中信息中,都可以查看到 線程ID、線程的狀態(wait、sleep、running 等狀態)、是否持有鎖信息等。
**Object.wait()情況**
一個線程處于WAITING狀態,在Test.java文件13行處,正是我們調用wait方法的地方,說明該線程目前還沒等到notify

**死鎖**
可以清楚的看出 mythread2 等待 這個鎖 “0x00000000d6eb82d0”,這個鎖是由于mythread1線程持有。
mythread1線程等待這個鎖“0x00000000d6eb8300”,這個鎖是由mythread2線程持有。

**等待IO**

# mac,jmc界面問題
這個問題是由于Eclipse/SWT老版本的bug導致的,可以通過替換相關jar解決。bug reference: JMC-5139
1. 下載jar包:[下載地址](https://search.maven.org/search?q=g:org.eclipse.platform%20AND%20a:org.eclipse.swt.cocoa.macosx.x86_64&core=gavr)(選最上面的即可)。
2. 進入jdk安裝目錄,在lib/missioncontrol/plugins目錄內找到org.eclipse.swt.cocoa.macosx.x86_64_3.103.1.v20140903-1947.jar,將其備份。
(通過安裝包安裝的jdk目錄為/Library/Java/JavaVirtualMachines/jdk1.8.0_xxx.jdk/Contents/Home/)
3. 將我們下載的jar包重命名為org.eclipse.swt.cocoa.macosx.x86_64_3.103.1.v20140903-1947.jar,復制到lib/missioncontrol/plugins目錄內替換原jar包。
重啟jmc
- 基礎
- 編譯和安裝
- classpath到底是什么?
- 編譯運行
- 安裝
- sdkman多版本
- jabba多版本
- java字節碼查看
- 數據類型
- 簡介
- 整形
- char和int
- 變量和常量
- 大數值運算
- 基本類型包裝類
- Math類
- 內存劃分
- 位運算符
- 方法相關
- 方法重載
- 可變參數
- 方法引用
- 面向對象
- 定義
- 繼承和覆蓋
- 接口和抽象類
- 接口定義增強
- 內建函數式接口
- 多態
- 泛型
- final和static
- 內部類
- 包
- 修飾符
- 異常
- 枚舉類
- 代碼塊
- 對象克隆
- BeanUtils
- java基礎類
- scanner類
- Random類
- System類
- Runtime類
- Comparable接口
- Comparator接口
- MessageFormat類
- NumberFormat
- 數組相關
- 數組
- Arrays
- string相關
- String
- StringBuffer
- StringBuilder
- 正則
- 日期類
- Locale類
- Date
- DateFormat
- SimpleDateFormat
- Calendar
- 新時間日期API
- 簡介
- LocalDate,LocalTime,LocalDateTime
- Instant時間點
- 帶時區的日期,時間處理
- 時間間隔
- 日期時間校正器
- TimeUnit
- 用yyyy
- 集合
- 集合和迭代器
- ArrayList集合
- List
- Set
- 判斷集合唯一
- Map和Entry
- stack類
- Collections集合工具類
- Stream數據流
- foreach不能修改內部元素
- of方法
- IO
- File類
- 字節流stream
- 字符流Reader
- IO流分類
- 轉換流
- 緩沖流
- 流的操作規律
- properties
- 序列化流與反序列化流
- 打印流
- System類對IO支持
- commons-IO
- IO流總結
- NIO
- 異步與非阻塞
- IO通信
- Unix的IO模型
- epoll對于文件描述符操作模式
- 用戶空間和內核空間
- NIO與普通IO的主要區別
- Paths,Path,Files
- Buffer
- Channel
- Selector
- Pipe
- Charset
- NIO代碼
- 多線程
- 創建線程
- 線程常用方法
- 線程池相關
- 線程池概念
- ThreadPoolExecutor
- Runnable和Callable
- 常用的幾種線程池
- 線程安全
- 線程同步的幾種方法
- synchronized
- 死鎖
- lock接口
- ThreadLoad
- ReentrantLock
- 讀寫鎖
- 鎖的相關概念
- volatile
- 釋放鎖和不釋放鎖的操作
- 等待喚醒機制
- 線程狀態
- 守護線程和普通線程
- Lamda表達式
- 反射相關
- 類加載器
- 反射
- 注解
- junit注解
- 動態代理
- 網絡編程相關
- 簡介
- UDP
- TCP
- 多線程socket上傳圖片
- NIO
- JDBC相關
- JDBC
- 預處理
- 批處理
- 事務
- properties配置文件
- DBUtils
- DBCP連接池
- C3P0連接池
- 獲得MySQL自動生成的主鍵
- Optional類
- Jigsaw模塊化
- 日志相關
- JDK日志
- log4j
- logback
- xml
- tomcat
- maven
- 簡介
- 倉庫
- 目錄結構
- 常用命令
- 生命周期
- idea配置
- jar包沖突
- 依賴范圍
- 私服
- 插件
- git-commit-id-plugin
- maven-assembly-plugin
- maven-resources-plugin
- maven-compiler-plugin
- versions-maven-plugin
- maven-source-plugin
- tomcat-maven-plugin
- 多環境
- 自定義插件
- stream
- swing
- json
- jackson
- optional
- junit
- gradle
- servlet
- 配置
- ServletContext
- 生命周期
- HttpServlet
- request
- response
- 亂碼
- session和cookie
- cookie
- session
- jsp
- 簡介
- 注釋
- 方法,成員變量
- 指令
- 動作標簽
- 隱式對象
- EL
- JSTL
- javaBean
- listener監聽器
- Filter過濾器
- 圖片驗證碼
- HttpUrlConnection
- 國際化
- 文件上傳
- 文件下載
- spring
- 簡介
- Bean
- 獲取和實例化
- 屬性注入
- 自動裝配
- 繼承和依賴
- 作用域
- 使用外部屬性文件
- spel
- 前后置處理器
- 生命周期
- 掃描規則
- 整合多個配置文件
- 注解
- 簡介
- 注解分層
- 類注入
- 分層和作用域
- 初始化方法和銷毀方法
- 屬性
- 泛型注入
- Configuration配置文件
- aop
- aop的實現
- 動態代理實現
- cglib代理實現
- aop名詞
- 簡介
- aop-xml
- aop-注解
- 代理方式選擇
- jdbc
- 簡介
- JDBCTemplate
- 事務
- 整合
- junit整合
- hibernate
- 簡介
- hibernate.properties
- 實體對象三種狀態
- 檢索方式
- 簡介
- 導航對象圖檢索
- OID檢索
- HQL
- Criteria(QBC)
- Query
- 緩存
- 事務管理
- 關系映射
- 注解
- 優化
- MyBatis
- 簡介
- 入門程序
- Mapper動態代理開發
- 原始Dao開發
- Mapper接口開發
- SqlMapConfig.xml
- map映射文件
- 輸出返回map
- 輸入參數
- pojo包裝類
- 多個輸入參數
- resultMap
- 動態sql
- 關聯
- 一對一
- 一對多
- 多對多
- 整合spring
- CURD
- 占位符和sql拼接以及參數處理
- 緩存
- 延遲加載
- 注解開發
- springMVC
- 簡介
- RequestMapping
- 參數綁定
- 常用注解
- 響應
- 文件上傳
- 異常處理
- 攔截器
- springBoot
- 配置
- 熱更新
- java配置
- springboot配置
- yaml語法
- 運行
- Actuator 監控
- 多環境配置切換
- 日志
- 日志簡介
- logback和access
- 日志文件配置屬性
- 開機自啟
- aop
- 整合
- 整合Redis
- 整合Spring Data JPA
- 基本查詢
- 復雜查詢
- 多數據源的支持
- Repository分析
- JpaSpeci?cationExecutor
- 整合Junit
- 整合mybatis
- 常用注解
- 基本操作
- 通用mapper
- 動態sql
- 關聯映射
- 使用xml
- spring容器
- 整合druid
- 整合郵件
- 整合fastjson
- 整合swagger
- 整合JDBC
- 整合spingboot-cache
- 請求
- restful
- 攔截器
- 常用注解
- 參數校驗
- 自定義filter
- websocket
- 響應
- 異常錯誤處理
- 文件下載
- 常用注解
- 頁面
- Thymeleaf組件
- 基本對象
- 內嵌對象
- 上傳文件
- 單元測試
- 模擬請求測試
- 集成測試
- 源碼解析
- 自動配置原理
- 啟動流程分析
- 源碼相關鏈接
- Servlet,Filter,Listener
- springcloud
- 配置
- 父pom
- 創建子工程
- Eureka
- Hystrix
- Ribbon
- Feign
- Zuul
- kotlin
- 基本數據類型
- 函數
- 區間
- 區塊鏈
- 簡介
- linux
- ulimit修改
- 防止syn攻擊
- centos7部署bbr
- debain9開啟bbr
- mysql
- 隔離性
- sql執行加載順序
- 7種join
- explain
- 索引失效和優化
- 表連接優化
- orderby的filesort問題
- 慢查詢
- show profile
- 全局查詢日志
- 死鎖解決
- sql
- 主從
- IDEA
- mac快捷鍵
- 美化界面
- 斷點調試
- 重構
- springboot-devtools熱部署
- IDEA進行JAR打包
- 導入jar包
- ProjectStructure
- toString添加json模板
- 配置maven
- Lombok插件
- rest client
- 文檔顯示
- sftp文件同步
- 書簽
- 代碼查看和搜索
- postfix
- live template
- git
- 文件頭注釋
- JRebel
- 離線模式
- xRebel
- github
- 連接mysql
- 選項沒有Java class的解決方法
- 擴展
- 項目配置和web部署
- 前端開發
- json和Inject language
- idea內存和cpu變高
- 相關設置
- 設計模式
- 單例模式
- 簡介
- 責任鏈
- JUC
- 原子類
- 原子類簡介
- 基本類型原子類
- 數組類型原子類
- 引用類型原子類
- JVM
- JVM規范內存解析
- 對象的創建和結構
- 垃圾回收
- 內存分配策略
- 備注
- 虛擬機工具
- 內存模型
- 同步八種操作
- 內存區域大小參數設置
- happens-before
- web service
- tomcat
- HTTPS
- nginx
- 變量
- 運算符
- 模塊
- Rewrite規則
- Netty
- netty為什么沒用AIO
- 基本組件
- 源碼解讀
- 簡單的socket例子
- 準備netty
- netty服務端啟動
- 案例一:發送字符串
- 案例二:發送對象
- websocket
- ActiveMQ
- JMS
- 安裝
- 生產者-消費者代碼
- 整合springboot
- kafka
- 簡介
- 安裝
- 圖形化界面
- 生產過程分析
- 保存消息分析
- 消費過程分析
- 命令行
- 生產者
- 消費者
- 攔截器interceptor
- partition
- kafka為什么快
- kafka streams
- kafka與flume整合
- RabbitMQ
- AMQP
- 整體架構
- RabbitMQ安裝
- rpm方式安裝
- 命令行和管控頁面
- 消息生產與消費
- 整合springboot
- 依賴和配置
- 簡單測試
- 多方測試
- 對象支持
- Topic Exchange模式
- Fanout Exchange訂閱
- 消息確認
- java client
- RabbitAdmin和RabbitTemplate
- 兩者簡介
- RabbitmqAdmin
- RabbitTemplate
- SimpleMessageListenerContainer
- MessageListenerAdapter
- MessageConverter
- 詳解
- Jackson2JsonMessageConverter
- ContentTypeDelegatingMessageConverter
- lucene
- 簡介
- 入門程序
- luke查看索引
- 分析器
- 索引庫維護
- elasticsearch
- 配置
- 插件
- head插件
- ik分詞插件
- 常用術語
- Mapping映射
- 數據類型
- 屬性方法
- Dynamic Mapping
- Index Template 索引模板
- 管理映射
- 建立映射
- 索引操作
- 單模式下CURD
- mget多個文檔
- 批量操作
- 版本控制
- 基本查詢
- Filter過濾
- 組合查詢
- 分析器
- redis
- String
- list
- hash
- set
- sortedset
- 發布訂閱
- 事務
- 連接池
- 管道
- 分布式可重入鎖
- 配置文件翻譯
- 持久化
- RDB
- AOF
- 總結
- Lettuce
- zookeeper
- zookeeper簡介
- 集群部署
- Observer模式
- 核心工作機制
- zk命令行操作
- zk客戶端API
- 感知服務動態上下線
- 分布式共享鎖
- 原理
- zab協議
- 兩階段提交協議
- 三階段提交協議
- Paxos協議
- ZAB協議
- hadoop
- 簡介
- hadoop安裝
- 集群安裝
- 單機安裝
- linux編譯hadoop
- 添加新節點
- 退役舊節點
- 集群間數據拷貝
- 歸檔
- 快照管理
- 回收站
- 檢查hdfs健康狀態
- 安全模式
- hdfs簡介
- hdfs命令行操作
- 常見問題匯總
- hdfs客戶端操作
- mapreduce工作機制
- 案例-單詞統計
- 局部聚合Combiner
- combiner流程
- combiner案例
- 自定義排序
- 自定義Bean對象
- 排序的分類
- 案例-按總量排序需求
- 一次性完成統計和排序
- 分區
- 分區簡介
- 案例-結果分區
- 多表合并
- reducer端合并
- map端合并(分布式緩存)
- 分組
- groupingComparator
- 案例-求topN
- 全局計數器
- 合并小文件
- 小文件的弊端
- CombineTextInputFormat機制
- 自定義InputFormat
- 自定義outputFormat
- 多job串聯
- 倒排索引
- 共同好友
- 串聯
- 數據壓縮
- InputFormat接口實現類
- yarn簡介
- 推測執行算法
- 本地提交到yarn
- 框架運算全流程
- 數據傾斜問題
- mapreduce的優化方案
- HA機制
- 優化
- Hive
- 安裝
- shell參數
- 數據類型
- 集合類型
- 數據庫
- DDL操作
- 創建表
- 修改表
- 分區表
- 分桶表
- DML操作
- load
- insert
- select
- export,import
- Truncate
- 注意
- 嚴格模式
- 函數
- 內置運算符
- 內置函數
- 自定義函數
- Transfrom實現
- having和where不同
- 壓縮
- 存儲
- 存儲和壓縮結合使用
- explain詳解
- 調優
- Fetch抓取
- 本地模式
- 表的優化
- GroupBy
- count(Distinct)去重統計
- 行列過濾
- 動態分區調整
- 數據傾斜
- 并行執行
- JVM重用
- 推測執行
- reduce內存和個數
- sql查詢結果作為變量(shell)
- youtube
- flume
- 簡介
- 安裝
- 常用組件
- 攔截器
- 案例
- 監聽端口到控制臺
- 采集目錄到HDFS
- 采集文件到HDFS
- 多個agent串聯
- 日志采集和匯總
- 單flume多channel,sink
- 自定義攔截器
- 高可用配置
- 使用注意
- 監控Ganglia
- sqoop
- 安裝
- 常用命令
- 數據導入
- 準備數據
- 導入數據到HDFS
- 導入關系表到HIVE
- 導入表數據子集
- 增量導入
- 數據導出
- 打包腳本
- 作業
- 原理
- azkaban
- 簡介
- 安裝
- 案例
- 簡介
- command類型單一job
- command類型多job工作流flow
- HDFS操作任務
- mapreduce任務
- hive腳本任務
- oozie
- 安裝
- hbase
- 簡介
- 系統架構
- 物理存儲
- 尋址機制
- 讀寫過程
- 安裝
- 命令行
- 基本CURD
- java api
- CURD
- CAS
- 過濾器查詢
- 建表高級屬性
- 與mapreduce結合
- 與sqoop結合
- 協處理器
- 參數配置優化
- 數據備份和恢復
- 節點管理
- 案例-點擊流
- 簡介
- HUE
- 安裝
- storm
- 簡介
- 安裝
- 集群啟動及任務過程分析
- 單詞統計
- 單詞統計(接入kafka)
- 并行度和分組
- 啟動流程分析
- ACK容錯機制
- ACK簡介
- BaseRichBolt簡單使用
- BaseBasicBolt簡單使用
- Ack工作機制
- 本地目錄樹
- zookeeper目錄樹
- 通信機制
- 案例
- 日志告警
- 工具
- YAPI
- chrome無法手動拖動安裝插件
- 時間和空間復雜度
- jenkins
- 定位cpu 100%
- 常用腳本工具
- OOM問題定位
- scala
- 編譯
- 基本語法
- 函數
- 數組常用方法
- 集合
- 并行集合
- 類
- 模式匹配
- 異常
- tuple元祖
- actor并發編程
- 柯里化
- 隱式轉換
- 泛型
- 迭代器
- 流stream
- 視圖view
- 控制抽象
- 注解
- spark
- 企業架構
- 安裝
- api開發
- mycat
- Groovy
- 基礎