# 創建批處理服務 本指南將引導您完成創建基本的批處理驅動的解決方案的過程。 ## 你會建立什么 您將構建一個服務，該服務從CSV電子表格導入數據，使用自定義代碼對其進行轉換，然后將最終結果存儲在數據庫中。 ## 你需要什么 * 約15分鐘 * 最喜歡的文本編輯器或IDE * [JDK 1.8](http://www.oracle.com/technetwork/java/javase/downloads/index.html) 或更高版本 * [Gradle 4+](http://www.gradle.org/downloads) 或 [Maven 3.2+](https://maven.apache.org/download.cgi) * 您還可以將代碼直接導入到IDE中： * [彈簧工具套件（STS）](https://spring.io/guides/gs/sts) * [IntelliJ IDEA](https://spring.io/guides/gs/intellij-idea/) ## 如何完成本指南 像大多數Spring 一樣 [入門指南](https://spring.io/guides) ，您可以從頭開始并完成每個步驟，也可以繞過您已經熟悉的基本設置步驟。 無論哪種方式，您最終都可以使用代碼。 要 **從頭開始** ，請繼續進行“ [從Spring Initializr開始”](https://spring.io/guides/gs/batch-processing/#scratch) 。 要 **跳過基礎知識** ，請執行以下操作： * [下載](https://github.com/spring-guides/gs-batch-processing/archive/master.zip) 并解壓縮本指南的源存儲庫，或使用 對其進行克隆 [Git](https://spring.io/understanding/Git) ： `git clone [https://github.com/spring-guides/gs-batch-processing.git](https://github.com/spring-guides/gs-batch-processing.git)` * 光盤進入 `gs-batch-processing/initial` * 繼續 [創造商務艙](https://spring.io/guides/gs/batch-processing/#initial) 。 **完成后** ，您可以根據中的代碼檢查結果 `gs-batch-processing/complete`. ## 業務數據 通常，您的客戶或業務分析師提供電子表格。 對于這個簡單的示例，您可以在以下位置找到一些虛構數據 `src/main/resources/sample-data.csv`: ~~~ Jill,Doe Joe,Doe Justin,Doe Jane,Doe John,Doe ~~~ 該電子表格在每行上包含一個名字和一個姓氏，用逗號分隔。 這是Spring無需定制即可處理的相當普遍的模式。 接下來，您需要編寫一個SQL腳本來創建一個表來存儲數據。 您可以在以下位置找到這樣的腳本 `src/main/resources/schema-all.sql`: ~~~ DROP TABLE people IF EXISTS; CREATE TABLE people ( person_id BIGINT IDENTITY NOT NULL PRIMARY KEY, first_name VARCHAR(20), last_name VARCHAR(20) ); ~~~ Spring Boot運行 schema-@@platform@@.sql 在啟動過程中自動運行。 -all 是所有平臺的默認設置。 ## 從Spring Initializr開始 如果您使用Maven，請訪問 [Spring Initializr](https://start.spring.io/#!type=maven-project&language=java&platformVersion=2.4.3.RELEASE&packaging=jar&jvmVersion=1.8&groupId=com.example&artifactId=batch-processing&name=batch-processing&description=Demo%20project%20for%20Spring%20Boot&packageName=com.example.batch-processing&dependencies=batch,hsql) 以生成具有所需依賴項的新項目（Spring Batch和HyperSQL數據庫）。 以下清單顯示了 `pom.xml` 選擇Maven時創建的文件： ~~~ <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.4.3</version> <relativePath/> <!-- lookup parent from repository --> </parent> <groupId>com.example</groupId> <artifactId>batch-processing</artifactId> <version>0.0.1-SNAPSHOT</version> <name>batch-processing</name> <description>Demo project for Spring Boot</description> <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-batch</artifactId> </dependency> <dependency> <groupId>org.hsqldb</groupId> <artifactId>hsqldb</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.springframework.batch</groupId> <artifactId>spring-batch-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project> ~~~ 如果使用Gradle，請訪問 [Spring Initializr](https://start.spring.io/#!type=gradle-project&language=java&platformVersion=2.4.3.RELEASE&packaging=jar&jvmVersion=1.8&groupId=com.example&artifactId=batch-processing&name=batch-processing&description=Demo%20project%20for%20Spring%20Boot&packageName=com.example.batch-processing&dependencies=batch,hsql) 以生成具有所需依賴項的新項目（Spring Batch和HyperSQL數據庫）。 以下清單顯示了 `build.gradle`選擇Gradle時創建的文件： ~~~ plugins { id 'org.springframework.boot' version '2.4.3' id 'io.spring.dependency-management' version '1.0.11.RELEASE' id 'java' } group = 'com.example' version = '0.0.1-SNAPSHOT' sourceCompatibility = '1.8' repositories { mavenCentral() } dependencies { implementation 'org.springframework.boot:spring-boot-starter-batch' runtimeOnly 'org.hsqldb:hsqldb' testImplementation 'org.springframework.boot:spring-boot-starter-test' testImplementation 'org.springframework.batch:spring-batch-test' } test { useJUnitPlatform() } ~~~ ### 手動初始化（可選） 如果要手動初始化項目而不是使用前面顯示的鏈接，請按照以下步驟操作： 1. 導航到 [https://start.spring.io](https://start.spring.io) 。 該服務提取應用程序所需的所有依賴關系，并為您完成大部分設置。 2. 選擇Gradle或Maven以及您要使用的語言。 本指南假定您選擇了Java。 3. 單擊“ **依賴關系”，** 然后選擇“ **Spring Batch** 和 **HyperSQL數據庫”** 。 4. 點擊 **生成** 。 5. 下載生成的ZIP文件，該文件是使用您的選擇配置的Web應用程序的存檔。 如果您的IDE集成了Spring Initializr，則可以從IDE中完成此過程。 ## 創建業務類 現在您可以看到數據輸入和輸出的格式，接下來可以編寫代碼來代表一行數據，如以下示例所示（來自 `src/main/java/com/example/batchprocessing/Person.java`）顯示： ~~~ package com.example.batchprocessing; public class Person { private String lastName; private String firstName; public Person() { } public Person(String firstName, String lastName) { this.firstName = firstName; this.lastName = lastName; } public void setFirstName(String firstName) { this.firstName = firstName; } public String getFirstName() { return firstName; } public String getLastName() { return lastName; } public void setLastName(String lastName) { this.lastName = lastName; } @Override public String toString() { return "firstName: " + firstName + ", lastName: " + lastName; } } ~~~ 您可以實例化 `Person` 類，可以通過構造函數或通過設置屬性來使用名字和姓氏。 ## 創建一個中間處理器 批處理中的常見范例是攝取數據，對其進行轉換，然后將其通過管道傳輸到其他地方。 在這里，您需要編寫一個簡單的轉換器，將名稱轉換為大寫。 以下清單（來自 `src/main/java/com/example/batchprocessing/PersonItemProcessor.java`）顯示了如何執行此操作： ~~~ package com.example.batchprocessing; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.batch.item.ItemProcessor; public class PersonItemProcessor implements ItemProcessor<Person, Person> { private static final Logger log = LoggerFactory.getLogger(PersonItemProcessor.class); @Override public Person process(final Person person) throws Exception { final String firstName = person.getFirstName().toUpperCase(); final String lastName = person.getLastName().toUpperCase(); final Person transformedPerson = new Person(firstName, lastName); log.info("Converting (" + person + ") into (" + transformedPerson + ")"); return transformedPerson; } } ~~~ `PersonItemProcessor` 實現Spring Batch的 `ItemProcessor`界面。 這樣可以很容易地將代碼連接到批處理作業中，您將在本指南的稍后部分中進行定義。 根據界面，您會收到一個傳入的 `Person` 對象，之后將其轉換為大寫 `Person`. 輸入和輸出類型不必相同。 實際上，在讀取一個數據源之后，有時應用程序的數據流需要另一種數據類型。 ## 匯總批處理作業 現在，您需要將實際的批處理作業放在一起。 Spring Batch提供了許多實用程序類，這些實用程序類減少了編寫自定義代碼的需求。 相反，您可以專注于業務邏輯。 要配置您的工作，您必須首先創建一個Spring `@Configuration` 類類似于下面的示例 `src/main/java/com/exampe/batchprocessing/BatchConfiguration.java`: ~~~ @Configuration @EnableBatchProcessing public class BatchConfiguration { @Autowired public JobBuilderFactory jobBuilderFactory; @Autowired public StepBuilderFactory stepBuilderFactory; ... } ~~~ 對于初學者， `@EnableBatchProcessing`注釋添加了許多關鍵豆，這些豆可以支持工作并為您節省很多工作。 本示例使用基于內存的數據庫（由 `@EnableBatchProcessing`），表示完成后數據就消失了。 它還為下面需要的幾個工廠自動接線。 現在將以下豆添加到您的 `BatchConfiguration` 定義讀取器，處理器和寫入器的類： ~~~ @Bean public FlatFileItemReader<Person> reader() { return new FlatFileItemReaderBuilder<Person>() .name("personItemReader") .resource(new ClassPathResource("sample-data.csv")) .delimited() .names(new String[]{"firstName", "lastName"}) .fieldSetMapper(new BeanWrapperFieldSetMapper<Person>() {{ setTargetType(Person.class); }}) .build(); } @Bean public PersonItemProcessor processor() { return new PersonItemProcessor(); } @Bean public JdbcBatchItemWriter<Person> writer(DataSource dataSource) { return new JdbcBatchItemWriterBuilder<Person>() .itemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>()) .sql("INSERT INTO people (first_name, last_name) VALUES (:firstName, :lastName)") .dataSource(dataSource) .build(); } ~~~ 第一部分代碼定義了輸入，處理器和輸出。 * `reader()` 創建一個 `ItemReader`。 它尋找一個名為 `sample-data.csv` 并解析每個訂單項，并提供足夠的信息以將其轉化為 `Person`. * `processor()` 創建一個實例 `PersonItemProcessor` 您之前定義的意思是將數據轉換為大寫。 * `writer(DataSource)` 創建一個 `ItemWriter`。 這是針對JDBC目標的，并自動獲取由創建的dataSource的副本。 `@EnableBatchProcessing`。 它包括插入單個所需的SQL語句 `Person`，由Java bean屬性驅動。 最后一塊（來自 `src/main/java/com/example/batchprocessing/BatchConfiguration.java`）顯示了實際的作業配置： ~~~ @Bean public Job importUserJob(JobCompletionNotificationListener listener, Step step1) { return jobBuilderFactory.get("importUserJob") .incrementer(new RunIdIncrementer()) .listener(listener) .flow(step1) .end() .build(); } @Bean public Step step1(JdbcBatchItemWriter<Person> writer) { return stepBuilderFactory.get("step1") .<Person, Person> chunk(10) .reader(reader()) .processor(processor()) .writer(writer) .build(); } ~~~ 第一種方法定義了作業，第二種方法定義了一個步驟。 作業是按步驟構建的，其中每個步驟都可以涉及閱讀器，處理器和編寫器。 在此作業定義中，您需要一個增量器，因為作業使用數據庫來維護執行狀態。 然后，您列出每個步驟（盡管此作業只有一個步驟）。 作業結束，并且Java API產生了配置完美的作業。 在步驟定義中，您定義一次要寫入多少數據。 在這種情況下，它一次最多寫入10條記錄。 接下來，使用先前注入的Bean配置讀取器，處理器和寫入器。 chunk() 帶前綴 &lt;Person,Person&gt;因為它是通用方法。 這表示每個“塊”處理的輸入和輸出類型，并與 ItemReader&lt;Person&gt; 和 ItemWriter&lt;Person&gt;. 批處理配置的最后一位是在作業完成時獲得通知的方法。 以下示例（摘自 `src/main/java/com/example/batchprocessing/JobCompletionNotificationListener.java`）顯示了這樣的類： ~~~ package com.example.batchprocessing; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.batch.core.BatchStatus; import org.springframework.batch.core.JobExecution; import org.springframework.batch.core.listener.JobExecutionListenerSupport; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.jdbc.core.JdbcTemplate; import org.springframework.stereotype.Component; @Component public class JobCompletionNotificationListener extends JobExecutionListenerSupport { private static final Logger log = LoggerFactory.getLogger(JobCompletionNotificationListener.class); private final JdbcTemplate jdbcTemplate; @Autowired public JobCompletionNotificationListener(JdbcTemplate jdbcTemplate) { this.jdbcTemplate = jdbcTemplate; } @Override public void afterJob(JobExecution jobExecution) { if(jobExecution.getStatus() == BatchStatus.COMPLETED) { log.info("!!! JOB FINISHED! Time to verify the results"); jdbcTemplate.query("SELECT first_name, last_name FROM people", (rs, row) -> new Person( rs.getString(1), rs.getString(2)) ).forEach(person -> log.info("Found <" + person + "> in the database.")); } } } ~~~ 這 `JobCompletionNotificationListener` 偵聽工作是什么時候 `BatchStatus.COMPLETED` 然后使用 `JdbcTemplate` 檢查結果。 ## 使應用程序可執行 盡管批處理可以嵌入到Web應用程序和WAR文件中，但是下面演示的更簡單的方法創建了一個獨立的應用程序。 您將所有內容打包在一個可執行的JAR文件中，由一個好的舊Java驅動 `main()` 方法。 Spring Initializr為您創建了一個應用程序類。 對于這個簡單的示例，它無需進一步修改即可工作。 以下清單（來自 `src/main/java/com/example/batchprocessing/BatchProcessingApplication.java`）顯示了應用程序類： ~~~ package com.example.batchprocessing; import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; @SpringBootApplication public class BatchProcessingApplication { public static void main(String[] args) throws Exception { System.exit(SpringApplication.exit(SpringApplication.run(BatchProcessingApplication.class, args))); } } ~~~ `@SpringBootApplication` 是一個方便注釋，它添加了以下所有內容： * `@Configuration`：將類標記為應用程序上下文的Bean定義的源。 * `@EnableAutoConfiguration`：告訴Spring Boot根據類路徑設置，其他bean和各種屬性設置開始添加bean。 例如，如果 `spring-webmvc` 在類路徑上，此注釋將應用程序標記為Web應用程序并激活關鍵行為，例如設置 `DispatcherServlet`. * `@ComponentScan`：告訴Spring在服務器中尋找其他組件，配置和服務 `com/example` 包，讓它找到控制器。 這 `main()` 方法使用Spring Boot的 `SpringApplication.run()`啟動應用程序的方法。 您是否注意到沒有一行XML？ 沒有 `web.xml`文件。 該Web應用程序是100％純Java，因此您無需處理任何管道或基礎結構。 注意 `SpringApplication.exit()` 和 `System.exit()`確保JVM在作業完成時退出。 有關 請參見 的 [Spring Boot Reference文檔中 Application Exit部分](https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/#boot-features-application-exit) 更多詳細信息， 。 出于演示目的，有一些代碼可以創建一個 `JdbcTemplate`，查詢數據庫，并打印出批處理作業插入的人員的姓名。 ### 建立可執行的JAR 您可以使用Gradle或Maven從命令行運行該應用程序。 您還可以構建一個包含所有必需的依賴項，類和資源的可執行JAR文件，然后運行該文件。 生成可執行jar使得在整個開發生命周期中，跨不同環境等等的情況下，都可以輕松地將服務作為應用程序進行發布，版本控制和部署。 如果您使用Gradle，則可以通過使用以下命令運行該應用程序 `./gradlew bootRun`。 或者，您可以通過使用以下命令構建JAR文件： `./gradlew build` 然后運行JAR文件，如下所示： ~~~ java -jar build/libs/gs-batch-processing-0.1.0.jar ~~~ 如果您使用Maven，則可以通過使用以下命令運行該應用程序 `./mvnw spring-boot:run`。 或者，您可以使用以下命令構建JAR文件： `./mvnw clean package` 然后運行JAR文件，如下所示： ~~~ java -jar target/gs-batch-processing-0.1.0.jar ~~~ 此處描述的步驟將創建可運行的JAR。 您還可以 構建經典的WAR文件 。 這項工作為每個要轉變的人打印一行。 作業運行后，您還可以查看查詢數據庫的輸出。 它應該類似于以下輸出： ~~~ Converting (firstName: Jill, lastName: Doe) into (firstName: JILL, lastName: DOE) Converting (firstName: Joe, lastName: Doe) into (firstName: JOE, lastName: DOE) Converting (firstName: Justin, lastName: Doe) into (firstName: JUSTIN, lastName: DOE) Converting (firstName: Jane, lastName: Doe) into (firstName: JANE, lastName: DOE) Converting (firstName: John, lastName: Doe) into (firstName: JOHN, lastName: DOE) Found <firstName: JILL, lastName: DOE> in the database. Found <firstName: JOE, lastName: DOE> in the database. Found <firstName: JUSTIN, lastName: DOE> in the database. Found <firstName: JANE, lastName: DOE> in the database. Found <firstName: JOHN, lastName: DOE> in the database. ~~~ ## 概括 恭喜你！ 您構建了一個批處理作業，該作業從電子表格中提取數據，對其進行處理，然后將其寫入數據庫。