Laiyy 的个人小站


  • 首页

  • 关于我

  • 标签

  • 分类

  • 归档

  • 搜索

Spring Batch 学习(6)
ItemWriter

发表于 2018-12-03 | 分类于 spring-batch
| 字数统计: 1.1k 字 | 阅读时长 ≈ 5 分钟

ItemWriter

ItemWriter:批处理之后的数据需要做怎样的写操作(写入文件、数据库、mongodb等)

常用的几个 ItemWriter

  • JdbcItemWriter:使用 jdbc 写入数据库
    阅读全文 »

Spring Batch 学习(5)
ItemReader

发表于 2018-11-30 | 分类于 spring-batch
| 字数统计: 1.8k 字 | 阅读时长 ≈ 8 分钟

ItemReader

ItemReader 可以理解为:在批处理中,需要处理的数据。这些数据通常是在 文本文件, xml 文件, 数据库 中存储。在进行批处理的时候,需要从文件中获取数据。可以说,ItemReader 是整个批处理的入口。

阅读全文 »

Spring Batch 学习(4)
Step 的另一种方式、Listener

发表于 2018-11-29 | 分类于 spring-batch
| 字数统计: 1.3k 字 | 阅读时长 ≈ 5 分钟

创建步骤的另外一种方式

ItemReader 可以理解为:数据获取。在 Step 中除了可以使用 Tasklet 创建简单的步骤,也可以使用 chunk + itemReader + itemWriter 创建一个复杂的步骤。其中:

  • chunk 表示每几条数据进行一次批量处理
  • itemReader 表示批量获取的数据怎么获取
  • itemWriter 表示 chunk 中的数据进行怎样的输出(到文件、数据库或其他)
阅读全文 »

Spring Batch 学习(3)
决策器、JobParameters、Step 监听器

发表于 2018-11-29 | 分类于 spring-batch
| 字数统计: 1.3k 字 | 阅读时长 ≈ 5 分钟

决策器

一些业务比较复杂的批处理操作中,可能会存在如下的需求:如在 微博抽奖 中,进行批量处理挑选中间人的时候,需要根据 活跃度,发帖量,粉丝数 的不同,进行不同筛选操作。这时就需要一个 决策器 ,决策器的作用:根据不同的条件,返回不同的状态码(自定义状态码),根据状态码的不同,选择不同的步骤进行批量处理操作。

阅读全文 »

Spring Batch 学习(2)
多步骤、步骤嵌套、跳步

发表于 2018-11-29 | 分类于 spring-batch
| 字数统计: 1.3k 字 | 阅读时长 ≈ 6 分钟

SpringBatch 一个任务包含 N 个步骤

在前一篇博客这种,学习到了 SpringBatch 的一个简单的小示例,这个小示例中只包含了一个 Job 任务,这个 Job 也只包含了一个 Step 步骤。
但是有些时候我们需要在一个 Job 中分步骤的处理一些事务,比如:在第一个步骤中需要 计算所有用户的总资产,第二个步骤中需要 计算用户的平均余额,第三个步骤需要 筛选男性用户,第四个步骤…. 这时,就需要在一个 统计任务 中分步骤的获取信息。

阅读全文 »

Spring Batch 学习(1)
简单示例

发表于 2018-11-27 | 分类于 spring-batch
| 字数统计: 1.8k 字 | 阅读时长 ≈ 7 分钟

Spring Batch – 一个基于 Spring 架构的批处理框架

什么是批处理

在现代企业应用当中,面对复杂的业务以及海量的数据,除了通过庞杂的人机交互界面进行各种处理外,还有一类工作,不需要人工干预,只需要定期读入大批量数据,然后完成相应业务处理并进行归档。这类工作即为“批处理”。

阅读全文 »

使用 Python Requests 爬取并下载小说
以 耳根 的小说 《一念永恒》 为例

发表于 2018-11-22 | 分类于 Python
| 字数统计: 833 字 | 阅读时长 ≈ 3 分钟

一念永恒

使用 Python Requests 爬取 笔趣看 小说网站

阅读全文 »

常用 IDEA 插件

发表于 2018-11-21 | 分类于 Java
| 字数统计: 233 字 | 阅读时长 ≈ 1 分钟

RestfulToolkit

在之前定位方法、Controoler 时,使用 Ctrl + Shift + F 查找只能输入方法上面的 @RequestMapping 的 value 路径,而且如果有多个相同的方法时,或者代码里面有对应的单词时,会全部匹配出来。如:查找 UserController 的 add 方法,如果在搜索框输入 add 查找的话,可能会查找出很多信息,不便于定位。

阅读全文 »

1…89
Laiyy

Laiyy

简介

88 日志
19 分类
35 标签
RSS
GitHub E-Mail 简 书
UV:
|
PV:
© 2018 — 2020 laiyy | 网站总字数: 151.9k 字
0%