Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
8 changes: 7 additions & 1 deletion docs/data-operate/import/import-way/routine-load-manual.md
Original file line number Diff line number Diff line change
Expand Up @@ -267,7 +267,7 @@ ReasonOfStateChanged:

#### View the Load Subtasks

Use the [SHOW ROUTINE LOAD TASK](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD-TASK) command to view the import subtasks. This command describes the subtask information under the current job, such as the subtask status and the BE id to which the task is dispatched.
Use the [SHOW ROUTINE LOAD TASK](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD-TASK) command to view the import subtasks. You can specify the routine load job by `WHERE JobName = <job_name>` or `FOR [<db>.]<job_name>` (if `<db>` is omitted, the current database is used). This command describes the subtask information under the current job, such as the subtask status and the BE id to which the task is dispatched.

The following command shows the subtask information of `testdb.example_routine_load_csv`:

Expand All @@ -284,6 +284,12 @@ mysql> SHOW ROUTINE LOAD TASK WHERE jobname = 'example_routine_load_csv';
+-----------------------------------+-------+-----------+-------+---------------------+---------------------+---------+-------+----------------------+
```

You can also use the following syntax:

```sql
mysql> SHOW ROUTINE LOAD TASK FOR testdb.example_routine_load_csv;
```

### Pause an Import Job

You can pause an import job with the [PAUSE ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/PAUSE-ROUTINE-LOAD) command. After being paused, the job enters the `PAUSED` state, but the job is not terminated. You can restart it with the `RESUME ROUTINE LOAD` command.
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -14,6 +14,8 @@ This syntax is used to view the currently running subtasks of a specified Routin

```sql
SHOW ROUTINE LOAD TASK WHERE JobName = <job_name>;

SHOW ROUTINE LOAD TASK FOR [<db>.]<job_name>;
```

## Required Parameters
Expand All @@ -22,6 +24,12 @@ SHOW ROUTINE LOAD TASK WHERE JobName = <job_name>;

> The name of the routine load job to view.

## Optional Parameters

**1. `<db>`**

> The database where the routine load job resides. If omitted, the routine load job is searched in the current database.

## Return Results

The return results include the following fields:
Expand Down Expand Up @@ -58,4 +66,16 @@ Users executing this SQL command must have at least the following privileges:

```sql
SHOW ROUTINE LOAD TASK WHERE JobName = "test1";
```
```

- Show subtask information for the routine load job `test1` in the current database.

```sql
SHOW ROUTINE LOAD TASK FOR test1;
```

- Show subtask information for the routine load job `test1` in the database `example_db`.

```sql
SHOW ROUTINE LOAD TASK FOR example_db.test1;
```
Original file line number Diff line number Diff line change
Expand Up @@ -267,7 +267,7 @@ ReasonOfStateChanged:

#### 查看导入子任务

通过 [SHOW ROUTINE LOAD TASK](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD-TASK) 命令查看导入子任务情况。该命令描述了当前作业下的子任务信息,如子任务状态、下发的 BE id 等。
通过 [SHOW ROUTINE LOAD TASK](../../../sql-manual/sql-statements/data-modification/load-and-export/SHOW-ROUTINE-LOAD-TASK) 命令查看导入子任务情况。可以通过 `WHERE JobName = <job_name>` 或 `FOR [<db>.]<job_name>` 指定例行导入作业(`<db>` 省略时使用当前数据库)。该命令描述了当前作业下的子任务信息,如子任务状态、下发的 BE id 等。

通过以下命令可以查看 `testdb.example_routine_load_csv` 的子任务情况:

Expand All @@ -284,6 +284,12 @@ mysql> SHOW ROUTINE LOAD TASK WHERE jobname = 'example_routine_load_csv';
+-----------------------------------+-------+-----------+-------+---------------------+---------------------+---------+-------+----------------------+
```

也可以使用以下语法:

```sql
mysql> SHOW ROUTINE LOAD TASK FOR testdb.example_routine_load_csv;
```

### 暂停导入作业

可以通过 [PAUSE ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/PAUSE-ROUTINE-LOAD) 命令暂停导入作业。暂停后作业进入 `PAUSED` 状态,但导入作业并未终止,可以通过 `RESUME ROUTINE LOAD` 命令重启导入作业。
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -14,6 +14,8 @@

```sql
SHOW ROUTINE LOAD TASK WHERE JobName = <job_name>;

SHOW ROUTINE LOAD TASK FOR [<db>.]<job_name>;
```

## 必选参数
Expand All @@ -22,6 +24,12 @@ SHOW ROUTINE LOAD TASK WHERE JobName = <job_name>;

> 要查看的例行导入作业名称。

## 可选参数

**1. `<db>`**

> 例行导入作业所在的数据库。若省略,则在当前数据库下搜索该例行导入作业。

## 返回结果

返回结果包含以下字段:
Expand Down Expand Up @@ -59,3 +67,15 @@ SHOW ROUTINE LOAD TASK WHERE JobName = <job_name>;
```sql
SHOW ROUTINE LOAD TASK WHERE JobName = "test1";
```

- 展示当前数据库下名为 test1 的例行导入作业的子任务信息。

```sql
SHOW ROUTINE LOAD TASK FOR test1;
```

- 展示数据库 example_db 下名为 test1 的例行导入作业的子任务信息。

```sql
SHOW ROUTINE LOAD TASK FOR example_db.test1;
```
Original file line number Diff line number Diff line change
Expand Up @@ -10,11 +10,11 @@
Routine Loadは、Exactly-Onceセマンティクスをサポートするストリーミングインポートジョブで、データの損失や重複を防ぎます。

## 使用例

Check warning on line 13 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
### サポートされるデータソース

Check warning on line 15 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
Routine LoadはKafkaクラスタからのデータ消費をサポートします。

Check warning on line 17 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
### サポートされるデータファイル形式

Routine LoadはCSVおよびJSON形式のデータをサポートします。
Expand All @@ -22,9 +22,9 @@
CSV形式をインポートする場合、null値と空文字列を明確に区別する必要があります:

- Null値は`\n`で表現する必要があります。データ`a,\n,b`は、中央の列がnull値であることを示します。

Check warning on line 25 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
- 空文字列('')は直接空のままにします。データ`a,,b`は、中央の列が空文字列であることを示します。

Check warning on line 27 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
### 使用上の制限

Routine Loadを使用してKafkaからデータを消費する場合、以下の制限があります:
Expand Down Expand Up @@ -52,7 +52,7 @@
2. FEはJob Schedulerを通じてRoutine Load JobをいくつかのRoutine Load Taskに分割し、Task Schedulerによってスケジュールされ、BEノードにディスパッチされます。

3. BEでは、Routine Load Taskがインポートを完了すると、トランザクションをFEに送信し、Jobメタデータを更新します。

Check warning on line 55 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
4. Routine Load Taskが送信された後、新しいTaskが生成されるか、タイムアウトしたTaskが再試行されます。

5. 新しく生成されたRoutine Load TaskはTask Schedulerによって継続的なサイクルで引き続きスケジュールされます。
Expand All @@ -62,7 +62,7 @@
ジョブの高可用性を確保するため、自動復旧メカニズムが導入されています。予期しない一時停止の場合、Routine Load Schedulerスレッドがジョブの自動復旧を試行します。予期しないKafka障害やその他の非動作状況の場合、自動復旧メカニズムにより、Kafka復旧後にインポートジョブが手動介入なしに正常に実行を継続できることが保証されます。

自動復旧しないケース:

Check warning on line 65 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
- ユーザが手動で`PAUSE ROUTINE LOAD`コマンドを実行した場合。

- データ品質の問題が存在する場合。
Expand Down Expand Up @@ -235,6 +235,12 @@
| 77112dfea5e54b0a-a10eab3d5b19e565 | 197 | PREPARE | 12177 | 2024-01-15 12:21:02 | 2024-01-15 12:21:02 | 20 | 12098 | {"0":3000,"5":2622} |
+-----------------------------------+-------+-----------+-------+---------------------+---------------------+---------+-------+----------------------+
```

以下の構文も使用できます:

Check warning on line 239 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers

```sql
mysql> SHOW ROUTINE LOAD TASK FOR testdb.example_routine_load_csv;
```
### Import Jobの一時停止

[PAUSE ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/PAUSE-ROUTINE-LOAD)コマンドを使用してimport jobを一時停止できます。import jobを一時停止すると、PAUSED状態になりますが、import jobは終了せず、RESUME ROUTINE LOADコマンドを使用して再開できます。
Expand All @@ -250,7 +256,7 @@

例えば、以下のコマンドでtestdb.example_routine_load_csvインポートジョブを再開できます:

```sql

Check warning on line 259 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers
RESUME ROUTINE LOAD FOR testdb.example_routine_load_csv;
```
### インポートジョブの変更
Expand All @@ -273,7 +279,7 @@

[STOP ROUTINE LOAD](../../../sql-manual/sql-statements/data-modification/load-and-export/STOP-ROUTINE-LOAD)コマンドを使用して、Routine Loadインポートジョブを停止および削除できます。削除されたインポートジョブは復旧できず、SHOW ROUTINE LOADコマンドで表示することもできません。

以下のコマンドで、インポートジョブtestdb.example_routine_load_csvを停止および削除できます:

Check warning on line 282 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

markdown-cjk-spacing

Chinese text should contain spaces around adjacent English words or numbers. Owner%3A @apache/doris-website-maintainers

```sql
STOP ROUTINE LOAD FOR testdb.example_routine_load_csv;
Expand Down Expand Up @@ -405,7 +411,7 @@
| send_batch_parallelism | バッチデータ送信の並列度を設定するために使用します。並列度の値がBE設定の`max_send_batch_parallelism_per_job`を超える場合、coordinatorとして機能するBEは`max_send_batch_parallelism_per_job`の値を使用します。 |
| load_to_single_tablet | タスクごとに対応するパーティションの1つのtabletのみにデータをインポートすることをサポートします。デフォルト値はfalseです。このパラメータは、random bucketingを使用するolapテーブルにデータをインポートする場合のみ許可されます。 |
| partial_columns | 部分列更新を有効にするかどうかを指定します。デフォルト値はfalseです。このパラメータは、テーブルモデルがUniqueで、Merge on Writeを使用している場合のみ許可されます。マルチテーブルストリーミングではこのパラメータはサポートされません。詳細については、[Partial Column Update](../../../data-operate/update/partial-column-update.md)を参照してください |
| unique_key_update_mode | Unique Keyテーブルの更新モードを指定します。選択可能な値: <ul><li>`UPSERT`(デフォルト):標準的な全行挿入または更新操作。</li><li>`UPDATE_FIXED_COLUMNS`:部分列更新、すべての行が同じ列を更新。`partial_columns=true`と同等。</li><li>`UPDATE_FLEXIBLE_COLUMNS`:柔軟な部分列更新、各行が異なる列を更新可能。JSON形式が必要で、テーブルは`enable_unique_key_skip_bitmap_column=true`である必要があります。`jsonpaths`、`fuzzy_parse`、`COLUMNS`句、または`WHERE`句と併用できません。</li></ul>詳細については、[Partial Column Update](../../../data-operate/update/partial-column-update#flexible-partial-column-update)を参照してください |

Check failure on line 414 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

link-missing-anchor

Anchor #flexible-partial-column-update does not exist in ja-source/docusaurus-plugin-content-docs/current/data-operate/update/partial-column-update.md. Owner%3A @apache/doris-website-maintainers
| partial_update_new_key_behavior | Unique Merge on Writeテーブルで部分列更新を実行する際の新規挿入行の処理方法。2つのタイプ:`APPEND`、`ERROR`。<br/>- `APPEND`:新規行データの挿入を許可<br/>- `ERROR`:新規行を挿入する際にインポートが失敗し、エラーを報告 |
| max_filter_ratio | サンプリングウィンドウ内で許可される最大フィルタリング率。0以上1以下である必要があります。デフォルト値は1.0で、任意のエラー行を許容できることを意味します。サンプリングウィンドウは`max_batch_rows * 10`です。サンプリングウィンドウでエラー行数/総行数が`max_filter_ratio`より大きい場合、routineジョブが一時停止され、データ品質問題を確認するための手動介入が必要になります。where条件でフィルタリングされた行はエラー行としてカウントされません。 |
| enclose | 囲み文字を指定します。CSVデータフィールドに行または列区切り文字が含まれる場合、保護のために単一バイト文字を囲み文字として指定できます。例えば、列区切り文字が","で、囲み文字が"'"の場合、データ"a,'b,c'"に対して、"b,c"が1つのフィールドとして解析されます。 |
Expand All @@ -426,7 +432,7 @@
| kafka_topic | 購読するKafkaトピックを指定します。1つのインポートジョブは1つのKafka Topicのみを消費できます。 |
| kafka_partitions | 購読するKafka Partitionsを指定します。指定しない場合、デフォルトですべてのパーティションが消費されます。 |
| kafka_offsets | 消費対象のKafka Partitionでの消費開始点(offset)。時間が指定された場合、その時間以上の最も近いoffsetから消費が開始されます。Offsetは0以上の特定のoffsetを指定するか、以下の形式を使用できます:<p>- OFFSET_BEGINNING:データが存在する位置から購読します。</p> <p>- OFFSET_END:終端から購読します。</p> <p>- 時間形式、例:"2021-05-22 11:00:00"</p> <p>指定しない場合、デフォルトで`OFFSET_END`からトピック配下のすべてのパーティションを購読します。</p> <p>複数の消費開始点を指定でき、カンマで区切ります。例:`"kafka_offsets" = "101,0,OFFSET_BEGINNING,OFFSET_END"`または`"kafka_offsets" = "2021-05-22 11:00:00,2021-05-22 11:00:00"`</p> <p>時間形式とOFFSET形式を混在させることはできないことに注意してください。</p> |
| property | カスタムkafkaパラメータを指定します。kafka shellの"--property"パラメータと機能的に同等です。パラメータValueがファイルの場合、Valueの前にキーワード"FILE:"を追加する必要があります。ファイルの作成については、[CREATE FILE](../../../sql-manual/sql-statements/security/CREATE-FILE)コマンドのドキュメントを参照してください。サポートされているその他のカスタムパラメータについては、librdkafkaの公式[CONFIGURATION](https://github.com/confluentinc/librdkafka/blob/master/CONFIGURATION.md)ドキュメントのクライアント設定項目を参照してください。例:`"property.client.id" = "12345"`、`"property.group.id" = "group_id_0"`、`"property.ssl.ca.location" = "FILE:ca.pem"`。 |

Check notice on line 435 in ja-source/docusaurus-plugin-content-docs/current/data-operate/import/import-way/routine-load-manual.md

View workflow job for this annotation

GitHub Actions / Build Check

link-external-report-only

External link is report-only and was not fetched%3A https%3A//github.com/confluentinc/librdkafka/blob/master/CONFIGURATION.md. Owner%3A @apache/doris-website-maintainers

data_source_propertiesでkafka propertyパラメータを設定することで、セキュアアクセスオプションを設定できます。現在、Dorisは複数のKafkaセキュリティプロトコルをサポートしています。plaintext(デフォルト)、SSL、PLAIN、Kerberosなどです。

Expand Down
Loading