こんにちは、管理人の@Salesforce.Zです。
今日は、TerraSky社が製品である「Data Spider」のPSPフローの有効化、無効化のやり方を共有する
PSPフローとはなに?すら知らずに、使っている人もいるかも。なので知った上で使おう。
★ Data Spider PSTフローの有効化、無効化方法/
目次
PSPフロー
PSPの特徴
PSPは、以下のような特徴を持っています。
・メモリ消費の抑制 入力データを全てメモリに保持せず、1000件ずつ「読み取り」-「変換」-「書き込み」の処理を行います。 そのため、大量のメモリを必要とすることなく大容量のデータを処理することができます。
・超大容量データ処理 入力データをメモリに保持せず処理するため、理論上、データ容量の制限はありません。
・パフォーマンスの向上 「読み取り」-「変換」-「書き込み」を順番に処理する場合、CPU資源を有効に使えていません。
PSPを利用することにより、読み取り、変換、書き込みの各処理をマルチスレッドで動作し処理を分散させるため、1つの処理がI/O待ちになっている状態でも、他のスレッドで変換などの処理を並行で行えるようになります。
PSPとは
PSP:パラレルストリーミング処理(Parallel Stream Processing
PSPの有効化、無効化
Data Spiderでは、アイコンとアイコンの間に線で結んでいる。
その線(実線)のことをフローと呼ぶ。
フローにマウスを右クリックで下記画像のようになる。✔を入れたら、有効化。✔を外したら、無効化になる。
PSPフロー有効化のメリット
これは、PSPの特徴セクションになる。そちらを確認してください。
PSOフロー無効化のメリット
例えば、CSVファイルを読み込むアイコン(コンポーネント)を使って、何件データを読み込んだか、をコンポーネント変数に入る。
この数値が何件データを取り込む予定を指標として使える。PSPフローを有効化すると、数値が自動的に入ってこない。
データ連携におかる下記サマリをよく出される。
・何件取り込む予定
・何件取り込んだ
・何件取込失敗
・失敗エラーメッセージ
がほしい理由。こんなときに、PSPフローを無効化しないと、簡単に取れないになる。
最後に
有効化と無効化はそれぞれメリットとデメリットがあるため
比較した上で、できるだけ有効化したほうが良いでしょうか
引用先:パラレルストリーミング処理