Cover Image

HCL Link:ウェブベースの ETL & インテグレーションツールの概要

2022/3/17 - 読み終える時間: 14 分

Overview of HCL Link: a web based ETL & Integration tool の翻訳版です。


HCL Link:ウェブベースの ETL & インテグレーションツールの概要

2022年3月4日

著者: Ajay Kumar Mishra / Senior Software Engineer III


概要

今日、データはあらゆる組織にとって重要な役割を担っており、どの組織もさまざまな形式のデータを大量に処理しています。また、日々の業務に必要なデータを処理するために、必ずしも同じデータ形式をサポートしていないアプリケーションが多数存在する場合もあります。この問題を解決するために、彼らは内部/外部アプリケーション/システム内のデータを交換するためのトランスレータ/コネクタまたはミドルウェアが必要になり、ここで我々は強力なETL&統合ツールHCL Linkを持っています。HCL Linkは、UNICA、Commerce、Voltなどの他のHCL Software製品にも使用され、相互または外部システムとの統合に使用されています。


HCL Linkの利用を促進するポイント
  • GUIツール - 非常にシンプルな操作性

  • HCL LINK Embedded Edition(組み込み版

  • RESTベースのカスタムコネクタ

  • 豊富なアダプターのサポート

  • RESTベースのエンドポイントに対応したサービスビルダーのサポート

  • GUIツール - 非常にシンプルな操作性

HCL Link - オンプレミス、クラウド、ハイブリッド環境において、組織内の多くのアプリケーションと多様なデータの統合を促進する堅牢なプラットフォームです。スキーマデザイナー、マップデザイナー、フローデザイナー、コア、ランタイム、アダプターが含まれています。強力なWebベースのETL・統合ツールであり、ユーザーフレンドリーなツールです。ファイルのアップロード、豊富なアダプター/コネクタを使用した接続/アクションの作成、アクションのデータ変換/転送のためのマップの作成、マップとフロー内の他のノードのオーケストレーションなどを簡単に行い、目的のゴールを達成できます。

ホームUIは次のようなものです。DesignとDeployの2つのバナーが表示されます。デザインは、プロジェクトのリスト、作成、インポートを表示し、デプロイは、サーバー、パッケージ、サーバーグループ、構成変数の作成、パッケージのデプロイのオプションを表示します。

デザインバナー

画像の説明

  • [デザイン]で、[+]アイコンをクリックして新しいプロジェクトを作成し、プロジェクト名を入力して[OK]をクリックします。すると、以下のような画面が表示されます。

画像の説明

Quick Links

ファイル、接続/アクション、スキーマ、マップ、フローにすばやくアクセスするためのリンクを提供します。また、ページの下部にある個別のタブでこれらのオプションにアクセスすることもできます。

プロジェクトを作成/変更するためのリンクデザインオプション

ファイル - このオプションを使用して、マップ/フローで使用できるように入力ファイルをアップロードします。また、ローカルにファイルをダウンロードすることもできます。ローカルシステムで出力を見たい場合は特に必要です。

コネクション

接続は、ファイル、JDBC、FTP、RESTなど、どのシステム/技術に接続されているかを識別します。

アクション

アクションは、その接続を使用して具体的に何が行われているかを識別します - 例:データベーステーブルに行を挿入、サードパーティーシステム/アプリケーションのContactオブジェクトを更新、特定のREST APIを呼び出す、サードパーティーシステムにファイルを転送するなどです。

スキーマ

スキーマは、コネクタ/アダプターから返されるデータ、またはコネクタ/アダプターに送信されるデータの構造を記述するものです。スキーマインポーターを使用して、CSV、Copybook、XSD、JSONテンプレートなどからスキーマを作成できます。

マップ

マップは、希望する出力結果を生成するためのロジックを提供します。例えば、XMLデータをCSVにマッピングする必要がある場合、マップを使用してこれを行うことができます。

フロー

目標を達成するために、複数のノードを一緒にオーケストレーションする方法を提供すること。1つまたは複数のノードを含むことができます。

画像の説明

バナーのデプロイ

画像の説明

Link のプロイオプション

サーバーグループ - Prod、Dev、Testなどのサーバーグループを作成し、サーバーをサーバーグループと関連付けられます。

サーバー - WindowsやLinuxなどのプラットフォームの詳細、ユーザー認証情報、サーバーのURLまたはIP/FQDNなどの接続文字列、およびサーバーグループを含むサーバーを作成できます。

構成変数 - 構成変数は、実行時に配置環境(サーバーグループ)に固有の値に解決するエイリアスを定義する。構成変数の値を異なるサーバー グループに関連付けることで、マップやフローを変更せずに、同じマップやフローを異なる環境、サーバー、およびプラットフォームで実行できるようになる。

パッケージ - パッケージ化するプロジェクトを選択することで、パッケージを作成できます。そして、そのパッケージ内のマップ、フロー、ファイルを追加できます。

デプロイ - パッケージとサーバー名を選択して、選択したサーバーにパッケージをデプロイできます。

ビルド - サーバーにデプロイする前にパッケージをビルドして、コンパイル時のエラーがないかどうかを確認できます。

HCL Link コンポーネント(リンクがインストールされると、以下のコンポーネントを確認できます。)

HIP クライアント - ブラウザでUIページをレンダリングする役割を担います。

HIP サーバー(設計時) - スキーマ、マップ、フローを作成するのに便利です。

HIP Rest (Runtime) - 要件に応じたマップとフローの実行を容易にする。

Mongo - 設計時に作成した成果物を保存するために使用します(HIP-Server)。

Redis - HIP-Rest/runtimeはREDISを使用してリクエストを実行します。

  • HCL LINK Embedded Edition

これは、私たちが他のHCL Softwareチームに提供しているもので、彼らのアプリケーション(Unica、Voltなど)の中に埋め込むために、HCL Link とEmbeddability Extensionsを含んでいます。

特に、Unica アプリケーション(Journey と Campaign)は、HCL Link EE とアプリケーション固有のコネクタ(例えば Unica Link の場合、メールコネクタ、アドテク、CRM、SMS、データベースコネクタ)を製品パッケージの一部として組み合わせています。

HCL Link Embeddability Extensions (EmbedX) - Unica、Volt、Commerceなど、他のHCL Software製品による組み込み利用を可能にするためにHCL Linkの上に構築された拡張機能です。パートナーや顧客が独自のコネクタを簡単に作成し、使用することを可能にします。

画像の説明

Unica Link インテグレーションで使用されるコネクターは以下の通りです。

画像の説明

HIP-REST(Runtime)でUnica-Linkのリクエストを実行するために必要なさまざまなホップは以下の通りです。

画像の説明

  • RESTベースのカスタムコネクタ

HCL Linkは、お客様が必要なコネクタを簡単に作成できます。これがカスタムコネクタの正体です。例えば、Unicaの顧客は、独自のコネクタを作成するためにこれを活用できます。例えば、Unicaの顧客がデータ処理のために新しいサードパーティーシステムに接続する要件がある場合、例えば新しいマーケティングアプリケーションの場合、リンクを活用してそのようなコネクタを作成することが可能です。その場合、カスタムコネクタの要件と、その要件を満たすためにサードパーティーアプリケーションが提供する適切なREST APIを確認する必要があります。

要件の準備ができたら、コネクタ・プロジェクトを作成し、RESTエンドポイントおよびコネクタ記述子ファイルを定義して、接続とアクションのプロパティを定義できます。

サーバーにインストール可能なカスタム コネクタ パッケージを作成するために必要な成果物

  • マップ/フローを含む接続プロジェクトファイルを作成します。
  • RESTエンドポイントを定義するサービス定義ファイル/設定パッケージ
  • 接続とアクションのプロパティを定義したコネクタディスクリプタファイル

packagerコマンドを使用して、上記の成果物をパッケージングしてコネクタパッケージを作成します。それはその後、リンクhip-restコンポーネントにデプロイできます。

コネクタを出力ディレクトリ「 \outputtest 」にパッケージするために、packager ツールに -p (package) と -ep (export package) オプションを付けて起動します。

C:\packager> packager \connectors\test \output\test -ep Test - p -h https://localhost:8443/ -u admin -pw ****

上記の手順でコネクターパッケージが作成され、サーバーにデプロイされ、インストールされると、お客様は新しいチャネルでのマーケティングのために、Unicaアプリケーションと新しいコネクターの統合を開始できます。

  • 豊富なアダプターのサポート

HCL Linkは、様々なアプリケーション/システムに接続するための豊富なアダプターをサポートしています。これにより、異なる通信プロトコルを使用して多くのアプリケーションと統合することを意図している場合、様々な顧客の要件を満たすことができるように堅牢になっています。

画像の説明

  • RESTベースのエンドポイントに対するサービスビルダーサポート

HCL Linkには、他のシステムやアプリケーションに接続するために使用されるRESTエンドポイントのサービス定義ファイルを作成するためのService Builderが含まれています。これは、UNICA-LinkのRESTベースのコネクタを作成するために重要です。

  • リンクのホームページでサービスビルダーのリンクをクリックし、サーバー定義とエンドポイントを作成します。

画像の説明

  • 'Create Service'をクリックして、新しいサービスを作成します。

画像の説明

  • サービス名、認証タイプ、パラメータなどの詳細を入力します。

画像の説明

  • 最後のステップで、サービスを保存できます。
  • サービス内で、エンドポイントの作成をクリックします。

画像の説明

  • エンドポイント名、メソッドタイプ、その他リクエスト/レスポンスペイロードに必要なパラメータを入力し、保存します。

画像の説明

  • リクエストタブのAPI呼び出しボタンをクリックすると、エンドポイントが正常に動作しているかどうかを確認できます。

これらのエンドポイントは、マップやフローで使用できます。


リンクの基本的な考え方を、初めての方向けに例題で説明

シナリオは、CSV入力ファイルをJSONに変換することです。CSV入力ファイルの構造は、以下の通りだとします。

Employee Name,Designation

  • リンク UI に移動し、デザインバナーの下にある + アイコンを選択して、新しいプロジェクトを作成します。ページ下部には、以下のようなタブが表示されます。

ファイルタブ

ステップ1では、入力ファイルをアップロードします。

  • ファイルタブをクリックし、+アイコンをクリックして新しいファイルをアップロードします。

画像の説明

コネクションタブ

  • Connections タブをクリックします。

画像の説明

  • 新しい接続を作成するには、+アイコンをクリックします。外部または内部システムに接続可能なアダプターの一覧が表示されます。File adapter as my source/target を選択すると、file となります。次へ]をクリックして接続名を指定し、保存します。

画像の説明

スキーマタブ

スキーマは、インポーターを使用して、ファイルデータを格納するためのデータ構造をテンプレートから簡単に作成するのに役立ちます。

ここでは、CSVに続いてJSONを作成することにします。

  • スキーマをクリックし、インポートをクリックしてファイルからインポートし、ドロップダウンボックスからCSVを選択します。

画像の説明

  • 構造体を作成する入力ファイル名を選択し、Next をクリックしてスキーマ名を入力し、import を選択します。

画像の説明

画像の説明

次に、JSONスキーマをインポートします。

画像の説明

  • XSD/JSON をクリックし、JSON ファイルを参照し、OK をクリックします。

画像の説明

アクションを作成するためのConnectionsタブ

ソースアクションの作成

  • 接続名の上にマウスを置き、3つの点をクリックすると以下のように表示されます。

画像の説明

  • 新しいアクションを作成するには、[New Action] オプションをクリックします。

画像の説明

  • ソースを選択し、「次へ」をクリックして、入力ファイルを参照する グラフィカルユーザーインターフェイス、アプリケーション 説明が自動的に生成される

画像の説明

  • 入力ファイルに合わせてスキーマとスキーマタイプを選択し、名前を付けて保存します。

画像の説明

ターゲットアクションの作成

  • 接続名の上にもう一度マウスを置き、3つの点をクリックします。

画像の説明

  • New Action をクリックしてターゲットアクションを作成し、Next をクリックします。

画像の説明

  • JSON テンプレートファイルを参照し、[次へ] をクリックします。ターゲットアクション名を入力し、保存します。

これで、CSVファイルから読み込むソースアクションと、JSON形式に書き込むターゲットアクションの2つが作成されたことが確認できます。

画像の説明

Map タブ

  • 地図タブをクリックし、+アイコンをクリックすると、新しい地図が作成されます。マップ名を入力し、OK をクリック

画像の説明

画像の説明

  • 入力カードと出力カードという形で、マップにアクションを追加します。

画像の説明

  • アクションを追加すると、以下のようなマップになります。

画像の説明

  • CSVをJSONに変換する機能マップを作成する。

画像の説明

画像の説明

  • ビルドアイコンをクリックし、マップをビルドします。ビルドに成功したら、実行ボタンをクリックしてマップを実行します。

画像の説明

  • 入力と出力の結果データは以下のようになります。

画像の説明

フロータブ

  • フロータブをクリックし、+アイコンをクリックすると、新しいフローが作成されます。名前を入力し、OK をクリック

画像の説明

  • 決定ノードとマップノードを1つずつ持つフローを作成します。Flag_to_Run_the_Map フローバリューが True に設定されている場合、決定ノードは True ターミナルを実行し、それ以外の場合は False ターミナルを実行します。

  • Flag_to_Run_the_Map が True の場合、mapノードが実行され、さらに JSON データが生成されます。Flag_to_Run_the_Map が True の場合、Map ノードが実行され、JSON データが生成されます。

画像の説明

  • Flag_to_Run_the_Map を True に設定してフローを実行する。

画像の説明

  • Flag_to_Run_the_Map をFalseに設定してフローを実行すると、マップノードに緑のチェックマークが表示されないことに気がつくでしょう。

画像の説明


HCL Domino Volt 同梱の HCL Link にはライセンスサーバーおよび追加ライセンスは不要です

2021/8/10 - 読み終える時間: ~1 分

HCL Domino Volt 1.0.3 から、HCL Link を使った外部連携機能が追加されています。HCL Link の利用権は HCL Domino Volt に含まれています。

HCL Link の製品ドキュメントには、ライセンスサーバーのインストールに関する記述がありますが、HCL Domino Volt と組み合わせて使用する HCL Link の場合、ライセンスサーバーは不要です。詳細は以下の記事を参照してください。

なお、Domino Volt との連携以外の用途で HCL Link を使うことは許諾されていませんので注意してください。

サポート技術情報: HCL Domino Volt 同梱の HCL Link ライセンス管理について


HCL Link: 汎用データ連携ソフトウェア

2021/4/30 - 読み終える時間: ~1 分

2021年4月27日にリリースされた HCL Domino Volt 1.0.3 では、外部データ連携機能が強化されていますが、この機能を実現するソフトウェアとして HCL Link が必要となります。今回、HCL Link の製品ページを追加しました。製品紹介の短いビデオもありますのでご覧ください。


2021年4月、HCL Domino Volt と HCL Link の連携・統合

2021/4/21 - 読み終える時間: ~1 分

Integrate with HCL Link in April の翻訳版です。


2021年4月、HCL Domino Volt と HCL Link の連携・統合

2021年4月21日

著者: Arlene Kim / Product Marketing Manager

画像の説明

HCL Software 日本チーム注: 本ウェビナーは HCL Domino Volt 1.0.3 に関するものです。1.0.3 の新機能の一つに外部システム連携があり、HCL Link が用いられます。本ブログ記事はそのことについて、HCL Link のチームにより書かれたものです。1.0.3 は 2021年4月末頃のリリースを予定しています。


ビジネス、コンプライアンス、またはアプリケーション環境の変化に備えていますか? HCL Link は、企業がデジタルトランスフォーメーションを実現するために、異なるビジネスユニット、プロセス、アプリケーションを接続することを支援します。このコードフリーのソリューションは、関連データのソースまたはターゲットアプリケーションに接続する機能を提供し、最も適応性の高いデータ統合プラットフォームで複雑なデータ変換を処理します。

2021年4月28日、HCL Link と HCL Domino Volt が連携・統合されることになりました。Domino Volt は、強力で安全な、エンタープライズグレードのワークフローベースのアプリケーションを簡単に開発できるローコード機能です。専門的な IT スキルや Domino のスキルがなくても、誰でも部署単位からミッションクリティカルなアプリを構築できます。

この統合により、様々なデータソースを簡単に接続し、ナビゲートする新しい可能性が生まれます。2021年4月28日午後23時から1時間(日本時間)に開催されるウェビナーに参加して、このリリースについて学び、実際に動作する様子をご覧ください。この体験をお見逃しなく。

詳細

画像の説明

画像の説明


HCL Link Supply Chain EDI (Electronic Data Interchange) Pack とは何か

2021/2/8 - 読み終える時間: ~1 分

What is the Supply Chain EDI Pack? の翻訳版です。

HCL Link Supply Chain EDI (Electronic Data Interchange) Pack とは何か

2021年2月4日

著者: Ryley Robinson / HCL Software Intern

画像の説明

HCL Link Supply Chain EDI (Electronic Data Interchange) Pack は、HCL Linkで使用するための規格のさまざまな形式を伝える組み立て済みの構造体を提供します。これらの構造体の一部を手動で構築するには、ガイドラインの複雑な性質上、時間と労力が必要となります。

EDI トランザクションのサポートとは何ですか?

"HCL Link Supply Chain EDI Pack は、HCL Link を拡張し、ANSI X12 文書、EDIFACT 文書、Tradacomsトランザクションなどの EDI 中心の要件に対応しています。これらの EDI 規格のスキーマは、2003年版から現在のバージョンまで提供されています。新しいバージョンが利用可能になると、サポートプロセスの一環として提供されます。あるバージョンの標準から別のバージョンの標準に移行する際に、そのインターフェースのメンテナンスにかかる貴重な時間を節約できます。HCL Link は、標準スキーマの変更を解釈し、既存の統合を更新する際にガイドしてくれます。"

HCL Link Supply Chain EDI Pack を利用することで、統合ソースまたは統合ターゲットの構造がお客様のために収容されます。クラウド、オンプレミス、またはハイブリッド・アプリケーション内で、統合ストリームや複雑な変換の変更を迅速に行えます。HCL Link Supply Chain EDI Pack は、EDI 標準を取得、特性化、維持するための面倒な作業を中心としたもので、データからより多くの知識、より多くの洞察、そしてより多くのインセンティブを得ることに専念できます。

HCL Link にアクセスするか、HCL Link Supply Chain EDI Pack の詳細情報をダウンロードしてください。


このブログについて

HCL Japan の Software 部門の複数担当者で HCL Software 全般について記しています。

Tags

Accelerate Ambassador AoC AppDev Pack AppScan ASoC beta BigFix BigFix 9.5 BigFix_Wiki branding CAA Client Applicatin Access cloud Cloud Apps Cloud Native Commerce community companion Compass compliance Connections Connections 6.5 ConnectionsDocs Connnections CVE-2021-44228 developerWorks DevOps DevOps.Launch.AppScan Digital Experience document Doino Volt Domino Domino AppDev Pacl Domino Volt DQL dW dx Enterprise Integrator event fix fix_list fixlist forum General guide HCAA HCL Ambassador HCL OneTest Embedded HCL Z and I Emulator HCL Z and I Emulator for Transformation hints_and_tips history HTMO IBM_i ID_Vault iNotes ios ios13 ipad iPhone Launch Launch.DevOps LEAP Link logo MarvelClient mobile mui nds2019 ndv12beta News Nomad Nomad Mobile Nomad Web Notes Notes/Domino Notes/Domino 10 Notes/Domino 11 notes-domino-9-10-limited-supportability-as-of-202204 Notes/Domino V12 Notes/Domion Notes/Domno notescons Now on_premises OneDB OneTest osaka press_release relay RTist SafeLinx Sametime Sametime 11 SoFy support survey system_requirement techtek Traveler Traveler 10 Traveler for Microsoft Outlook traveler.zip Unica Unica Discover Unica Interact UrbanCode Deploy UrbanCode Velocity v11 V12 Verse Verse Mobile Verse On-Premises VersionVault Volt Volt MX Webinar win7 youtube Z Z ABEND Investigator Z and I Emulator Z and I Emulator for Transformation Z and I Emulator for Web Z and I Emulator for Web Client Z Asset Optimizer ZAO ZIE ZIE for Web ZIE for Windows ZIETrans ZIEWeb うるう年 イベント ウェビナー ガイド クラウド クラウド終了 サイジング サポート サポート技術情報 サポート期間 サポート終了 セキュリティー セキュリティー脆弱性 セミナー ダイバーシティー ダウンロード テクてく テクてく Lotus 技術者夜会 ニュース ノーツコンソーシアム バージョンアップ パフォーマンス パートナー ベータ ポートフォリオ ライセンス 互換性 出荷日 各種ご案内資料 研修