エンジニアリング分野
生成AIがネットワーキング・通信OEMのテスト
自動化を加速
米国大手デジタル通信会社によるテストフレームワークの自動生成を支援
所要時間:4分
概要
本ケーススタディーのお客様は、IP 電話やルーター、スイッチなどのネットワーク機器を提供するネットワークテレコム市場の大手企業です。テストサービスの迅速化を目標に、当社と連携することで、テストスクリプトの自動生成を実装して手作業を減らし、市場投入までの時間短縮を実現しました。既存のテスト自動化フレームワークでは、トレーニングを受けた複数のテスターがテストスクリプトを手作業で作成する必要があり、品質にばらつきが生じているだけでなく、さまざまなシナリオをすべてキャプチャすることは困難でした。生成 AI 技術の進歩により、テストスクリプト生成プロセスの自動化を可視化し、クライアントのテストの課題に対応しました。
課題
手作業によるデバッグと人の介入による効率の低下
- 手作業によるスクリプト開発: トレーニングを受けたテスターがテストケースを手作業で把握し、フレームワークの API を使用してPythonスクリプトを開発する必要がありました。
- レビューとデバッグ: 信頼性の高いテスト自動化を維持するためには、テストスクリプトの定期的かつ厳密なレビューとデバッグ作業が不可欠でした。
- カスタマイズの複雑さ: このフレームワークでは、構成ファイル、解析関数、カスタマイズした API の開発が必要となり、テストプロセスが複雑化していました。
- テスターの専門知識への依存: 既存の手法では、さまざまなテスト条件を予測する際に、手動で作業するテスターの専門知識に大きく依存しており、人間の理解と解釈への依存度が高くなっていました。
- リソースを大量に消費する構成: フレームワークが必要とする構成ファイルとカスタマイズされた API によってリソースを大量に消費するレイヤーが追加されており、開発に要する手間と時間が増加する傾向にありました。
- 知識と指示の必要性: 生成 AI はスクリプト生成を自動化できる一方で、包括的なカバレッジと最小限のレビュー、構成変更への効果的な適応を確約するためには、慎重に確立された知識と指示の提供が必要になるという課題があります。
目的
生成AIを活用してテストの課題を解決、自動化で複雑さに対処
お客様の課題に対処するために、次のような自動生成戦略を提案しました。
- テストケースと要件からテストスクリプト生成を自動化する
- テストスクリプト・テンプレートを使用して、生成されるテストスクリプトを標準化する
- 既存のPythonベースのテストフレームワークにおけるカスタムAPI 生成をサポートする
- ネットワーク機器テストにおけるトラフィックシミュレーション用の複数のフレームワークを統合する
ソリューション/解決策
HCLTech AI Force— テストスクリプトの自動生成
クライアントの要望に応えるために、HCLTech AI Forceを活用し、Pythonベースの自動テストフレームワークでテストスクリプト自動生成のユースケースを提供しました。
- この自動テストフレームワークは、生成 AI モデルへの指示を作成するオーケストレーションフレームワークを備えています。お客様が好むスクリプトテンプレート、テストケース、構成、API 記述、その他関連の外部ナレッジソースを使用して、テストスクリプト生成のプリファレンスとシナリオを把握します。
- また、理解を促進するために、生成されたテストスクリプトのテキストによる概要も生成します。
- テストスクリプトをテスト管理ツールにエクスポートするための外部コネクターと、テストスクリプトのファイルを取得するためのダウンロードオプションが提供されます。さらに、生成されたテストスクリプトの概要、生成コスト(該当する場合)、サンプルを記載したテストレポートも生成されます。
- テストフレームワークはまた、クラウドサーバーでホストされている安全なオンライン生成AIモデルと、クライアントがオンプレミスで実行できるローカルAIモデルもサポートしています。お客様は、これらのAIサービスを通じてデータの利用を制御することが可能になります。
インパクト/成果
本ソリューションをテスト自動化サービスに活用することで、信頼性の高い成果の達成が可能になりました。
- テストサービスにおける帯域幅使用量の約40%削減を実現
- 正確なコメント/説明によりテストスクリプトの品質を改善し、スクリプトの標準と読みやすさを確約
- 構文エラーをなくし、デバッグ時間を大幅に短縮
- 迅速なスクリプト生成、最小限のレビュー時間とスクリプトリビジョンによりテストサービスを迅速化