用語集

Mayhem およびそのドキュメントでは、なじみがない用語が使われている (あるいは、なじみがある用語がなじみのない使い方をされている) かもしれません。以下に用語の定義を簡単に説明します。

アプリケーション

アプリケーションの定義はユーザーによって異なります。コンテキストによっては、「ウェブアプリ」のように 1 つの目的を達成するために使用されるソフトウェアの集合を指します。Mayhem では、アプリケーションとは "httpd" や "/bin/ls" のような単一のプログラムです。Mayhem はアプリケーション、バイナリ、実行ファイルという用語が同じ意味で使用されます。

ビヘイビア テスト

ビヘイビア テストは、さまざまな入力値を使用してアプリケーションを実行し、入力の変化に伴ってどのようにプログラム フロー、コード カバレッジ、アプリケーションの終了方法が異なるかを観察します。異常な観測結果が選別され、動作が脆弱性であるかどうかが判断されます。

制御フロー グラフ (CFG)

制御フロー グラフ (CFG) とは、ステートメントをノードとし、制御の遷移が可能な 2 つのノードの間にエッジが存在する有向グラフです。

依存関係

アプリケーションの依存関係には、アプリケーションの実行に必要なライブラリや構成ファイルが含まれます。ldd /usr/bin/program によってリストされるライブラリや、NGINX の nginx.conf ファイルなどが依存関係の例です。

動的解析

動的解析は、ターゲット プログラムが実際の入力を処理するのをモニターします。たとえば、プログラムで valgrind を実行するのは、メモリ エラーを調べる動的解析の 1 種です。

実行可能プログラム

実行ファイルは、Mayhem ではアプリケーションまたはバイナリとも呼ばれ、ディスク上の単一のマシン実行可能プログラムです。C/C++、Go、Rust や類似の言語で書かれ、実行ファイルにコンパイルされるものが Mayhem に適合します。実行ファイルはライブラリや構成ファイルなどの外部依存関係に依存している場合があります。現時点では、Mayhem は Python、Javascript、bash などのインタープリター言語で書かれたプログラムを解析できません。

カバーされたエッジ

Mayhem は、制御フロー グラフのいくつのエッジが実行されたかを計測するエッジ カバレッジ メトリクスを使用します。より正式には、プログラムの各ステートメントをノードとする制御フロー グラフを考慮し、2 つのノード間に可能な制御フローがある場合にだけノードが接続されます。エッジ カバレッジは、テスト スイートによって検証されたエッジの数を計測します。

ファジング

ファジングは選択された入力値 A を変化させて新しい入力値 B を作成し、入力値 B を使用してアプリケーションを実行します。「ファジング」という用語は、一般的には Bart Miller による造語とされています。

Mayhem はポートフォリオ ファザーです。高いレベルでは、ファジング技法は次のように分類できます。

• ブラックボックス技法: プログラム自体の知識なしに、通常はランダムに入力を変化させます。 Linux の zzuff プログラムは、ブラックボックス ファザーの例です。
• ホワイトボックス ファザー: プログラムの情報を使用して入力値 A から入力値 B を派生させます。 Mayhem にはシンボリック実行に基づくホワイトボックス ファザーが含まれています。シンボリック実行は、形式コンピューター サイエンス手法を使用し、入力値 A に対してプログラムがどのように実行されるかをモデル化して新しい入力値 B を派生させるプログラム解析技法です。
• グレーボックス ファザー: インストゥルメンテーションを使用して新しい入力値を派生させます。afl ファザーはグレーボックス ファザーです。Mayhem にはグレーボックス ファザーが含まれています。
• ポートフォリオ ファザー: 上記のファジング技法をインテリジェントに組み合わせてカバレッジを最大化します。

ハーネス

ハーネスは、テスト対象実行ファイル内のターゲットとしたい特定ルーチンを呼び出す新しいコードをユーザーが追加することで作成されます。

サンプル:

OpenSSL の fuzz ディレクトリにいくつかのハーネスが定義されています。

Mayhemfile

Mayhem の構成ファイルです。

mCoders

Mayhem のユーザーとは、アプリケーション セキュリティ、dev(sec)ops、脆弱性調査、品質保証などのバックグラウンドにかかわらず、ソフトウェアの品質向上に関心を持つすべての人を指します。

ネガティブ テスト

誤った動作または望ましくない動作を検証するテストであり、ポジティブ テストの反対語です。ネガティブ テストは、ターゲットに誤った形式の入力値が指定された場合も予期しない動作をしないことを保証します。たとえば、数値パーサーが数値ではない文字列入力値をグレースフルに処理できることを保証するのは、ネガティブ テストの 1 種になるでしょう。

テスト実行数

プログラムに対して異なる入力値で実行された繰り返しの総数です。

Note

すべての繰り返しが新しいテスト ケースにつながるわけではありません。新しいエッジ カバレッジを特定するテスト ケースだけが保存されるため、これは期待される動作です。たとえば、テスト実行数が 60M だった場合、少なくとも 6000 万回の入力値のミューテーションが試みられ、ターゲットに送信されたことを意味します。

組織

組織は、Mayhem でユーザー (したがってランへのアクセス) を管理する際の最上位の構造です。組織にはメンバー、プロジェクト、チームを含めることができます。

組織オーナー

組織の管理者権限を持つユーザー メンバーです。組織オーナーであるユーザーは、組織内のメンバーおよびチームを管理できます。

組織メンバー

組織のメンバーとしてリストされるユーザー アカウントです。ユーザーが組織内でランを開始するには、その組織のメンバーでなければなりません。ランが開始される前に、各ユーザーの API トークンと組織メンバーのリストが照合されます。ユーザーは複数の組織のメンバーになることができます。

パッケージ

パッケージは、アプリケーション実行に必要な chroot 環境全体に Mayhem パラメーターを指定する Mayhemfile 構成ファイルを加えたものです。 典型的なパッケージには以下が含まれます。

1. ファズ ターゲットの Mayhem ランを構成する Mayhemfile
2. ファズ ターゲットのテスト ケースの集合を含むテスト フォルダー
3. アプリケーションまたはコンパイル済みバイナリの実行に必要なアプリケーション固有のライブラリおよびアプリケーション固有の構成ファイルを含む chroot 環境

Note

現在、パッケージとは、Docker イメージまたは Docker を使用しないユーザーのための chroot 環境を含む総合的な概念です。Mayhem パッケージの目的は、分散ファジングのための完全なランタイム環境を指定することです。

ポジティブ テスト

ポジティブ テストは、プログラムへの入力値として有効なデータを送信し、期待された結果かどうかをチェックするテストの 1 種です。

ポートフォリオ解析

解析のシグニチャのタイプが同じ複数のタイプの解析を実行することです。たとえば、シンボリック実行とファジングは、両方ともプログラムとシード入力値を受け取り、新しいテスト ケースを出力します。シンボリック実行とファジングは、ポートフォリオ解析として同時に実行できます。

プロジェクト

プロジェクトは、解析対象ターゲットのコレクションです。ユーザーはプロジェクトに含めるターゲットを決定できます。よくあるパターンは、1 つの比較的大きなアプリケーションのためのターゲットをすべて 1 つのプロジェクトに入れるというものです。

プロジェクト コントリビューター

プロジェクトに追加された読み取り、書き込み、管理アクセス権のいずれかを付与されたユーザーまたはチーム アカウントです。管理権限を持つコントリビューターだけがプロジェクトを削除できます。任意のユーザー アカウントがプロジェクトを作成できます。

ラン

Mayhem が分散クラスター内でアプリケーションのファズ テストを実行する Mayhem ランです (ジョブとも呼ばれます)。

ターゲット

ターゲットは、コンパイル済みのアプリケーションとそれを実行するためのコマンド ラインです。

たとえば、OpenSSL をコンパイルすると、openssl 実行ファイルが生成されます。次の例では、1 つ実行ファイルに対して 3 つの異なるターゲットがあります。シンボル @@ は、ファジングに使用するファイルを表します。

openssl cms -cmsout -inform DER -in @@
openssl sha @@
openssl seed -in @@ -out /tmp/file2 -k foobar

チーム

チームは、複数のユーザー アカウントを 1 つのユニットにまとめて、チーム内のすべてのユーザーにパーミッションを割り当てるための手段です。

テスト ケース

テスト ケースは、プログラムまたはシステムの動作や予期しない入力値および悪意のある入力値に対するレジリエンスを検証するために生成され、プログラムまたはシステムに与えられる特定の入力値またはデータを指します。通常、ファジング テスト ケースには、潜在的な脆弱性を引き起こしたりソフトウェアのバグを明らかにするために、誤った形式のデータや予期しないデータが含まれます。

テスト カバレッジ

テスト カバレッジはコード カバレッジとも呼ばれ、変化させた入力テスト ケースを使用したファジングで、プログラムを構成するコードがどの程度実行されたかを計測します。

たとえば、入力文字列を読み取るプログラムがあるとします。プログラムにテスト ケース "welcome" が与えられると、プログラムは "hello!" と出力し、他の場合は別の処理を行います。

このプログラムを制御フロー グラフとして考えてみると、入力テスト ケースに基づいて実行される可能性があるパスが複数あることがわかります。

graph TD
    1[1 - input] -- if input == 'welcome' --> 2[2 - print 'hello!'];
    1 -- else --> 3;
    2-->3[3 - do something];

このプログラムのカバレッジは、次のカテゴリに分類できます。

1. ノード カバレッジ: グラフの各ノードを実行するテスト パスの集約を表します。ノード カバレッジは各ノードが実行されることだけを要求し、ノード間のパスが実行されるかどうかは問いません。たとえば、テスト パス [1, 2, 3] はすべてのノードに到達するため要件 {1, 2, 3} を満たします。
2. テスト要件 = {1, 2, 3}

3. テスト パス:

   • [1, 2, 3]

4. エッジ カバレッジグラフの各ユニークな線、つまりエッジを実行するテスト パスの集約を表します。エッジ カバレッジは、2 つのノード間のすべてのパスが実行されることを要求するため、上記のノード カバレッジのテスト パスでは十分ではありません。ノード 1 と 3 を直接つなぐエッジをカバーするには、追加のテスト パス [1, 3] が必要です。

5. テスト要件 = {(1, 2), (1, 3), (2, 3)}

6. テスト パス:

   • [1, 2, 3]
   • [1, 3]

7. 完全パス カバレッジプログラム中のすべての線状のパスが少なくとも 1 回は実行されるテスト パスを表します。

8. テスト パス合計:
   • [1, 2, 3]
   • [1, 3]

Info

プログラムの制御フロー グラフ中のループを考慮すると、完全パス カバレッジはエッジ カバレッジとは異なる場合があります。カバレッジ解析の詳細についてはこちらを参照してください。

そのため、ターゲット プログラムをファジングする際、Mayhem はプログラムの制御フローに沿ったさまざまなテスト パスを実行できるよう、ランダムな入力テスト ケースを生成します。その後、カバーされたエッジなどのデータを追跡し、以降のカバレッジ解析に使用できるカバレッジ ファイルを生成します。

テスト スイート

テスト スイートは、プログラムまたはシステムの堅牢性とセキュリティを評価するために、まとめて実行されるよう意図されたテスト ケースのコレクションまたはセットを指します。ファジング テスト スイートは複数のテスト ケースからなり、それぞれのテスト ケースは、コード カバレッジを最大化し、潜在的な脆弱性やソフトウェアの欠陥を検出することを目的としたさまざまな入力値およびデータのバリエーションを含んでいます。

テスト スイート サイズ

Mayhem によって発見され、それぞれが他と重複しないコード カバレッジに寄与するテスト ケースの数です。

Note

これらのテスト ケースのいずれかを削除すると、すでに発見された機能の一部が検証されなくなります。