Embulk で任意のカラムをマスクする embulk-filter-mask プラグインを公開しました

久しぶりの投稿ですが生きております。

ふと Embulk のプラグインを見よう見まねで作ってみました。

Embulk で転送かけるデータのカラムを指定して * で置換を行うフィルタープラグインです。

センシティブな情報なのでマスクしたい、がカラムごと削ってしまうと入力有無がわからなくて困る…あるいは JSON の一部分だけ不要なんだけど他は連携する必要がある…などの時に使えるかなと思い作りました。

README にもある通り、例えば

first_name	last_name	gender	age	contact
Benjamin	Bell	male	30	bell.benjamin_dummy@example.com
Lucas	Duncan	male	20	lucas.duncan_dummy@example.com
Elizabeth	May	female	25	elizabeth.may_dummy@example.com
Christian	Reid	male	15	christian.reid_dummy@example.com
Amy	Avery	female	40	amy.avercy_dummy@example.com

というデータを input に食わせた時、

filters:
  - type: mask
    columns:
      - { name: last_name}
      - { name: age}
      - { name: contact, pattern: email, length: 5}

という設定を embulk の config に記述しておくと

first_name	last_name	gender	age	contact
Benjamin	****	male	**	*****@example.com
Lucas	******	male	**	*****@example.com
Elizabeth	***	female	**	*****@example.com
Christian	****	male	**	*****@example.com
Amy	*****	female	**	*****@example.com

このようなデータが output に渡されます。

カラム名を指定しただけの状態では単純に文字数分の * に置換されますが、例えばlength オプションで５文字と指定することで一律 ***** とすることも可能です。文字長に意味を持たせたくないときなどによろしいかと思います。

あとは、pattern: email とするとメールアドレスのドメイン部分（@ 以降）は残したままでマスクを行います（デフォルトは pattern: all の全文字置換）。

JSON 型のサポートもしており、

{
  "full_name": {
    "first_name": "Benjamin",
    "last_name": "Bell"
  },
  "gender": "male",
  "age": 30,
  "email": "test_mail@example.com"
}

という構造のデータが入っている user というカラムがあった時、

filters:
  - type: mask
    columns:
      - { name: user, paths: [{key: $.full_name.first_name}, {key: $.email, pattern: email}]}

などとすると $.full_name.first_name と $.email の二つの JSONPath に合致するノードをマスクします。

またこの時、前述の pattern や length オプションも個別に指定が可能なので、上記の例の出力は

{
  "full_name": {
    "first_name": "********",
    "last_name": "Bell"
  },
  "gender": "male",
  "age": 30,
  "email": "*********@example.com"
}

のようになります。

指定されたカラムの value が文字列以外の型だった場合は一回文字列に変換したものを置換します。例えば [0, 1, 2, 3] のような配列は ********* になります。

あるいは上の例で $.full_name などと指定すると

  {
    "first_name": "Benjamin",
    "last_name": "Bell"
  }

の部分が単なる文字列として解釈されてまるっと * になります。

だいぶ乱暴というか投げやりなのでこの辺は今後直して各ノードの value 部分だけをマスクして

  {
    "first_name": "********",
    "last_name": "****"
  }

などとできるようにしたいところです。

JSONPath については

を内部で使っていますので、そこで解釈できるパスであれば基本的に動作すると思います。

また今回プラグインの作り方、特にテストの書き方や JSON の扱い方などは

や、その中でも題材にされている embulk-filter-expand_json プラグイン

を参考にさせていただきました。ありがとうございました！

べにやまぶろぐ