【Python・OpenCV】動画・連続画像のノイズを効果的に除去するには(cv2.fastNlMeansDenoisingMulti, cv2.fastNlMeansDenoisingColoredMulti)

はじめに

過去の記事で非局所平均法アルゴリズムを実装した関数を紹介しましたが、本記事では同アルゴリズムを用いた動画や連続画像（バースト画像）に適したノイズ除去関数であるcv2.fastNlMeansDenoisingMulti関数、cv2.fastNlMeansDenoisingColoredMulti関数を紹介します。
効率的に高い効果のノイズ除去を行えるアルゴリズムとなっています。

動画・連続画像のノイズ除去

cv2.fastNlMeansDenoisingMulti関数、cv2.fastNlMeansDenoisingColoredMulti関数は、cv2.fastNlMeansDenoising関数、cv2.fastNlMeansDenoisingColored関数の拡張版で、複数のフレーム（画像）を使用してノイズ除去を行います。
主に動画やバースト撮影された連続画像のノイズ除去に適しています。

主な違いを下に示します。

cv2.fastNlMeansDenoisingMulti関数

この関数は、cv2.fastNlMeansDenoising関数の動画・連続画像対応版です。
cv2.fastNlMeansDenoising関数と同様に、グレースケールの動画・連続画像に適しています。
引数など、使い方も類似しています。

引数

戻り値

imgToDenoiseIndexで指定されたフレームに対応する、ノイズ除去が適用された画像データをnumpy.ndarrayオブジェクトで返します。

使い方

以下に使い方を示します。

ノイズ除去を行うのは下の動画サイトの動画をモノクロに変換した動画を使用しました。
サイズ 960 × 540、フレーム数 122、再生時間8.1秒の動画となっています。

引用元
https://www.pexels.com/ja-jp/video/2527417/

カラー動画をモノクロに変換する例は、この記事で紹介しています。
サンプルコードもありますので、参考にしてください。

下の画像は、処理後の動画の同じフレームを切り取った画像です。
cv2.fastNlMeansDenoisingMulti関数と同様にノイズ除去の効果は十分です。
引数hの値が小さくてもcv2.fastNlMeansDenoising関数より強いノイズ除去効果が得られている様に思えます。
大きなノイズより、細かなノイズ除去に大きな効果を感じます。
一方で、処理時間は必要となります。
実測の結果、筆者の環境（M1 MacBook Pro）では１フレームあたり約0.66秒の処理時間でした。
CUDAなどで高速化した場合はどうなのか、気になるところです。

import cv2

def denoise_video(input_path, output_path, h=6, templateWindowSize=7, searchWindowSize=21, temporalWindowSize=3):
    # 入力動画を開く
    cap = cv2.VideoCapture(input_path)
    if not cap.isOpened():
        print("Could not open the video file.")
        exit()

    # 動画の情報を取得
    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    fps = int(cap.get(cv2.CAP_PROP_FPS))

    # 動画の長さを計算する（sec）
    video_len_sec = total_frames / fps
    print(f"Total time {video_len_sec}sec")

    # 出力動画のwriter設定
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    out = cv2.VideoWriter(output_path, fourcc, fps, (width, height))

    # フレームバッファ初期化
    frame_buffer = []

    # 時間計測開始時間 取得
    start_time = cv2.getTickCount()

    for i in range(total_frames):
        ret, frame = cap.read()
        if not ret:
            break

        # フレームバッファにフレームを追加
        frame_buffer.append(frame)

        # バッファが必要なサイズになったらノイズ除去を適用
        if len(frame_buffer) == temporalWindowSize:
            # 中心フレームのインデックス
            center_index = temporalWindowSize // 2

            # ノイズ除去を適用
            denoised_frame = cv2.fastNlMeansDenoisingMulti(
                srcImgs=frame_buffer, 
                imgToDenoiseIndex=center_index, 
                temporalWindowSize=temporalWindowSize, 
                dst=None, 
                h=h, 
                templateWindowSize=templateWindowSize, 
                searchWindowSize=searchWindowSize
            )   

            # ノイズ除去されたフレームを書き出し
            out.write(denoised_frame)

            # 最も古いフレームをバッファから削除
            frame_buffer.pop(0)

        print(f"Processing frame {i+1}/{total_frames}")

    # 時間計測終了
    end_time = cv2.getTickCount()
    elapsed_time = (end_time - start_time) / cv2.getTickFrequency()
    print("Elapsed time:", elapsed_time, "sec")

    # リソースの解放
    cap.release()
    out.release()
    cv2.destroyAllWindows()

if __name__ == "__main__":
    # 使用例
    input_video = "input_movie.mp4"
    output_video = "denoised_movie.mp4"
    denoise_video(input_video, output_video)

cv2.fastNlMeansDenoisingColoredMulti関数

cv2.fastNlMeansDenoisingColoredMulti関数はcv2.fastNlMeansDenoisingMulti関数のカラー画像に対応した関数です。
カラーの動画・連続画像に適しています。
引数など、使い方も類似しています。

引数

この関数は、特に低照度環境で撮影されたカラー動画や、高ISO感度で撮影された連続カラー画像のノイズ除去に有効です。
色情報を保持しながら効果的にノイズを除去できるため、画質の向上が期待できます。

戻り値

imgToDenoiseIndexで指定されたフレームに対応する、ノイズ除去が適用された画像データをnumpy.ndarrayオブジェクトで返します。

使い方

以下にサンプルコードを示します。

入力動画はcv2.fastNlMeansDenoisingMulti関数のサンプルコードで使用した動画のオリジナル（グレースケール化する前）のものを使用しました。

下の画像は、処理後の動画の同じフレームを切り取った画像です。
カラー画像でもcv2.fastNlMeansDenoisingMulti関数と同様に十分なノイズ除去がされている様です。
実測の結果、筆者の環境（M1 MacBook Pro）では１フレームあたり約0.86秒の処理時間でした。
cv2.fastNlMeansDenoisingMulti関数による処理時間の増分は筆者の環境では約0.2秒なので、カラー動画の3チャンネル分のノイズ除去の処理ということを考慮するとかなり効率の高い処理がされていることがわかります。

import cv2

def denoise_video(input_path, output_path, h=6, hColor=4, templateWindowSize=7, searchWindowSize=21, temporalWindowSize=3):
    # 入力動画を開く
    cap = cv2.VideoCapture(input_path)
    if not cap.isOpened():
        print("動画ファイルを開けませんでした。")
        exit()

    # 動画の情報を取得
    width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    total_frames = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
    fps = int(cap.get(cv2.CAP_PROP_FPS))

    # 動画の長さを計算する（sec）
    video_len_sec = total_frames / fps
    print(f"Total time {video_len_sec}sec")

    # 出力動画のwriter設定
    fourcc = cv2.VideoWriter_fourcc(*'mp4v')
    out = cv2.VideoWriter(output_path, fourcc, fps, (width, height))

    # フレームバッファ初期化
    frame_buffer = []

    # 時間計測開始時間 取得
    start_time = cv2.getTickCount()

    for i in range(total_frames):
        ret, frame = cap.read()
        if not ret:
            break

        # フレームバッファにフレームを追加
        frame_buffer.append(frame)

        # バッファが必要なサイズになったらノイズ除去を適用
        if len(frame_buffer) == temporalWindowSize:
            # 中心フレームのインデックス
            center_index = temporalWindowSize // 2

            # ノイズ除去を適用
            denoised_frame = cv2.fastNlMeansDenoisingColoredMulti(
                srcImgs=frame_buffer, 
                imgToDenoiseIndex=center_index, 
                temporalWindowSize=temporalWindowSize, 
                dst=None, 
                h=h, 
                hColor=hColor, 
                templateWindowSize=templateWindowSize, 
                searchWindowSize=searchWindowSize
            )   

            # ノイズ除去されたフレームを書き出し
            out.write(denoised_frame)

            # 最も古いフレームをバッファから削除
            frame_buffer.pop(0)

        print(f"Processing frame {i+1}/{total_frames}")

    # 時間計測終了
    end_time = cv2.getTickCount()
    elapsed_time = (end_time - start_time) / cv2.getTickFrequency()
    print("Elapsed time:", elapsed_time, "sec")

    # リソースの解放
    cap.release()
    out.release()
    cv2.destroyAllWindows()

if __name__ == "__main__":
    # 使用例
    input_video = "input_movie.mp4"
    output_video = "denoised_movie.mp4"
    denoise_video(input_video, output_video)

おわりに

動画や連続画像（バースト画像）に適したノイズ除去関数であるcv2.fastNlMeansDenoisingMulti関数、cv2.fastNlMeansDenoisingColoredMulti関数を紹介しました。
ノイズ除去効果としては、特に低照度環境で撮影された動画や、高ISO感度で撮影された連続画像のノイズ除去に有効のようです。
また、カラー画像の処理効率はとても高いことも特徴の一つと言えるでしょう。
一方で、ノイズ除去効果が強いので、画像の細部の表現が削られてしまうこともあるかもしれませんが、高品質なノイズ除去結果を得るためには適切なパラメータ調整が必要です。

ご質問や取り上げて欲しい内容などがありましたら、コメントをお願いします。
最後までご覧いただきありがとうございました。

参考リンク

docs.opencv.org

OpenCV: fastNlMeansDenoisingMulti()

https://docs.opencv.org/4.10.0/d1/d79/group__photo__denoise.html#ga723ffde1969430fede9241402e198151

docs.opencv.org

OpenCV: fastNlMeansDenoisingColoredMulti()

https://docs.opencv.org/4.10.0/d1/d79/group__photo__denoise.html#gaa501e71f52fb2dc17ff8ca5e7d2d3619

■（広告）OpenCVの参考書としてどうぞ！■