D3 Pan WANGさんの論文がSICE Journal of Control, Measurement, and System Integrationに掲載されました！

Pan WANG, Toru Kurihara, “Recovering a sequence of clear frames from a single motion-blurred image using correlation image sensor and temporal progressive learning strategy,” SICE Journal of Control, Measurement, and System Integration, Vol.18, No.1, 2466294, 2025.
https://doi.org/10.1080/18824889.2025.2466294

SICEFES2024での発表を少し拡張したものです。

This paper aims to recover a continuous fixed number of sharp frames from a motion-blurred image captured within the exposure time. Due to the inherent ambiguity in motion direction present in a single motion-blurred image, we incorporate both the blurred image and correlation images obtained from a correlation image sensor as input. Additionally, unlike conventional single-image deblurring, recovering multiple frames can divert the neural network’s attention, leading to a decline in the overall quality of the reconstructed sequence. To address this issue, we propose a Temporal Progressive Learning (TPL) strategy, which mitigates the performance degradation caused by network distraction by gradually increasing the number of recovered sharp frames during training.

I sincerely appreciate Professor Kurihara’s patience and dedication in discussing both the writing and experimental aspects of this paper with me. With the growing trend of using deep learning to tackle various problems, researchers often encounter numerous challenges during the training process. From my perspective, rather than focusing on neural networks at the outset, we should first consider how humans naturally approach and solve problems step by step. Then, we can translate this human reasoning process into a neural network-based solution. This approach may offer valuable insights for future practical applications.

本論文の目的は、露光時間内に撮影された動体ブレ画像から、連続した鮮明なフレームを復元することです。単一の動体ブレ画像には運動方向の曖昧性が存在するため、本研究ではブレ画像に加えて、相関画像センサから得られた相関画像を入力として活用します。さらに、従来の単一画像のデブラーとは異なり、複数フレームの復元ではニューラルネットワークの注意が分散し、結果として復元されたシーケンス全体の品質が低下する可能性があります。この問題を解決するために、本研究では**時間漸進型学習（TPL: Temporal Progressive Learning）**戦略を提案します。この戦略では、トレーニング中に復元する鮮明なフレームの数を徐々に増やすことで、ネットワークの注意の分散による性能低下を軽減します。

栗原先生には、論文の執筆や実験について辛抱強く丁寧に議論していただき、心より感謝申し上げます。近年、深層学習を用いて問題を解決する研究が増えていますが、トレーニングの過程で多くの課題に直面することが少なくありません。私の考えでは、まずニューラルネットワークの構造を考えるのではなく、人間が問題に直面した際にどのように一歩ずつ解決していくのかを考えるべきだと思います。そして、その思考プロセスをニューラルネットワークの設計に応用することで、より効果的な手法を生み出せるかもしれません。この考えが、今後の実践において皆様の参考になれば幸いです。