歴史的写真を自動彩色AIで彩色してみた

早稲田大学理工学術院の石川博教授のチームが、人工知能を用いた白黒写真の自動色付け研究を発表して、そのソースコードを公開した。


ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け


非商用なら使えるということで、パブリックドメイン入りした歴史写真（戦争もの）をとにかくつっこんで遊んでみた。自分は彩色に関する知識は全くなく、彩色は完全にAI任せである。やったことは、画像サイズの縮小くらい。長辺640ピクセルくらいに画像サイズを落とさないと、メモリ使用量がとんでもないことになるので、やろうとする人は注意しよう。

【わりと成功したもの】

マッカーサーのフィリピン上陸。再現性は？だけど、雰囲気は出ている。

モロトフ＝リッベントロップ協定の調印の様子。「これから毎日ポーランド割ろうぜ？」という悪い奴ら感が出ている。

 北アフリカのロンメル将軍。正直、この白黒写真からカラー化がむずいような気がしてたが、思いの外良い雰囲気のカラー写真になった。

空母上の米海軍機。飛行甲板の色がこれで正しいのかちょっとわからないけど、機体と海の色は良い感じ。

沖縄戦でロケット弾を発射する米軍機。機体と空と陸をきっちり認識して彩色してて、当時のカラーフィルムと言えば信じてしまいそう。

パリに入城するドイツ軍を涙目で見ているおじさん。通称スンスンおじさん。セピア退色したカラー写真と言えばそれっぽいけど、ディープラーニングで本来の色でなく、退色まで学習したってことなのん？　実はパリで撮られたものではない説があるが、アメリカのアーカイブにはパリと日付まで書いてあり謎。

ヒトラーとエッフェル塔。ヒトラーら手前の人物らのカラー化は良いけど、エッフェル塔の上部が黄色くなっていたりして少し変。

日本の降伏でお祭り騒ぎのニューヨーク・タイムズスクエアでのキス。良い雰囲気だけど、これも本来の色というより、古いカラーフィルムの色といった再現。なお、この写真が撮られた時期は、実は対独戦勝の日じゃないかという説もあったはずだけど、どう決着したのかな。


 【ちょっと微妙なの】

 硫黄島に揚がる星条旗。星条旗のカラーは認識されているけど、本来の色というより、当時のカラーフィルムの色再現って感がかなり強い。空の色もちょっと微妙。

同じく硫黄島。遠くに摺鉢山が見える。元の写真がはっきりしているせいか、写真も雰囲気がよい。

 アメリカ義勇軍（フライング・タイガース）の戦闘機を警備する中国兵。このP-40の配色は正しいんだろうか。自然風景は割と再現度高いが、人工物の彩色はかなり怪しい傾向にある。

上から戦艦大和、駆逐艦雪風、戦艦長門。いずれも艦橋がサビっぽくなり、船体が青味が強くなる傾向がある。

 砲撃する戦艦アイオワ。炎や爆発の彩色に弱い傾向が見られた。

 真珠湾攻撃。かなりビビッドな感じで、同じく爆発も微妙。

【問題あり】

 ヒトラーによるオーストリア併合の発表。これはホント酷い。けばけばしいピンクの悪趣味度がごっつい。

 進行するアメリカ戦艦。風景写真はわりと成功するのだけど、この写真に限っては空の青が黄色く、いろいろとアレ。

 ヤルタ会談での3巨塔。全体的には決して悪くないのだけど、真ん中のルーズベルトが生ける死体と化している。ほんとにこのすぐあとに死ぬので、本当にこんな色だった可能性もあるかと思ったが、この時の写真はカラーも結構残っていて、それと比較しても変だった。

真珠湾攻撃に空母から発艦する日本軍機。元の写真が悪いせいも大きいと思うけど、これも相当おかしい。



とりあえず総評として、人工物については結構成功失敗が別れるのと、元の画像がちゃんと撮れているか否かも結果に響いてくる。シャープなアメリカの写真は成功例が多かったが、日本の写真はちょっと悲しい結果（そもそも使えるのが少ないけど）。

個人やプロによる彩色で、本当に鮮やかで美しい写真も多くあるが、それにはまだまだAIは達していない状況。しかし、だいたい数秒でまあまあの結果を返してくるのはさすが。個人でも十分使えます。

戦争写真だから人工物が多いけど、この研究だとむしろ風景写真が主らしく、その再現度はかなり高いのでググってそっち見てください（なげやり）。