Before C/Anno D: モノクロ写真への自動着色実験

2018/01/09

モノクロ写真への自動着色実験

ディープネットワークを用いた白黒写真の自動色付けエンジンが公開されていたので試してみた。発端はこのツイート。

137年前の京都・伏見稲荷。1880年に撮影されたもの。鳥居の色がこうなるところに、機械の限界を感じる。ニューラルネットワークによる自動色付け。 pic.twitter.com/0jzII89H2T
— 渡邉英徳 (@hwtnv) 2017年9月19日

返信をたどっていくと「モノクロフィルムで撮ったモノ、カラーフィルムの写真をモノクロにしたもの、デジタルカメラのモノクロモード。いろんなパターンでテストして欲しい。」とあり、それに対して「ぜひ http://hi.cs.waseda.ac.jp:8082 」と。ただしそこでの着色がすべてではない。

早稲田大学のチームが公開しているものです。私はこの技術と別の補正技術を組み合わせて使っています。
— 渡邉英徳 (@hwtnv) 2017年10月15日

実験1

岩波新書の黄本と赤本、おまけで岩波文庫それにミカンとやや青いバナナとを並べて撮影した。カラーで撮影し（上）、GIMPで脱色したもの（中）に着色したもの（下）は再現度が低い。『読書こぼればなし』は赤本になってしまっている。『魯迅評論集』のタイトルと訳者の背景色は、御世辞にも再現されているとは言いがたいが、それでも同じに着色されている。

初めからモノクロモード（Optio W30のテキストモード）で撮影したもの（上）はややまし。ミカンの再現性が良いのは〈普通のミカン〉だったからだろう。その証拠に青みを帯びたバナナはしれっと黄色いバナナになっている。一方で黄色い表紙の『読書こぼればなし』は青本と言われたら信じてしまいそう。『魯迅評論集』のタイトルと訳者の部分が同じ色になのに別の色と認識されているのは謎。

実験2

ミカンやバナナのように「これはこういう色」と決まったものがないと混迷は深まる。書棚の一角をカラーで撮影（中）しソフトで脱色したものに着色（上）と、モノクロで撮影して着色（下）したものとを見比べると「とりあえず赤くしておけ」という印象をうける。

どうやら「空は青」のように基本色を当てはめている感じ。だから書籍の背表紙のように完全に恣意的な彩色では再現性が低くなる。曇天の写真を着色させて抜けるような青空になったらこの仮説は正しい。

追記

「発端はこのツイートというが、これは昨年9月ではないか」という鋭いツッコミはなかったけれど追記。実ははじめに目にしたのは別のツイートで、そこで紹介されていた「記憶の解凍」の中に先に挙げた「機械の限界を感じる。」というツイートが紹介されていた。それに寄せられた返信からディープネットワークを用いた白黒写真の自動色付けに辿り着いた次第。

なお、この記憶の解凍について「これは是非「成田空港　空と大地の歴史館」でも取り組んでほしい。」と引用リツイートしたところ、渡邉准教授にリツイートされた。