カメラの中核部品、イメージセンサを究める

デジタルカメラやビデオカメラは、日本が強い産業分野である。1990年代まで、これらカメラの中核部品となるイメージセンサはCCD（電荷結合素子）が主流であり、日本が世界の95％以上のシェアを握っていた。1990年代以降、主役の座に躍り出たCMOS（相補性金属酸化膜半導体）においても、2016年時点で日本のシェアは50％近くある。
「イメージセンサの用途は拡大する一方で、カメラのほかにも、スマートフォンや家電製品、医療用、自動車、監視用などさまざまな分野で活用されています」と、川人祥二教授はイメージセンサを取り巻く状況説明から話を始めた。

川人教授の研究室には、ISSCC（国際固体回路会議）等から贈られた表彰状が数多く飾られている。

中国からの留学生に研究指導する川人教授。研究室では常時10人程度の外国人研究生を受け入れている。

感度を究める：人間の視覚とカメラの常識を超えた「超視覚」センサ

イメージセンサは、入射した光のエネルギーによって画素デバイスで電荷を発生させ、それを電圧信号として取り出した後、画像として再生する装置である。入射した光が微弱であれば、当然出力される信号も弱くなり、イメージセンサの中の電子回路が発生するノイズに埋もれてしまう。すなわち、光に対する感度は低くなる。
では、感度を高めるにはどうすればよいか。
画素デバイスで、光のエネルギーを大きな電圧信号に変換するのとあわせ、電子回路の工夫によって回路のノイズを小さくする。そうすれば、微弱な光による画像を、ノイズに埋もれることなく鮮明に見ることができる。
「感度を限界まで高めれば、月明かりの0.1ルクス（lux）はもとより、さらに1ケタ暗い星明り程度の光、0.01ルクスでも撮像が可能です。星明かり程度の明るさとなると、人間はおぼろげにしかものを見ることができず、色の識別などはほとんどできません。イメージセンサの場合、感度を高くすれば色の識別が可能になりますが、その代わり光を感じ取れる範囲が狭まり、暗いところでしか使えなくなります。一般に0.01ルクスの星明かり程度の明るさでも撮像できるイメージセンサは、その2桁上の1ルクス程度、具体的には夕暮れぐらいの明るさまでしか対応できません。それ以上明るくなると、画像が真っ白に飛んでしまうのです。従って暗闇と明るいところを、1つのイメージセンサで撮像するのは、これまで困難でした」
イメージセンサが光を感じ取れる範囲を「ダイナミックレンジ」という。イメージセンサでは、感度とダイナミックレンジがトレードオフの関係となる。これが従来の常識だった。

0.1ルクス、月明かり程度の明るさでも、BT130C搭載のカメラなら色合いも含めて、これだけ鮮明に撮像できる。

ところが、川人教授が開発した超小型広ダイナミックレンジイメージセンサBT130Cは、人間の目では色を識別できないわずか0.01ルクスの光を確実に捉える一方で、明るい方は街灯直下ほどの100ルクスの光までをカバーする。超高感度でありながら、ダイナミックレンジも、0.01ルクスから100ルクスまでの4桁と幅広くカバーする。常識を覆すイメージセンサである。
教授も先に触れたように暗いところを映すだけなら、これまでにも科学計測用など特殊用途に特化した超高感度カメラが存在した。けれども、そのカメラは大きくて重い上に、作動時にマイナス50度の冷却と30V程度の高電圧を要した。0.01ルクスに対応する感度は備えていたものの、ダイナミックレンジは2桁の1ルクスまでしかカバーできなかった。
これに対してBT130Cを使ったカメラは、手のひらサイズに収まり冷却は不要、電源電圧も3Vと低く抑えられている。魔法のような成果を実現した秘密は、川人教授が開発した「折返し積分／巡回型ADC」と呼ばれる特殊な電子回路にある。
目視ではほぼ見えない暗さを映し出す超高感度でありながら、白昼の風景も白飛びすることなく撮像する。この特性を活かして、BT130Cは国境や沿岸の監視用カメラに搭載されている。「超視覚」は、人間の視覚では捉えきれなかった、夜闇に紛れた侵入者も決して見逃さないのだ。

臨場感を究める：動きを高精細かつ高速に捉えるイメージセンサ

2018年12月から、いよいよテレビの4K・8Kによる実用放送がスタートする。4Kは現在のフルハイビジョンの4倍の解像度、8Kなら16倍もの高解像度となる。画素数でみれば、フルハイビジョンが200万画素、4Kが800万画素、8Kは3300万画素にも及ぶ。8Kでは、“あたかもその場にいるような”、そして“実物がその場に存在するような”高精細で立体感と臨場感にあふれた映像が実現されるのだ。
「ただし、8Kならではの臨場感を実現するためには、一つ大きな課題をクリアする必要がありました。画像が高精細化すると動解像度が問題となるのです。つまりスポーツなど動きの早い被写体を8Kで再現すると、従来の1秒60コマのフレームでは、被写体の動きがぼけてしまいます。早い動きをくっきりと映し出すためには、従来の倍、1秒120コマでの撮影が必要になります」

毎秒1500コマ、鳥の羽ばたく様子を精細に見ることができる。驚異的な超高速撮像による映像は、下記URLで体験できる。https://www.youtube.com/watch?v=-lOl45ZO060

8Kで撮影した3300万画素もの膨大な画素アナログ信号を超高速で処理するのは至難の業だ。この難題をクリアするために開発されたのが、新方式のA/D変換技術である。川人教授がNHK（日本放送協会）との共同研究により開発したスーパーハイビジョン用超高精細高速度撮像素子は、消費電力も抑えることができ、カメラ自体が非常にコンパクトな形に収まる。この8Kフルスペックイメージセンサは、世界でも高く評価された。イメージセンサ関連の優れた研究に対して授与される、Walter Kosonocky（ウォルター・コソノキー）賞を受賞したのだ。
さらに、教授らのグループは、この技術を応用し画素数は130万ながら毎秒2000コマもの超高速撮像にも成功。これを使って撮影された鳥の映像は、その羽根の細かな動きまでをスローモーションで精細に再現する。これは未だかつて人類が目にしたことのない、「超視覚」による映像だ。

「8Kフルスペックイメージセンサの技術は放送用カメラはもちろん、臨場感あふれるビデオ会議を行うためのカメラ、街中の人混みの中で人物を確実に識別する監視用カメラ、そして医療用として内視鏡への応用が進められています。内視鏡の8K映像は、従来の内視鏡では映し出せなかった組織の細部までを正確に見ることができ、手術の精度が高まると期待されています」
大自然などマクロの世界を臨場感あふれる映像で捉える一方で、人体内部のミクロな世界までも鮮明に映し出す。教授が開発した8Kカメラは、人類が新たに手に入れた超視覚である。

時間を究める：移動する物体の形や距離を瞬時に測る

イメージセンサの応用範囲は広く、たとえば計測にも使える。川人教授が次に開発したのは3次元画像センシング。3次元位置データ画像を高精度かつ高速に表示する距離センサである。
距離を測る方法はいろいろあるが、教授が着目したのは光だ。その原理は単純で、対象物に光を当てて、反射光を捉えるというもの。このとき対象物との距離は、次の式で解析できる。
　（距離）＝（光の速度）✕（光の往復時間）／2

TOFカメラは解像度（Resolution：グラフ横軸）と焦点距離（Range：グラフ縦軸）に応じて、多様な用途展開が期待されている。

光源から放たれた光が対象に当たって反射し、カメラに戻ってくるまでの時間を計測、光の速度を元に距離を算出する。ただし光速は約30万km／秒とケタ外れに速いため、光速を捉えるためには、超高精度な時間解析能を持つイメージセンサが必要となる。
「200フェムト秒、つまり10億分の2秒ぐらいの単位で光の変化を捉えるピクセル基本素子『ラテラル電解制御電荷変調素子（LEFM）』を開発しました。この素子を使ったTOF（Time of Flight）センサは、対象物の大きさや形を30ミクロンぐらいの精度で測定できます」
TOFセンサの用途として期待されるのが、超小型3Dスキャナや、自動運転車で衝突を防止するための物体認識装置、さらにはロボット、ドローンでの活用も考えられる。当面の目標は精度を10ミクロンレベルまで高めることと、太陽光が散乱する屋外でも精度よく測れる技術を開発すること。これらが実現すれば、人間の視覚では捉えきれない高速で動く物体の位置やサイズを正確に捉え、遠くの物体を、人の眼よりも高い信頼度で認識することができる。これもまさしく「超視覚」と言えるだろう。

感性を映し出す：「人の心を読む」前代未聞のセンサ開発へ

もう一点、まったく新たなイメージセンサとして川人教授が開発に取り組んでいるのが、人の感性を測定するカメラである。
顔の皮膚の下には血液が流れている。この血流を特殊な技術で計測し、心拍の動きを捉える。心拍には微妙な変動があり、それは人が受けているストレスを反映する。つまり、この心拍センサを使えば、人のストレス状態を測定できるのだ。
「人が見えない近赤外光を使って顔の皮膚の下の血流を捉え、高精度に心拍の変動を測るイメージセンサを開発しました。これはたとえば、可視の照明が使えない自動車の中で、運転者の健康状態や精神状態を見守るセンサに活用できると期待されます。これと普通のカラー画像センサを組み合わせれば、顔の表情の動きと心拍の変化を同時に掴むことができます。表情の変化と心拍の変化、さらにはその相関関係を解析すれば、人の心の動きを読み取れるのではないかと期待しています。ただし、これを実現するには、可視光と近赤外の画像を同時に読み取るイメージセンサを開発する必要があります。そのようなセンサはまだこの世に存在していません。具体的にどう設計するかは、これからの課題です」

研究室内にはさまざまなテスト装置が備え付けられている。研究生の実験には川人教授も時間の許す限り付き合い、指導する。

イメージセンサの基本要素は、前述したように画素デバイス、A/D変換、画像信号処理である。これらの基本要素のそれぞれに新しいアイデアを加え、川人教授は多種多様なイメージセンサを生み出してきた。
似たようなアイデアを思いついた研究者は、ほかにもいたに違いない。川人教授は、他の研究者とどこが違うのか。秘密は各要素をつなぐ電子回路にある。イメージセンサに関わる研究者の多くが撮像に対する関心から研究を始めているのに対して、教授の関心はもともと、撮像ではなく回路LSI（大規模集積回路）にあった。
「大学院修士課程では、日本の大学では初めてとなるクリーンルーム内でのLSIの作成に成功し、博士課程でも世界初となるLSIをつくりました。これが1987年のことです。当時としては、LSIで学位を取るのはかなり稀な出来事だったようです。企業にはLSIの研究者が多くいたものの、大学で基礎研究としてLSIに取り組む研究者はほとんどいませんでした。決して狙ったわけではないのですが、結果的には電子回路に詳しいことが、私の最大の強みとなりました」

三つ子の魂百まで、少年時代からの回路好き

川人教授の回路好きは筋金入りである。初めて電子回路に興味を持ったのは、小学校2年生ぐらいのことだという。
「私の生まれは徳島県の山奥で、近くにゴミ処理場がありました。そこに捨ててある電気製品の部品をもらってきては、ハンダゴテで電子工作をして遊んでいました。数個の部品と電池をつなぐだけでラジオから音が鳴る。子どもからしてみれば不思議でしかたのないことが起こる。それも自分の力で起こせる。そのころは、正確なメカニズムなど理解できていたわけではありませんが、電子工作の魅力に引きつけられたのです」

身振り手振りも交えた教授の説明は、わかりやすく、それでいて奥が深い。

回路への関心は中学校に入っても変わらず、中学3年生でアマチュア無線の免許を取得し、通信系の詫間電波工業高等専門学校（現・香川高等専門学校）に進む。そこで無線関係では最上級に位置付けられる、第一級無線技術士（現・第一級陸上無線技術士）の資格を取得する。
その後、当時「高専大学」とも呼ばれた豊橋技術科学大学に進み、教授のすすめで東北大学大学院博士課程に進学して研究を続けた。専攻は電子工学、博士号はLSIの研究で取得した。
「回路一筋といえば聞こえが良いのかもしれませんが、実は、回路研究にこだわりがあったわけではありません。回路から少し離れた方が、研究者としての幅が広がると思っていた時期もありました。ですが、自分好きな回路の知識を応用するといろいろなアイデアを実現できる。それが単純におもしろかったし、結果として他の研究者との違いも出せたのだと思います。研究に際しては、基礎研究だけで終わらず、可能な限り実用化を目指すよう心がけています」

研究成果の実用化に関しては、産学連携による共同研究はもとより、2006年に大学発ベンチャー企業であるブルックマンテクノロジを設立し、事業化を推進している。同社はこれまで、8Kイメージセンサや超高速度イメージセンサ、超高感度イメージセンサなどを相次いで製品化してきた。
人間の視力の限界を超えるセンサを使えば、モノの存在や動き、その形状から色についてまで、人間の判断よりも正確なジャッジを下せるようになるだろう。教授が開発するイメージセンサ、それが実現する超視覚は、人類にとっての画期的なツールとなる可能性に満ちている。

【取材・文：竹林篤実　撮影：大島拓也】