画像処理、パターン認識の食品開発への応用

加藤　邦人
岐阜大学工学部　准教授

1．はじめに

現在までに、食品への画像処理の適用は、工業製品の外観検査などと同じく、生産管理的な品質検査への応用事例がほとんどで、品質管理、検査などにおいて一定の成果をあげている。
一方食品開発の現場では、製品開発段階や品質検査において、物性測定により計測される弾力性や粘性など物理的数値や、成分分析により得られる化学的数値、また実際に被験者を用いた官能検査により、食品に関する要因を決定し、「おいしさ」を評価することが行われている。しかし近年、これら物理計測、化学計測、さらには感性的な指標であるおいしいと感じる感覚に対し、新たなおいしさを評価する指標の一つとして画像処理に期待が持たれている。その応用範囲は、多岐にわたる。
本文では、食品開発における画像処理の応用事例を紹介しつつ、今後の展開を模索する。

2．食品の開発に係わる画像処理

企画、調査段階ではマーケティング調査、製品の差別化、人の行動、パッケージデザイン、シズル感など画像が影響を及ぼす物も多い。また、今まで視覚的に提示できなかったおいしさの度合いを可視化して提示することにより、製品のマーケティングに貢献する例などもある。
ここでは、マーケティング手法としてのスポンジケーキの製品の傾向を気泡画像からの特徴量を用いて評価した事例と、喉越し評価のための嚥下計測の事例を紹介する。
スポンジケーキの組織構造（キメ、気泡の大きさ、気泡の分散状態等）は食感を構成する重要な要素であり、品質を大きく左右するものである。気泡の特徴は、大きさ、形、分布と考えられる。そこで、スポンジケーキの切断面画像から画像処理により気泡特徴を抽出し、専門店のケーキ、大量生産ケーキ、各種試作品（ここではコントロールケーキと呼ぶ）について、気泡構造と、官能検査との相関関係を求め、それぞれのコントロールケーキがどのような位置づけになるかの解析を行った。
まず、スポンジケーキを超音波カッターにより切断し、その断面をスキャナにより取り込んだ。これを入力画像とし、2値化、前処理後、モルフォロジー処理により気泡領域に対し円当てはめを行った。その様子を図1に示す。
このようにして得られた、気泡に対する円分布を気泡特徴とし、それぞれの気泡分布がどのような相関関係を持っているのかについて解析を行った。
実験には、全30種類のスポンジケーキを用い、大別すると、試作されたレシピの異なるコントロールケーキ、工業的に大量生産されているケーキ、専門店で売られているケーキとなる。実験に用いた画像解像度は、500×500pixelで、各ケーキ12枚の画像を用い、合計360枚の画像を解析した。12枚分で約54cm²分のスポンジケーキの領域となる。実験に用いた画像例を図2に示す。

気泡特徴と官能評価結果との相関を求め、最も相関が高かった方法の散布図を作成した。これを図3に示す。図3内の直線は回帰直線を表す。分布が回帰直線付近に集まっていることを確認できることから、官能評価の間に高い相関を持つ気泡特徴の抽出が行われたことがわかる。この散布図から、各コントロールケーキが専門店、大量製品のケーキの中のどの製品に近いのかを知ることができるようになった。

飲料品が喉を通るときの感覚である「喉越し」は飲料品のおいしさを表す指標として重要な項目である。飲料品の開発過程で「飲み込み易さ」、「喉越し感」、「おいしさ」などの感覚を評価するために、被験者に対してアンケートを行って評価を得る官能検査が広く実施されている。しかし、この官能検査では、被験者の感覚や好みといった主観的な感覚が大きく影響を及ぼし、人が「物を飲み込む感覚」を客観的に評価することは難しい。そこで、飲食時に表出される嚥下運動を計測することで飲料の評価を行おうとする方法が提案されている。しかし、そのどれもが被験者の喉に接触式のセンサを取り付けたり、姿勢を固定したりする必要があり、被験者に負荷を与え、常飲状態での測定ができない。また、医療現場で用いられているX線を用いて観察する手法は侵襲的であり、連続した計測が難しい。そこで、非接触、非侵襲に甲状軟骨の3次元情報を取得し、画像解析で嚥下運動をリアルタイムに計測するシステムを開発した。
システムは3つの照明とカメラからなり、照明には近赤外光を用いることで被験者に眩しさを感じさせることはない。システムの構成を図4に示す。本システムで被験者の喉を計測すると、図5に示す喉表面の法線ベクトルがリアルタイムで取得できる。この3次元情報をもとに甲状軟骨（のど仏）を画像処理により、図6のような嚥下波形を得ることができる。
実験により、この嚥下波形は喉の渇き状態や嗜好で変化することがわかっており、被験者の嗜好や状態、製品のおいしさや喉越し具合の評価に応用されている。

3．加工、調理に係わる画像処理

調理解析の研究は古くから調理科学の分野で行われてきた。そこで得られる結果は、最適な調理時間であったり、温度管理、調理方法であったりするが、多くは時間を変えてみる、温度を変えてみる、調理方法を変えてみる、というパラメータの変化による結果の差を求めるというアプローチで求められている。そこで、これら調理解析に画像処理を導入し、多パラメータ解析、さらには行動解析といった研究が多く報告されている。
本章では調理解析の応用事例として、オーブン内のシュークリームを観察し、その膨張過程を動きベクトルで定量化することで、その焼き上がり行程を評価する手法について紹介する。
シューのおいしさ評価基準として「よく上方向へ膨らむもの」、かつ「ひび割れた形状」のものがおいしいもと評価されることが報告されている。しかし、その膨化過程を詳細に観察、解析した例はない。そこで、これら2点をシューの膨化過程を観察することにより、その現象を捉え評価を行った。そこで、シューの膨化過程を観察するにあたり、画像処理を用いて動きベクトルの検出を行った。
まず、「よく上方向へ膨らむもの」を検出するために、前処理により、シューの上部の輪郭部周辺のみの動きベクトルに注目した。
シューの膨化は非常に緩やかであるため、膨化の動きを検出するためには、動きを大局的に捉える必要がある。そこで、上方向の動きベクトルを30秒（150フレーム）ごとに積算したグラフを算出した。結果を図7に示す。これより、開始1分過ぎに急激に膨化していることがわかる。また、時間に対して線形的に膨化するのではなく、ある短時間に急激に膨化している。このことらから、シューの膨化過程の特徴が確認できた。

また次に、「ひび割れた形状」の検出について考察した。ひび割れる瞬間を観察したところ、図8に示すように、ひび割れは1フレーム間で瞬間的に起き、動きベクトルが多方向に大量に検出されていることがわかる．その瞬間的な移動量を捉えるため、ひび割れ検出には0.2秒（1フレーム）ごとの全方向の動きベクトルを用いた。結果を図9に示す。
図9のグラフでは、いくつかの突出した部分、つまり瞬間的に多方向に移動量ある部分が見られる。これらの部分を原画像にて照らし合わせたところ、約8割の部分にてひび割れ現象が確認された。

4. 品質、おいしさ評価に係わる画像処理

一般に食品の品質評価は、食品中に含まれる成分から評価する成分分析と、食品が持つ物性特性から評価する物性測定が行われている。これらは化学的おいしさ、物理的おいしさの計測ということもできる。また、実際に被験者が食品を食べ評価する官能検査によっても評価が行われている。これら3つが基本的な計測、評価であり、これらの相関からその食品のおいしさを決定する。この分野での画像処理の応用事例は大変多く、今後の展開に期待が持たれているところである。
例えば、従来の成分分析、物性測定では食品が持つ構造を知ることができない。しかし、食品を構成する物質の構造、例えばスポンジケーキであれば気泡の分布は食感に大きな影響を及ぼす。食感の違いは物性測定により計測できるが、なぜ物性に違いが出たのかは知ることができない。すなわち、構造の解析が必要となる。一般にこれらは目視で行われているが、画像処理技術を適用できる事例は広く存在すると考えられる。
ここでは応用事例として、近赤外光を用いた食品の成分分布画像解析手法を紹介する。
食品中に含まれる成分の分析には、光の吸収度合いである吸光度を用いた測定法が一般的である。しかし、この方法は高精度に含有成分の含有量を求めることはできるが、食品全体の中のある一部分のみの計測しか行えない。また、計測対象からある一定量のサンプルを必要とし、サンプルはホモジナイズ(粉々にし、サンプルを均一にすること)が必要であるため、ある領域中の成分含有量は計測できても、その分布を知ることはできない。計測対象を細かな領域に分け、サンプリングを行うことである程度の分布を知ることはできるが、計測には長い時間を要し、実質的にはこのような細かなサンプリングで食品中に含まれる成分の分布を知ることは難しい。また後に再計測することは困難である。
本研究では、ある食品が持つ分光反射特性と、計測対象とする含有成分の吸光度特性に基づき、高解像度に含有成分の分布を視覚化、評価する手法の開発を行った。本手法では近赤外領域での光の吸収、反射特性を用いるため、個々の食品が持つ色の微妙な違いに影響されない。また従来の脂肪、筋肉などといった大まかな画像評価とは異なり、脂肪酸、アミノ酸、糖質など、いわゆる食品のおいしさに関連する成分を評価することが可能である。さらに、一般的な吸光度測定と比べ、少ない破壊で、かつ高速であり、また複数の成分分布を一度の観測から得ることが可能となる。
まず、計測対象食品から650nmから1100nmの間の近赤外領域での分光反射特性を得る。これには、図10に示す近赤外領域までCCD感度を持った高感度カメラ(Apogee社製、U260) を用いた。これによりその対象がある波長でどの程度光を反射するか、言い換えればどの程度吸収するかの特性を得る。

一方、計測対象とする物質の吸光度特性を得る。吸光度特性は、計測対象の標準物質を用い、650nmから1100nmの間で波長を変えながら、吸光度計で観測される各波長の吸光度から得ることができる。吸光度特性は一度その物質の吸光度特性を知ればよいため、観測食品が変わっても再度計測する必要はない。
次に、ここで得られた吸光度特性より最も特徴的に光を吸収する波長を決定する。食品中の計測対象物質が近赤外光を吸収するため、この物質が計測可能であれば分光反射特性でも光の反射がその波長付近で少なくなるはずである。最大吸収波長を特定できれば、その波長で観測した画像と、それに最も相反する波長で観測された画像との間で差分を行う。これにより相対的な計測物質の含有量を得る。ここまでで、食品中の観測成分の分布画像を得ることができる。
しかし、ここで得られる成分の分布は相対量であり、絶対量ではない。そこで、計測対象からいくつかの領域をサンプリングし、成分分析を行うことでその領域に含まれる計測対象物質の含有量を計測する。このとき、サンプリング領域が画像中の領域と対応が取れていれば、含有量と先に得られた差分値の相関を調べることで、相対的分布画像を絶対的分布としての成分分布画像として変換することができる。
今回はかぼちゃの糖度分布の計測事例を紹介する。図11は代表的な糖であるスクロースの吸光度特性と、かぼちゃの断面の分光反射特性である。スクロースの吸光度特性から、スクロースの最大吸収が960nmにあることが判断できる。また、分光反射特性でも960nm前後に吸収帯があることがわかる。そこで、第一波長としてスクロースの吸光度特性から最大吸収である960nmを選択し、第二波長は逆に吸収しにくい波長として722nmを選択した。この2波長間で差分をとることで、スクロースが光を吸収する度合い、すなわちスクロース含有量が得られるはずである。
さらに、同じサンプルから計測したスクロース含有量の実測値と、画像の領域の対応をとることで、100g中のスクロース含有量の分布を可視化することができる。図12、13に722nm 、960nmの近赤外画像を、図14に得られたスクロース分布可視可画像を示す。

5. まとめ

本文では、食品製品開発における、画像処理の応用事例を紹介した。「おいしさ」を画像で計測するという研究はまだ始まったばかりである。しかし、食品分野において、おいしさは化学的、物理的に定量的な計測が行われており、画像処理でも同じように定量的な計測、評価ができることを示した。
特に、画像処理の応用が今後期待されることに、構造解析と過程解析が挙げられる。化学的に解析してその成分を実現し、物理計測により物性を再現できたとしても、それだけではおいしい食べ物にはならない。なぜなら食品は、単一な物質のみでできている金属やプラスチック製品などとは違い、そこに化学物質の分布や、組織の構造など食品ならではの構造がおいしさに多大な影響を及ぼすからである。また、調理によりその構造が生成される過程、また食べるという行為などで変化していく過程を知ることも画像処理を用いることで解析可能であると考えられる。
また、成分分析や物性測定は分析、計測の拘束が多いだけでなく、時間的、人的コストも大きい。また計測器も多くは高価なものである。ある物性や成分と非常に関連の深い構造を画像で計測できれば、それは従来の大がかりな計測の代替計測法とすることができる。
しかしながら、最終的にある食べ物がおいしいと評価するのは人間である。その評価は非常に曖昧で、状態に左右されやすく、また度合いを十分に言語で表現できないものであることも確かである。これは、いくら食品を化学的、物理的に計測してもできるものではなく、現在でもアンケート評価など官能検査により、主観的評価に頼っている。
情報処理の一分野として感性情報処理が提案されて久しいが、おいしさはまさに感性情報処理の新たな研究分野とみることもできる。今後はさらにこのような感性的研究からのアプローチも期待される。

(2015年11月)