多段露光ライブスタッキングの画像処理について

上記画像は以前撮影した多段露光ライブスタッキングを画像処理したものです。
この時使用したカメラはASI224ですが、飽和電荷量が低いため、非常にピーキーなカメラです。（スイートスポットが狭い）
このようなカメラには特に多段露光が有効になります。（画素数が少ないのでどうしても輝星は太りますが。。。）

以前ライブスタッキング時に多重露光を行うと手軽にシグナル量を増やすことが出来るため効果的と記載しましたが、どのように画像処理していくのかを記載していませんでしたので覚書として記します。

大原則となる事項がいくつかありますのでその部分をまず最初に記載します。

・メインとなる適正露出画像をベースにして、アンダー（半分の露出時間）とオーバー（倍の露出時間）に変更しスタッキングする。（スタッキング枚数は適正露出、アンダー、オーバー全て同じが楽）
・ダークを取得する場合は最低オーバー画像を一枚（理想は露出秒毎）
・スタッキングは16ビット空間以上で行い、16ビットファイルで書き出す。


まず最も大切なことは撮影する対象が適正露出となる露出量を見つけ出す事になります。
撮影の場合はゲイン0でチェックしますが、経緯台を使用したライブスタックの場合ゲイン0では露出時間が長くなりすぎると思いますので、ゲインを上げます。（なので経緯台のライブスタッキングの場合はゲイン0で換算した場合には全てアンダーです。）

ゲインを上げた状態でヒストグラムの偏りが無くバランスが取れた画像（ゲインを上げているのでノイズは多い）をベースとして、倍の露出量（オーバー）、半分の露出量（アンダー）の画像もスタッキングしていきます。

適正露出、アンダー、オーバーのスタッキング枚数が同じ場合は画面上では適正露出の画像に近い状態で見えます。（モニター上では平均化されているため変化があまり見えませんが、見えないだけでシグナル量は確実に増えています）

この際、スタッキング枚数を増やせば暗電流ノイズとリードノイズを平均化出来ますので後ほどの画像処理でシグナルを取得しやすくなります。

スタッキング後は16ビットファイル（FITSやTIFF)として書き出します。

私の場合はこのファイルをKStarsのFITSビューアで開きます。



このビューアはSEPを用いてFITS画像の星の識別が行いやすいように自動で画像処理（オートストレッチ+α）がされて表示されますので見ながら調節しやすいです。（ライブスタッキングの場合は特に、先程述べたようにゲインを上げてオートストレッチなどを行い、モニタ上では適切に見えていても実際のデータはライブスタッキングではアンダー傾向になりますので通常は暗めになります。）
この状態で赤枠部分のスライダーを動かしてアンダー、適正露出、オーバーの画像をPNGに書き出します。




今回は4つ星部分がありましたので、ドアンダー画像、アンダー画像を2枚書き出しました。
この二枚の画像は4つ星部分と輝星の中心部分の情報になります。




次は適正露出として見える画像を書き出します。
中心部分や輝星は飽和していますが、全体的なバランスはこの画像に近くなるように後ほど調整します。




最後にオーバー画像を書き出します。
この画像はガス雲の細部情報の情報として利用します。


今回は4枚でしたが、欲しい情報に合わせてスライダーを調整して書き出します。

書き出しが終わったらフォトショップなどレイヤーが使用できる画像処理ソフトで開き、今書きだした4枚の画像をレイヤーとして重ねます。




今回は4枚なので、それぞれの透明度を25%にします。

これで4枚の画像の情報が均等に含まれた画像が出来ましたので、この段階でTIFFかビットマップに書き出します。

書き出した画像を開き、色調整、レベル調整、場合によってはレイヤーとして複製してレイヤー合成などを行って仕上げます。

仕上げは最終出力に合わせて調整します。（モニター、インクジェット、商業印刷、印画紙など）
最終出力の中で最も情報が広く見えるのはモニターですが、モニター含め最終出力は全て8ビットカラーなので、フォトショップでの作業は8ビットで構いません。

画像処理が困難になる原因の一つは最も情報が多く見えるモニターでも16ビットファイルの場合1/256（それ以下）の情報量しか確認できないため、見えない状態で作業を行うことが多くなることです。

常にモニターでシグナルが見える状態で作業を行うワークフローにすれば失敗することが少なくなります。

今回ご説明した方法はライブスタッキングで16ビットという広い空間に露出時間を変えながらシグナル情報の多い16ビット画像（シグナルデータバンク）を作り、その画像から8ビットの狭い色空間に効果的にまとめるために欲しい情報を分割して取り出して、合成でまとめるというものになります。


ライブスタッキングだけでは無く、天体撮影にも使える方法（撮影の場合は露出時間毎に加算平均でスタッキングして、BMPなどにそれぞれ書き出します。（加算ではありません））です。画像処理が苦手な方でもモニタを見ながら処理出来ますので簡単ですよ。

Fits（Raw)ファイルの注意点

天体カメラで撮影やEAAを行う場合、ほとんどの方がFitsファイル（ヘッダに天体情報を付随したRaw画像）形式で保存して画像処理をされているかと思います。

実はFitsファイル自体は画像としてJpegなども格納出来るのですが、撮影を行うアプリが対応しておらずカメラのRaw画像とヘッダに天体情報を付随してFitsファイルとして取り扱うような設計になっています。

天体撮影においては雑誌・マニアの情報からデジカメでもRawファイルをする方が多いと思いますが、いずれにしてもRaw画像部分に関しては注意が必要になる部分がありますので覚書として記載しておきます。

1.そもそも天体カメラのRaw画像もデジカメのRaw画像も真のRaw画像ではない。（何らかの画像処理がなされている）

2.天体カメラのFitsファイルに関してはカメラの特性に合わせた校正情報（デジカメで言うところのプロファイル）がない。

3.Fitsファイルを開くアプリにおいても天体カメラの場合は校正情報、デジカメの場合はプロファイルに対応した機能がない（デジカメに関してはプロファイル対応したものもある）

4.Fitsファイルを開くアプリによってFitsヘッダの反映が異なる

5.Fitsファイルを開くアプリによってデータ値のモニタ表示が異なる

てんこ盛りですね。。。
1に関しては私が所有するASI224のメーカー公表グラフをご確認いただけるとわかるのですが、ゲイン60でSNが向上するポイントがあります。
本来このカメラの撮像素子は防犯カメラやドライブレコーダーでの利用を意識して撮像素子に対応したDSPチップで様々な画像処理が行えるようになっています。（3Dノイズリダクションや、暗所でのノイズ軽減処理など多数の機能を持っています。）

ZWOのカメラは撮影時にカメラのDSPを利用した場合、8ビットカラーのソフトウェアビニングとゲインアップ時のノイズリダクションが利用できるようになっています。（どうせなら防犯カメラで使われているような画像処理機能も内蔵してほしかったですが。。。）

このことからPCに転送される際にDSP処理後の画像が送信されていると考えて間違いないでしょう。

デジカメに関しては画像処理エンジン自体がブラックボックスになっていますが、同様にDSP処理後のデータが送信されていると思います。

2～5に関しては実際に画像を見ながら確認したほうが早いでしょう。



上の画像は以前多段スタッキングの記事で撮影したものです。
カメラはASI224、撮像アプリはASILive、ゲインはHigh（300）で、5秒（適正露出）20枚、10秒（オーバー）20枚、2秒（アンダー）80枚をスタッキングしています。
経緯台のため、あまり長時間スタッキングすると視野回転が大きくなりすぎますので、暗電流ノイズ除去のためアンダー画像を増やしましたので、スタッキング時の画像はアンダーに見えます。

ではこのFits画像をそれぞれのFitsビューアで開いてみましょう。




まずはZWO純正のASIFitsビューアーです。
アンダーで撮影したのに明るくなっています。
おそらく自動でASILiveの設定値やヒストグラム調整をして表示しているようです。
撮影時の明るさとは異なりますが、画像処理はこの方がしやすいですね。（色もそんなにズレてませんし）




次はスタッキング＋画像処理アプリのSiliLです。
何故か上下反転していますね。
ASILive撮影時同様アンダー画像ですが、色が大分異なります。




同じくスタッキング＋画像処理アプリのASTAP（PlateSolvingも優秀です。）
これまた上下反転。。。
色や明るさもSiriLと異なりますね。




お次はGIMPです。
あまり知られていませんが、GIMPはFits画像を開くことができます。
これまた上下反転しています。
色や明るさはSiliLと似ていますね。（同じエンジンかも）




最後はわたしがよく使用しているKStarsのFitsビューアです。
こちらは上下反転していませんね。
以前からですが、KStarsはPlateSolvingやガイド機能で星の識別を良くするために自動的に画像調整（星の輝度とバックグラウンドの分離）が行われていました。そのためPlateSolvingの成功率が非常に高かったのですが、最近更にPlateSolvingにStelarSolverが搭載され、SEP (SExtractor)機能も内蔵されましたので、画像調整機能が向上しています。

実際の画像よりかなり明るく鮮明に見えています。（ノイズも見えますが）

私が以前記載した記事はKStarsのFitsビューアのSEP (SExtractor)自動処理機能を画像処理として利用して処理の手間を省くものでした。

デジカメのようにプロファイルがあればアプリ間の色や明るさを統一出来ますが、デジカメもRawで撮影した場合はアプリ側がデジカメのプロファイルに対応していないと同様のことが起こります。

Fitsファイルの場合は更にFitsヘッダの反映もアプリにより異なりますのでこのようにバラバラな状態になってしまいます。

撮影時のモニタ表示とFitsビューアで色や明るさが異なるのは困りますね。。。（画像処理が一手間増えます。）

校正情報が無いので完全な対処法はありませんが、撮影用ソフトでホワイトバランス（昼の曇りの日に白い紙を写し、白くなるようにカラーバランスを調整）を取っておけば後の調整が若干楽になります。

画像処理アプリに関しては撮影時の色や明るさに合わせるパラメーター設定を行う方法もありますが、設定によっては天体のシグナル情報が減ることになるので、私が行っているようにビューアの自動処理を利用して見やすい状態で処理しても良いかと思います。（そもそも天体の色や明るさなどは正解がありませんので。。。）


PS
とはいっても、正直カメラ、ビューアーともプロファイル機能はほしいですね。
天体カメラの撮像素子は高性能なので、校正用のプロファイルがあれば測光や等級識別など観測用途にも利用できるのに。。。ちょっともったいない気がします。

個人的には撮影に慣れるまではデジカメのJpeg撮影（プロファイル、ホワイトバランス、ISO、カメラの画像処理エンジンなどを利用できます）で天体の適正な露出値の把握や、見やすい画像（適正露出ならモニターで見やすいですね）で画像処理のイロハを習得したほうが近道のように感じます。（スタッキングすれば処理に適した16ビット画像にもできますし）

驚きの二夜連続快晴、本日はEAA機器のテスト

なんと驚いたことに今晩も快晴です。（ここ数ヶ月の悪天候が嘘のよう）

昨日高感度カメラ＋ズームレンズでのリモート観望を行いましたが、長らく機材を使用していなかったからか、接続不良など不具合が出たため今晩はEAA機器のチェックも兼ねて観望します。




こちらのシステムはMINIPCで制御しています。
安定したバージョンで運用していますので、昨日のような接続不良などがない限り問題が起きないと思いますが。。。






機材の自動接続→リモートでの架台操作→フォーカス調整→PlateSolveing→ASILiveでのスタッキングと一連の操作をしてみましたが問題無しです。

環境が安定していると快適ですね。

ベランダは南側なので、北側の対象は機材チェック後双眼鏡で短時間観望しました。（若干霞があるようで、小口径の手持ちだとイマイチでしたので力技で7cmを手持ち観望しました。このくらいの集光力があれば若干の霞があっても結構見えます。）

昨晩同様冬の対象まで粘ろうかとも思いましたが、昨日のコントロールボックスの修理で結構遅くまで作業しましたのであまり無理せず撤収します。。。


追伸
撤収しようと外に出たら屋根からギリギリプレアデス星団が顔を出したので、スタッキング。





以前記事でご紹介したKStarsのFitsビューアで表示するとこれくらいに見えます。
霞があると星が肥大しますね。
ガスなどはこちらのほうが見やすいです。
更にこれまた以前ご紹介した多段スタッキング→KStarsのFitsビューアだとこんな感じ



2秒＋5秒＋10秒の多段スタッキングです。（最初のは5秒のみ）長時間露光の画像が増えたのでアンプノイズが若干増えてしまいましたが、ガス星雲などの情報はこちらのほうが多いです。

もう少し枚数増やしてランダムノイズ減らせば情報量の多い画像を取得出来るので画像処理が楽になりますよ。

天体撮影は注意事項が多い

天体という特殊な対象を撮影して更に画像処理などをして仕上げる場合、撮影前にさまざまな注意が必要になります。
その場合、単項目だけに着目しても改善されません。
以前も少し触れましたが、今回は撮影前段階の留意点に絞り記載します。

●モニタの問題
きちんとキャリブレーションされているでしょうか？色温度は？ガンマ値は？
私はコマーシャル・フォトの設定（色温度5000、ガンマ値1.8でホワイトバランス調整）で調整してありますが、この部分の調整がなされていないと撮影後目視で画像処理の調整を行う時にミスが起きやすくなります。
EAAなどのようにモニタ鑑賞をする場合は更にモニタが果たす役割は大きくなります。

必ず調整してホワイトバランスを取り、バンディング（階調飛び）などが出ない設定にしておきましょう。


●架台の問題
天体機器で最も無理な操作をしている部分の一つになります。
（バーベルでバトンをするような作業を続けていますね。）

オートガイドなどで制御信号を加えてもエラーが出やすい状況です。
可能な限り、制御信号を入れなくても追尾状態が安定する状態（正確な極軸合わせ、架台に無理をさせないガイド設定）にしておきましょう。

架台の状態は撮影画像の解像度に非常に影響を与えます。
（ブレればブレるほど解像度が下がります。）


●大気の状態

・空の透明度
・シンチレーション（大気のゆらぎ）
・空の明るさ（外光＋大気上のチリ）

上記が少ない環境で撮影できるのが一番ですが、残念ながら日本にはこの条件を全て満たせる所がほとんどありません。
（島国ゆえにシンチレーションは避けられませんし、空の明るさは世界でもトップクラスです。）

空の透明度以外はある程度回避出来る手段があります。
・シンチレーション→ラッキーイメージング（短時間露光＋他枚数スタッキング）、スタッキング＋画像処理でも効果があります。
・空の明るさ→フィルターワーク（理想はモノクロの撮像素子でカラーフィルター撮影ですが、カラー撮像素子＋バンドパスフィルターでもある程度の効果はあります。）、ただしフィルターワークを行うということは露光時間がその分伸びますので架台に対する要求がより高くなります。


●撮像素子の設定
使用する撮像素子がどのようなものかにより、設定が全く異なります。

●一眼デジカメ＋画像処理エンジンを使用する場合
カラーバランス、ノイズ処理などが画像処理エンジンで自動的に調整されます。
ただし、長期露光時のデットピクセル、アンプノイズにまで配慮されていません。
冷却機構もありませんので、長期露光時はアンプノイズ＋暗電流ノイズ＋デッドピクセルの対策も必要です。

とここまで書いていますが、実は最も簡単にある程度の画質で撮影できる方法です。
なぜなら画像処理エンジンが自動的にノイズ処理、カラーバランス設定などを行ってくれているので、画像が破綻しづらいからです。
天体撮影では何故かカラーバランスに触れられることが少ないですが、後処理を考えると非常に重要な部分です。

欠点はJpegでしか撮影出来ないので、自動的に8ビットの色領域に狭められてしまうことですが、これはスタッキングでかなり解消できます。

●一眼デジカメ＋Rawを使用する場合
一眼デジカメを使用する場合、もっともメリットが少ない方法です。ISO、ホワイトバランス、いくつかのノイズリダクションがバイパスされます。（チップレベルで前処理が働いているものはバイパスされません）
唯一メリットになるのは16（または12）ビットのデータを取り出せることです。

画像処理エンジンが行っていた前処理要素、後処理要素を全てユーザーが手動で行う必要があります。
データも重くなり、転送時間もかかりますので時間あたりの撮影数が減りますし、PCに転送などを行えば不要なアンプノイズの原因（転送エラー）が増えることにもなります。

唯一のメリットであるハイビット画像の取得に関してもスタッキングを行うのであれば画像処理エンジンを使用した場合との差を付けづらくなりますので正直現状ではおすすめできません。


●天体カメラの場合（カラー）
原則的にRaw（天体位置情報をつけてFitsになっている場合も）での撮影になります。
一眼デジカメ＋Raw画像の撮影に近い状況ですが、冷却機構を持っている場合は温度に起因するノイズを大幅に減らすことが出来ます。

実はRawといっても多かれ少なかれDSP（撮像素子の事前処理）の設定が撮影結果に影響してしまいます。
その中で一番影響が出るのがGainと撮像素子の電荷量、撮像素子の感度になります。

・Gainについて
撮像素子が受け取った電荷を増幅する機構になります。
回路上での増幅と計算上での増幅の2種類があります。
いずれにしても撮像素子が電荷を受け取っていないと増幅のしようがありませんので、撮像素子が電荷を受け取れるだけの露出時間が必ず必要になります。（モニタで見えることと同義ではありません）

・撮像素子の電荷量について
露出時に取得出来る電荷量が多いほど、長時間露光が可能になります。
電荷量を超えた露出は情報が切り捨てられますので意味がなくなります。（が、淡い対象を取得するためにその部分のみの情報をSN高く取り出す目的においては利点があります。この場合は露出が少ない画像とセットで扱います。（多段露光））

・撮像素子の感度について
撮像素子が撮影をした場合、電荷として蓄えることができる最小の明度を記します。
気をつけないといけないのはある程度露出をかけないと電荷の有無を目視で確認が出来ないことです。

撮像素子には固有のノイズがあり、明度0の状態で撮影してもノイズの影響で真っ黒に写りません。（暗電流ノイズ、アンプノイズ、デッドピクセルなどなど）

高感度の撮像素子は短い露出時間で電荷を受け取れるのですが、露出時間が短い場合はノイズと判別が出来ません。

この状態で識別する方法は2つです。
・Gainを高くする
・露出時間を少し長くしてノイズと目視で見分けられるようにする

Gainを高くする方法は後処理でトーンカーブを調整するのとほとんど同義になります。（多枚数のスタッキングを行えば、ノイズと信号を見分けやすくなりますが、情報が少ないので階調が少なく、輝度の高い情報は破綻します。）
露出時間を少し長くしてノイズと目視で見分けられるようにする方法は電荷量が増えますので確実に画質がよくなります。

ここでもう一つ問題があります。
撮像素子は色により感度が異なってくるということです。
しかも、天体カメラの場合カメラ側で感度の違いに対する校正値をもっていません。
そのため、カラーによっては電荷が飽和したり、露出が不足したりといった不具合が出ます。
ユーザー自身が校正情報を事前に取得しておく必要があります。（フィルターを使用する場合もカラー画像にしたいのであれば同様です）

最も簡単な方法は暗闇で白い紙が白く写るように設定しておくことです。
この場合感度を犠牲にしないのであれば、信号が弱い情報を強調、画質を優先するのであれば飽和しやすい信号の情報を低く設定します。

撮像素子の感度が高く、飽和電荷量が大きいものを使用するのがもっとも効率良く撮影が出来る方法になりますが、一眼デジカメのような画像処理が行われませんので、前処理的な情報を事前にユーザーが準備する必要があります。
（一眼デジカメで言えば、ISO、ホワイトバランスに該当する要素、ノイズは後処理しかありません。）


●天体カメラの場合（モノクロ＋フィルター処理）
Raw（fits）で画像を扱うのはカラーカメラと同様ですが、カラーカメラのようなカラーフィルターに起因する留意事項が無くなりますので問題の切り分けが明確になります。

このカメラを使いこなす方にとっては上記の情報などは釈迦に説法になるでしょう。
事前にフィルター特性に合わせた校正値の取得などは必要ですが、ユーザー側でほとんどの撮像項目を調整出来ますので、もっとも高品質が画像を取得出来ます。

カラーにするにはフィルター撮影が必要ですが、飽和電荷量と感度の関係を意識して設定すれば良いです。

唯一の注意点はGainになります。
撮像素子の特性グラフで最もレンジが稼げる設定で撮影するのが最も効率的でしょう。


と、いろいろ注意点がありますね。
ネットなどを拝見していて少し気になるのは非常に側面的な情報に偏ってしまっていることで、本当の問題点が洗い出せない状況になっていることかと思います。

目で見て最も多くの情報を取得するのはモニタですが、この設定について触れている記事はほとんどありません。
いわば、盲目状態で自分のモニタに写っている状態を判断している状況が多いのではないかと感じます。（しかもそのモニタですら調整されていたとしても8ビット（カラー24ビット）の情報が確認できるだけです。）画像をスタッキングなどで仕上げるには程度撮像素子の特性に合わせた撮影計画を事前に立てて調整する必要があります。
（調整されていないモニタ情報のみに頼った場合、必ず出口の無い迷宮に迷い込みます。撮像素子の特性に合わせた撮影（撮影時の設定を含め）も非常に重要な要素になります。）

上記欠けているピースを埋めることが問題解決の早道になると考えます。

。。。と記載しましたが、天体の趣味ってもっと幅広く楽しめると思うんですけどね。（眼視観望だって楽しいですし、機材の自作なども楽しめ（苦しいかも（笑））ます。）

人口分布から撮影部分（もしくはスペック情報）に話題が集中しがちですが、多くの人に天文を楽しんで欲しいなと個人的には考えています。（これから始めようとする方がドン引きして逃げませんように、いろいろ楽しめる趣味ですよ！！）


追記
上記の通り一眼デジカメのRawと天体カメラのRawは完全に同じではないと思います。
一番異なる点として露出時の各フィルタでのデータ取得の段階で前処理が働いているのが一眼デジカメ、ユーザー任せなのが天体カメラと認識しています。一眼デジカメの画像処理の詳細は技術者にしかわからないですが、データ取得段階で自社の撮像素子の能力を引き出す調整は行われているでしょう。
このあたりの敷居がもっと下がれば良いなと思います。（賢いオート設定など）

こ、これは。。。

放置プレーだったMacProが怪物になって再登場するようです。（詳細はこちら）

４K映像や３Dアニメ制作用でしょうか。。
（中身はすごいけど外観はかなり微妙。。）

天体用だとWindowsで言う所のMiniPCのようなものが欲しいのですが、最軽量なMacMiniでもオーバースペックです。（特に遠征時の電力消費量が。。）

現在INDIサーバ・ドライバやINDIGOサーバ・ドライバなどを最も簡単に使用できるのはMacですが、天体向けのマシンがありません。。

逆転の発想としてサーバを高性能なSBCに任せ、処理をMacでといった使い方もありますがそうなるとSBCにも10Gbitイーサが欲しくなります。。。

まあ、少し様子見ですかね（金も無いし。。（（泣））