森井の修論日誌
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
&aname(Top);
#contents
2025年度の研究は[[こちら:https://www.str.ce.akita-u.ac.jp...
//*DO [#j418c000]
//-① 不確実性を取得できているか？ 実装修正（Dropout / 分...
//-② 不確実性は意味のある値か？ 誤差との関係を見て相関が...
//-③ 不確実性を使うと性能は改善するか？ 不確実性の定義見...
//-④ 出力の滑らかさ（ヒートマップの自然さ）は十分か？ 期...
//-⑤ 確率は信頼できるか？Temperature Scaling
//-⑥ 実運用を想定した出力になっているか？
*4月 [#j418c400]
**4/7 [#j417c407]
近接画像においてLoRAを用いた画像生成が評点別に行えるよう...
ただし256pxで出力している関係上、どうしても粗くなってしま...
そうすることで画像の粗さが解消されるのでは。
**4/8 [#j417c408]
背景・近景・近接の各画像を生成できるようになったので、実...
学習枚数と条件の組み合わせは以下の通り。
-背景画像
, 実在画像 , 402枚 , ー ,
, パターン , 生成枚数 , 実在画像と生成画像の学習比 , 備考
, 01 , 172枚 , 7:3 ,
, 02 , 402枚 , 1:1 , うち172枚はパターン01と同じ画像を使...
-近景画像
, 実在画像 , 140枚 , ー ,
, パターン , 生成枚数 , 実在画像と生成画像の学習比 , 備考
, 11 , 60枚 , 7:3 ,
, 12 , 140枚 , 1:1 , うち60枚はパターン11と同じ画像を使用
-近接画像
, 実在画像 , 234枚（5段階評点合計） , ー ,
, パターン , 生成枚数 , 実在画像と生成画像の学習比 , 備考
, ① , 101枚（5段階評点合計） , 7:3 , 512pxで生成 ⇒ 256px...
, ② , 234枚（5段階評点合計） , 1:1 , 512pxで生成 ⇒ 256px...
, ③ , 101枚（5段階評点合計） , 7:3 , 1024pxで生成 ⇒ 256px...
, ④ , 234枚（5段階評点合計） , 1:1 , 1024pxで生成 ⇒ 256px...
近接画像は256pxで画像を生成すると画素が粗くなってしまうた...
-試す組み合わせ
, パターン（背景_近景_近接） , 実在画像と生成画像の学習比...
, 01_11_① , 7:3 , 512px
, 01_11_③ , 7:3 , 1024px
, 02_12_② , 1:1 , 512px
, 02_12_④ , 1:1 , 1024px
**4/9 [#j417c409]
-LoRA生成待ち 20時間弱で65枚程度生成されたことを考えると...
-来週中に背景と近景（要改修）画像の生成まで進められれば
**4/16 [#j417c4161]
-近接画像の画像生成が完了した これから背景画像と近景画像...
-背景画像は問題なく生成できると思うが、近景画像は鋼材部分...
- ⇒ 画像生成では生成して欲しい内容や物体をスクリプト上に...
**4/17 [#j417c417]
-近接画像の生成が一段落済んだのでデスクトップを変えた Py...
**4/20 [#j417c420]
-デスクトップを変えてスクリプトの大半は実行できるようにし...
-学習スペックを落としたら無事回ったが、どうやら学習を行う...
-画像生成に関して 生成時間が今までの25分の1に短縮された ...
**4/22 [#j417c422]
-LoRAで生成できたもの
--背景画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--近景画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--近接画像
---近接画像を256pxで生成（左から順に評点1, 評点2 ... の順...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---512pxで生成した後に256pxに圧縮（左から順に評点1, 評点2...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---1024pxで生成した後に256pxに圧縮（左から順に評点1, 評点...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**4/24 [#j417c424]
-1パターンでの学習を始めた １日で１種類の学習が完了するた...
-現行のスクリプトに簡易的なベイズ推定を入れてみた 実行は...
**4/27 [#j417c427]
-３枚の撮影画像に対してヒートマップを描くという段階にはた...
-とりあえず生成してみて精度を確認する そこからどうするか...
**4/30 [#j418c430]
-ヒートマップの生成時にGPUを使えるように設定した ただし...
-また ヒートマップの生成に近似ベイズ（MC Dropout）を導入...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 数値 , 意味
, 🔵 青 , 低 , 不確実性低（＝信頼度高）
, 🟢 緑 , 中 , そこそこ
, 🔴 赤 , 高 , 不確実性高（＝信頼度低）
*5月 [#j418c00]
***01_11_① [#j418c01111]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
***01_11_③ [#j418c01113]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
***02_12_② [#j418c02122]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
***02_12_④ [#j418c02124]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**5/20 [#j418c520]
ヒートマップ評価における改良を行った。
DenseNet121・InceptionResNetV2・Xception のアンサンブルで...
錆評価には評点1〜5の順序性を考慮した学習 Ordinal Regressi...
またMC Dropout による不確実性推定も導入した。
推論時には劣化ヒートマップepistemic uncertaintyとaleatori...
さらにGaussian Weighting によりパッチ境界ノイズを低減し、...
現在は橋梁領域抽出・錆劣化推定・不確実性可視化までの処理...
ヒートマップの結果は手動の場合と自動の場合の両方を明日以...
**5/21 [#j418c521]
-ヒートマップ評価方法の変更と指標の追加 近景画像（現地撮...
--original … ドローン撮影元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--bridge_mask … 白領域が鋼材部分（評価するところ）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--heatmap_overlay … ヒートマップで評価を行った画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--uncertainty_map … ヒートマップの精度にどれくらい自信を...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 意味
, 🔵 青 , かなり自信あり
, 🟢 緑 , 普通
, 🟡 黄 , 少し怪しい
, 🔴 赤 , かなり迷っている
--epistemic_map…モデル側の“不確実性” = AIがまだ学習できて...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 意味
, 🔵 青 , 学習済み・自信あり
, 🟢 緑 , 普通
, 🟡 黄 , やや未知
, 🔴 赤 , AI未学習・未知パターン
--aleatoric_map…画像自体の曖昧さ = 人間でも判定が難しい領域
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 意味
, 🔵 青 , 判定しやすい
, 🟢 緑 , 普通
, 🟡 黄 , やや曖昧
, 🔴 赤 , 非常に曖昧
**5/22 [#j418c522]
-新たな評価方法でヒートマップをはじめとするさまざまなもの...
--鋼材領域自動抽出の場合
---元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップで評価した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップ精度にどれほど自信があるかを表した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---モデル側の“不確実性” （まだ学習できていない領域）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---画像自体の曖昧さ
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--鋼材領域手動抽出の場合
---元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップで評価した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップ精度にどれほど自信があるかを表した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---モデル側の“不確実性” （まだ学習できていない領域）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---画像自体の曖昧さ
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**5/26 [#j418c526]
-台形変換で鋼材領域を抽出してみた 抽出した鋼材領域はスク...
--左から順に元画像・鋼材領域抽出&台形変換画像・マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--左から順にヒートマップ画像・ヒートマップにおける精度の...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
*6月 [#j418c600]
**6/12 [#j418c612]
ヒートマップ視認性向上のため一緒に等高線図が出力されるよ...
**6/15 [#j418c615]
ヒートマップでの評価については，現在8 cm四方の近接画像を2...
一方で実橋梁画像は撮影距離や画角が一定ではないため，同じ2...
そのため今後は8 cm，16 cm，32 cmなど複数のスケールで学習...
また，不確実性マップについても期待したほど有効に機能して...
現在はモデル間分散とMC Dropoutの分散を利用しているが，技...
**6/18 [#j418c618]
-評価方法の修正 以下3通りでヒートマップ評価できるように...
--1, 自動抽出
--2, 鋼材領域の4隅を指定 ⇒ 台形変換
--3, 鋼材領域を指定（頂点の数は無制限 ← NEW）⇒ 台形変換
※2は上下フランジが切れずにうつっている場合, 3は上下フラン...
-ヒートマップの保管的な役割として等高線図(2D, 3Dの実装)
**6/22 [#j418c622]
-ヒートマップ評価で色が識別しにくい, 例え色合いが多少異な...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-上記の図だと線が多すぎてどの領域がこの評点なのかが分かり...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-3D静止画が意外と見づらかったので，自由に等高線図3Dを見れ...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**6/24 [#j418c624]
現行の学習をMATLABに落とせるか試してみたが，1から環境を構...
いつの間にかヒートマップカラーが逆転していたため，2D, 3D...
下に示す評価結果は左から順番に256pxでヒートマップ評価した...
-評価結果 [[3Dマップ256_128px:ht...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**6/29 [#j418c629]
3Dヒートマップを修正した 修正内容は以下の通り
-座標役割の変更
--x軸：橋軸方向
--y軸：高さ
--z軸：評点
-元画像の貼り付け（白黒）
-評点の違いをわかりやすくするために凹凸を強調
-Rust score の座標と評点関係を対応させた 評点が3.05だっ...
-[[3Dマップ修正1:http://www.str.ce.akita-u.ac.jp/~gotouha...
-[[3Dマップ修正2:http://www.str.ce.akita-u.ac.jp/~gotouha...
-[[3Dマップ修正3:http://www.str.ce.akita-u.ac.jp/~gotouha...
*7月[#j418c700]
**7/7 [#j0147rg0707]
底面画像をカラー化した．今までは Plotly という可視化ライ...
今後は評点の可視化等の見やすさ向上に取り組んでいく．
-[[3Dマップ修正 Ver 3.0 :http://www.str.ce.akita-u.ac.jp/...
-2Dヒートマップ↓（パッチは128pxで評価）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**7/13 [#j0147rg0713]
今のところ Pyvista にて3Dヒートマップで描画 & 改善や修正...
色々探してみてもっと良さげな描画ライブラリがあれば全然そ...
ただスクリプトを書き換えても言うことをきかないことがしば...
2Dと3Dを同htmlもどきで表示できるようにしたページは明日以...
**7/14 [#j0147rg0714]
-[[2D・3Dマップ表示 :http://www.str.ce.akita-u.ac.jp/~got...
**7/21[#j418c700]
底面にカラーの検証画像を貼って3Dのヒートマップを表示させ...
これから表示の不具合を修正しつつ自分が理想としている形・...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**7/23[#j418c723]
NaN表示エラーや評点のミスをなくして3Dヒートマップhtmlがな...
-[[3Dマップ Ver 4.0 :http://www.str.ce.akita-u.ac.jp/~got...
-使用したスクリプト：inference_heatmap3.py
ついでに1クリックで2Dと3Dを切り替えられるhtmlも作成した．...
-[[2D_3Dマップ :http://www.str.ce.akita-u.ac.jp/~gotouhan...
-使用したスクリプト：inference_heatmap4.py
今後は台形補正, ドローンで連続的に撮影した画像を1つの画像...
**7/28[#j0147rg0728]
近接画像は8cm四方のものを256px四方にリサイズしてそれを学...
一方で検証画像にヒートマップを描画する際は錆の大きさを気...
なので検証画像でも256pxが8cmになるよう台形補正を行なった...
-元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-補正後画像（左上ピンク枠は256px四方_8cm四方のサイズを表...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**7/29[#j0147rg0729]
台形補正を行う際，画像によっては鋼材領域を長方形として選...
その場合は下記の3ステップで補正を行えるようにスクリプトを...
--ステップ1：輪郭指定
画像を用意して鋼材の外郭を左クリックで指定する．頂点はど...
（左から順に 元画像ー頂点をクリックする作業スペースー頂...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--ステップ2：最終補正用4頂点の選択
画面外まで視界を広げた作業スペースを用意し，算出した交点...
そして補正に使いたい4つの角を選択することで台形補正を行う．
（左から順に 延長線上の交点を表示した画像（緑点）ー最終...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--ステップ3：実寸法計測と正規化
指定した任意の2点間（下フランジ厚さ等）の実寸法を入力し，...
（左から順に 下フランジ厚を測定している画像ー補正後の画...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
補正後の画像は水平方向に圧縮されている感じが否めないため...
*8月[#j418c800]
**8/3[#j0147rg0803]
予測精度を向上させるためRustモデルの学習モデルと学習方法...
学習モデルはdensenet, inceptionresnetv2, xception の組み...
学習方法は保存枚数が少ない評点1と5における学習の重みを重...
**8/7[#j0147rg0807]
新CNNモデルでの学習も完了し，ヒートマップで評価してみたと...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**8/15[#j0147rg0815]
8/7に貼り付けた画像は不確実性の値そのものは最大で0.4程度...
数値と色の対応をかなり厳し目に設定していた．0.1辺りになら...
なので数値と色の関係を変えた結果と表を以下に貼り付ける．...
画像に関して垂直補剛材の部分がヒートマップ画像に暖色系で...
-数値と色の対応一覧 （更新版）
, 不確実性の値 (Utotal) , 表示される色 , モデルの状態・...
, 0.00 〜 0.12 , 濃い青 〜 青 , 極めて確信度が高い モデ...
, 0.12 〜 0.28 , シアン 〜 緑 , 十分信頼できる 軽微なノ...
, 0.28 〜 0.44 , 黄緑 〜 黄色 , やや迷いがある 腐食境界...
, 0.44 〜 0.64 , オレンジ 〜 赤 , 不確実性が高い モデル...
, 0.64 〜 0.80 以上 , エンジ色・赤紫 , 極めて不確実 モデ...
-画像 左から順にヒートマップ（透過），ヒートマップ（単体...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
*9月[#j418c900]
**9/9[#j0147rg0909]
台形と色補正をpixxisで行えるか検討
--STEP 1：鋼材面に対して一定の距離と平行を保ちながら、あ...
--STEP 2：斜めから撮影された写真に対して台形補正する。 複...
--STEP 3：生成された広範囲オルソ画像を、256×256ピクセル四...
**9/17[#j0147rg0909]
橋梁調査に行ってきた．得られた画像は来週以降に学習に組み...
--白子川橋 （調査○）
--関口こ道橋（調査○）
--三関こ線橋（調査×）
--戸沢川橋 （調査×）
--高松川橋 （調査×）
*10月[#j418c1000]
**10/5[#j0147rg1005]
去年作成した色補正スクリプトを修正した．大きな変更点は色...
-比較用検証画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-カラースケールを緑枠で囲んだ画像（上記の右側画像1種類の...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-カラースケール抽出画像（上記の右側画像1種類のみ表示）
--修正前の2枚と修正後の2枚
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-全体的に色補正した画像（この処理を行う前に上記のカラース...
--修正前の2枚と修正後の2枚
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**10/14[#j0147rg1014]
9色のカラースケールをもとに色補正を行ってみた．各色のRGB...
, 色 , R値 , G値 , B値
, Blue , 0.16 , 0.19 , 0.69
, Cyan , 0.00 , 0.59 , 0.78
, Green , 0.14 , 0.65 , 0.21
, Yellow , 0.94 , 0.83 , 0.11
, Red , 0.86 , 0.14 , 0.15
, Magenta , 0.76 , 0.15 , 0.63
, White , 0.94 , 0.94 , 0.94
, 3/Color , 0.31 , 0.22 , 0.21
, Black , 0.13 , 0.13 , 0.13
今まではフレームについている4色のカラースケールで色補正を...
-5色で色補正方法
--1, カラースケールの抽出
---基本は自動抽出で行っているが，過信しすぎると一面白色の...
---抽出はまず赤, 黃, 緑, 青の4色を抽出または手動で領域選...
--2, 色情報の自動抽出
---入力画像を自動で長辺方向に5等分して各エリアのRGB平均値...
--3, 変換行列（CCM）の算出
---平均によって得られた実測値と目標値（理想の5色）を比較...
---各色ごとに個別の行列を作って変換するのではなく、5色の...
--4,成果物の保存
---行列データ（.npy）と比較検証用の理想の純色画像を自動生...
-9色での色補正方法
--基本的にロジックは5色の色補正方法と同じやり方で行ってい...
**10/15[#j0147rg1015]
2通りの方法で色補正を行ったので何枚か結果を貼り付ける．
-5色で色補正
--補正前
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--補正後
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-9色で色補正
--補正前
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--補正後
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
光の当て方はかなり重要だとわかった．9色補正は全体的に白く...
**10/19[#j0147rg1019]
補正時に明るさを変えてみたが1.1倍（少し明るくする）が一番...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
あと近接画像を新しい方法で色補正を行った結果，ボケが更に...
, 評点 , 学習枚数
, 1 , 6枚
, 2 , 69枚
, 3 , 96枚
, 4 , 93枚
, 5 , 51枚
, 合計枚数 , 315枚
**10/20[#j0147rg1020]
9月調査分を含めた近接画像を学習させた．水増し1枚あたり15...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
*10月[#j418c1000]
**10/21 [#j0147rg1021]
背景画像1005枚，近景画像198枚を学習させてみて画像内に橋梁...
背景画像と認識できていても鋼材領域の割合が20%前後出てしま...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 画像名 , 橋梁らしさスコア（0.5以上で橋梁ありと認定 最大...
, 左1 , 0.0000 , 16.96% , 背景
, 左2 , 0.0000 , 33.22% , 背景
, 左3 , 0.0000 , 24.09% , 背景
, 真ん中 , 0.0000 , 27.49% , 背景
, 右3 , 0.0001 , 15.83% , 背景
, 右2 , 0.0000 , 27.53% , 背景
, 右1 , 0.6665 , 46.53% , 橋梁
* 各種画像の追加・前処理と再学習方法[#j424c400]
-ファイル構成
project_root/
├── dataset/
│ ├── bg/
│ │ └── raw/ ← 背景画像
│ │ └── masks/ ← マスク画像（真っ黒）
│ │
│ ├── bridge/
│ │ └── raw/ ← 橋画像（セグメンテーション用）
│ │ └── masks/ ← マスク画像
│ │
│ └── rust/
│ └── raw/ ← 錆画像（回帰用）
│
├── models/ ← CNNモデルが保存
├── results/ ← 結果が出力
--① 背景画像を追加して学習する手順
--- 1. 画像配置： "dataset/bg/raw/"に画像を入れる
--- 2. 学習実行：train_all4.pyを実行し、メニューから "4) ...
--② 近景画像からマスク画像を作成して学習
--- 1. 画像配置 "dataset/bridge/raw/"に画像を入れる
--- 2. マスク作成：手動or自動を選択可能だが、現状はデータ...
--- 3. 学習実行：train_all4.pyを実行し、メニューから "2) ...
--③ 近接画像を追加して学習する手順
--- 1. 画像配置： "dataset/rust/raw/"に画像を入れる
--- 2. 学習実行：train_all4.pyを実行し、メニューから "3) ...
終了行:
&aname(Top);
#contents
2025年度の研究は[[こちら:https://www.str.ce.akita-u.ac.jp...
//*DO [#j418c000]
//-① 不確実性を取得できているか？ 実装修正（Dropout / 分...
//-② 不確実性は意味のある値か？ 誤差との関係を見て相関が...
//-③ 不確実性を使うと性能は改善するか？ 不確実性の定義見...
//-④ 出力の滑らかさ（ヒートマップの自然さ）は十分か？ 期...
//-⑤ 確率は信頼できるか？Temperature Scaling
//-⑥ 実運用を想定した出力になっているか？
*4月 [#j418c400]
**4/7 [#j417c407]
近接画像においてLoRAを用いた画像生成が評点別に行えるよう...
ただし256pxで出力している関係上、どうしても粗くなってしま...
そうすることで画像の粗さが解消されるのでは。
**4/8 [#j417c408]
背景・近景・近接の各画像を生成できるようになったので、実...
学習枚数と条件の組み合わせは以下の通り。
-背景画像
, 実在画像 , 402枚 , ー ,
, パターン , 生成枚数 , 実在画像と生成画像の学習比 , 備考
, 01 , 172枚 , 7:3 ,
, 02 , 402枚 , 1:1 , うち172枚はパターン01と同じ画像を使...
-近景画像
, 実在画像 , 140枚 , ー ,
, パターン , 生成枚数 , 実在画像と生成画像の学習比 , 備考
, 11 , 60枚 , 7:3 ,
, 12 , 140枚 , 1:1 , うち60枚はパターン11と同じ画像を使用
-近接画像
, 実在画像 , 234枚（5段階評点合計） , ー ,
, パターン , 生成枚数 , 実在画像と生成画像の学習比 , 備考
, ① , 101枚（5段階評点合計） , 7:3 , 512pxで生成 ⇒ 256px...
, ② , 234枚（5段階評点合計） , 1:1 , 512pxで生成 ⇒ 256px...
, ③ , 101枚（5段階評点合計） , 7:3 , 1024pxで生成 ⇒ 256px...
, ④ , 234枚（5段階評点合計） , 1:1 , 1024pxで生成 ⇒ 256px...
近接画像は256pxで画像を生成すると画素が粗くなってしまうた...
-試す組み合わせ
, パターン（背景_近景_近接） , 実在画像と生成画像の学習比...
, 01_11_① , 7:3 , 512px
, 01_11_③ , 7:3 , 1024px
, 02_12_② , 1:1 , 512px
, 02_12_④ , 1:1 , 1024px
**4/9 [#j417c409]
-LoRA生成待ち 20時間弱で65枚程度生成されたことを考えると...
-来週中に背景と近景（要改修）画像の生成まで進められれば
**4/16 [#j417c4161]
-近接画像の画像生成が完了した これから背景画像と近景画像...
-背景画像は問題なく生成できると思うが、近景画像は鋼材部分...
- ⇒ 画像生成では生成して欲しい内容や物体をスクリプト上に...
**4/17 [#j417c417]
-近接画像の生成が一段落済んだのでデスクトップを変えた Py...
**4/20 [#j417c420]
-デスクトップを変えてスクリプトの大半は実行できるようにし...
-学習スペックを落としたら無事回ったが、どうやら学習を行う...
-画像生成に関して 生成時間が今までの25分の1に短縮された ...
**4/22 [#j417c422]
-LoRAで生成できたもの
--背景画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--近景画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--近接画像
---近接画像を256pxで生成（左から順に評点1, 評点2 ... の順...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---512pxで生成した後に256pxに圧縮（左から順に評点1, 評点2...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---1024pxで生成した後に256pxに圧縮（左から順に評点1, 評点...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**4/24 [#j417c424]
-1パターンでの学習を始めた １日で１種類の学習が完了するた...
-現行のスクリプトに簡易的なベイズ推定を入れてみた 実行は...
**4/27 [#j417c427]
-３枚の撮影画像に対してヒートマップを描くという段階にはた...
-とりあえず生成してみて精度を確認する そこからどうするか...
**4/30 [#j418c430]
-ヒートマップの生成時にGPUを使えるように設定した ただし...
-また ヒートマップの生成に近似ベイズ（MC Dropout）を導入...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 数値 , 意味
, 🔵 青 , 低 , 不確実性低（＝信頼度高）
, 🟢 緑 , 中 , そこそこ
, 🔴 赤 , 高 , 不確実性高（＝信頼度低）
*5月 [#j418c00]
***01_11_① [#j418c01111]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
***01_11_③ [#j418c01113]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
***02_12_② [#j418c02122]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
***02_12_④ [#j418c02124]
-マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-ヒートマップ画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-信頼度
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**5/20 [#j418c520]
ヒートマップ評価における改良を行った。
DenseNet121・InceptionResNetV2・Xception のアンサンブルで...
錆評価には評点1〜5の順序性を考慮した学習 Ordinal Regressi...
またMC Dropout による不確実性推定も導入した。
推論時には劣化ヒートマップepistemic uncertaintyとaleatori...
さらにGaussian Weighting によりパッチ境界ノイズを低減し、...
現在は橋梁領域抽出・錆劣化推定・不確実性可視化までの処理...
ヒートマップの結果は手動の場合と自動の場合の両方を明日以...
**5/21 [#j418c521]
-ヒートマップ評価方法の変更と指標の追加 近景画像（現地撮...
--original … ドローン撮影元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--bridge_mask … 白領域が鋼材部分（評価するところ）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--heatmap_overlay … ヒートマップで評価を行った画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--uncertainty_map … ヒートマップの精度にどれくらい自信を...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 意味
, 🔵 青 , かなり自信あり
, 🟢 緑 , 普通
, 🟡 黄 , 少し怪しい
, 🔴 赤 , かなり迷っている
--epistemic_map…モデル側の“不確実性” = AIがまだ学習できて...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 意味
, 🔵 青 , 学習済み・自信あり
, 🟢 緑 , 普通
, 🟡 黄 , やや未知
, 🔴 赤 , AI未学習・未知パターン
--aleatoric_map…画像自体の曖昧さ = 人間でも判定が難しい領域
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 色 , 意味
, 🔵 青 , 判定しやすい
, 🟢 緑 , 普通
, 🟡 黄 , やや曖昧
, 🔴 赤 , 非常に曖昧
**5/22 [#j418c522]
-新たな評価方法でヒートマップをはじめとするさまざまなもの...
--鋼材領域自動抽出の場合
---元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップで評価した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップ精度にどれほど自信があるかを表した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---モデル側の“不確実性” （まだ学習できていない領域）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---画像自体の曖昧さ
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--鋼材領域手動抽出の場合
---元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップで評価した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---ヒートマップ精度にどれほど自信があるかを表した画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---モデル側の“不確実性” （まだ学習できていない領域）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
---画像自体の曖昧さ
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**5/26 [#j418c526]
-台形変換で鋼材領域を抽出してみた 抽出した鋼材領域はスク...
--左から順に元画像・鋼材領域抽出&台形変換画像・マスク画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--左から順にヒートマップ画像・ヒートマップにおける精度の...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
*6月 [#j418c600]
**6/12 [#j418c612]
ヒートマップ視認性向上のため一緒に等高線図が出力されるよ...
**6/15 [#j418c615]
ヒートマップでの評価については，現在8 cm四方の近接画像を2...
一方で実橋梁画像は撮影距離や画角が一定ではないため，同じ2...
そのため今後は8 cm，16 cm，32 cmなど複数のスケールで学習...
また，不確実性マップについても期待したほど有効に機能して...
現在はモデル間分散とMC Dropoutの分散を利用しているが，技...
**6/18 [#j418c618]
-評価方法の修正 以下3通りでヒートマップ評価できるように...
--1, 自動抽出
--2, 鋼材領域の4隅を指定 ⇒ 台形変換
--3, 鋼材領域を指定（頂点の数は無制限 ← NEW）⇒ 台形変換
※2は上下フランジが切れずにうつっている場合, 3は上下フラン...
-ヒートマップの保管的な役割として等高線図(2D, 3Dの実装)
**6/22 [#j418c622]
-ヒートマップ評価で色が識別しにくい, 例え色合いが多少異な...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-上記の図だと線が多すぎてどの領域がこの評点なのかが分かり...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-3D静止画が意外と見づらかったので，自由に等高線図3Dを見れ...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**6/24 [#j418c624]
現行の学習をMATLABに落とせるか試してみたが，1から環境を構...
いつの間にかヒートマップカラーが逆転していたため，2D, 3D...
下に示す評価結果は左から順番に256pxでヒートマップ評価した...
-評価結果 [[3Dマップ256_128px:ht...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**6/29 [#j418c629]
3Dヒートマップを修正した 修正内容は以下の通り
-座標役割の変更
--x軸：橋軸方向
--y軸：高さ
--z軸：評点
-元画像の貼り付け（白黒）
-評点の違いをわかりやすくするために凹凸を強調
-Rust score の座標と評点関係を対応させた 評点が3.05だっ...
-[[3Dマップ修正1:http://www.str.ce.akita-u.ac.jp/~gotouha...
-[[3Dマップ修正2:http://www.str.ce.akita-u.ac.jp/~gotouha...
-[[3Dマップ修正3:http://www.str.ce.akita-u.ac.jp/~gotouha...
*7月[#j418c700]
**7/7 [#j0147rg0707]
底面画像をカラー化した．今までは Plotly という可視化ライ...
今後は評点の可視化等の見やすさ向上に取り組んでいく．
-[[3Dマップ修正 Ver 3.0 :http://www.str.ce.akita-u.ac.jp/...
-2Dヒートマップ↓（パッチは128pxで評価）
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**7/13 [#j0147rg0713]
今のところ Pyvista にて3Dヒートマップで描画 & 改善や修正...
色々探してみてもっと良さげな描画ライブラリがあれば全然そ...
ただスクリプトを書き換えても言うことをきかないことがしば...
2Dと3Dを同htmlもどきで表示できるようにしたページは明日以...
**7/14 [#j0147rg0714]
-[[2D・3Dマップ表示 :http://www.str.ce.akita-u.ac.jp/~got...
**7/21[#j418c700]
底面にカラーの検証画像を貼って3Dのヒートマップを表示させ...
これから表示の不具合を修正しつつ自分が理想としている形・...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**7/23[#j418c723]
NaN表示エラーや評点のミスをなくして3Dヒートマップhtmlがな...
-[[3Dマップ Ver 4.0 :http://www.str.ce.akita-u.ac.jp/~got...
-使用したスクリプト：inference_heatmap3.py
ついでに1クリックで2Dと3Dを切り替えられるhtmlも作成した．...
-[[2D_3Dマップ :http://www.str.ce.akita-u.ac.jp/~gotouhan...
-使用したスクリプト：inference_heatmap4.py
今後は台形補正, ドローンで連続的に撮影した画像を1つの画像...
**7/28[#j0147rg0728]
近接画像は8cm四方のものを256px四方にリサイズしてそれを学...
一方で検証画像にヒートマップを描画する際は錆の大きさを気...
なので検証画像でも256pxが8cmになるよう台形補正を行なった...
-元画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-補正後画像（左上ピンク枠は256px四方_8cm四方のサイズを表...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**7/29[#j0147rg0729]
台形補正を行う際，画像によっては鋼材領域を長方形として選...
その場合は下記の3ステップで補正を行えるようにスクリプトを...
--ステップ1：輪郭指定
画像を用意して鋼材の外郭を左クリックで指定する．頂点はど...
（左から順に 元画像ー頂点をクリックする作業スペースー頂...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--ステップ2：最終補正用4頂点の選択
画面外まで視界を広げた作業スペースを用意し，算出した交点...
そして補正に使いたい4つの角を選択することで台形補正を行う．
（左から順に 延長線上の交点を表示した画像（緑点）ー最終...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--ステップ3：実寸法計測と正規化
指定した任意の2点間（下フランジ厚さ等）の実寸法を入力し，...
（左から順に 下フランジ厚を測定している画像ー補正後の画...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
補正後の画像は水平方向に圧縮されている感じが否めないため...
*8月[#j418c800]
**8/3[#j0147rg0803]
予測精度を向上させるためRustモデルの学習モデルと学習方法...
学習モデルはdensenet, inceptionresnetv2, xception の組み...
学習方法は保存枚数が少ない評点1と5における学習の重みを重...
**8/7[#j0147rg0807]
新CNNモデルでの学習も完了し，ヒートマップで評価してみたと...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**8/15[#j0147rg0815]
8/7に貼り付けた画像は不確実性の値そのものは最大で0.4程度...
数値と色の対応をかなり厳し目に設定していた．0.1辺りになら...
なので数値と色の関係を変えた結果と表を以下に貼り付ける．...
画像に関して垂直補剛材の部分がヒートマップ画像に暖色系で...
-数値と色の対応一覧 （更新版）
, 不確実性の値 (Utotal) , 表示される色 , モデルの状態・...
, 0.00 〜 0.12 , 濃い青 〜 青 , 極めて確信度が高い モデ...
, 0.12 〜 0.28 , シアン 〜 緑 , 十分信頼できる 軽微なノ...
, 0.28 〜 0.44 , 黄緑 〜 黄色 , やや迷いがある 腐食境界...
, 0.44 〜 0.64 , オレンジ 〜 赤 , 不確実性が高い モデル...
, 0.64 〜 0.80 以上 , エンジ色・赤紫 , 極めて不確実 モデ...
-画像 左から順にヒートマップ（透過），ヒートマップ（単体...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
*9月[#j418c900]
**9/9[#j0147rg0909]
台形と色補正をpixxisで行えるか検討
--STEP 1：鋼材面に対して一定の距離と平行を保ちながら、あ...
--STEP 2：斜めから撮影された写真に対して台形補正する。 複...
--STEP 3：生成された広範囲オルソ画像を、256×256ピクセル四...
**9/17[#j0147rg0909]
橋梁調査に行ってきた．得られた画像は来週以降に学習に組み...
--白子川橋 （調査○）
--関口こ道橋（調査○）
--三関こ線橋（調査×）
--戸沢川橋 （調査×）
--高松川橋 （調査×）
*10月[#j418c1000]
**10/5[#j0147rg1005]
去年作成した色補正スクリプトを修正した．大きな変更点は色...
-比較用検証画像
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-カラースケールを緑枠で囲んだ画像（上記の右側画像1種類の...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-カラースケール抽出画像（上記の右側画像1種類のみ表示）
--修正前の2枚と修正後の2枚
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-全体的に色補正した画像（この処理を行う前に上記のカラース...
--修正前の2枚と修正後の2枚
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
**10/14[#j0147rg1014]
9色のカラースケールをもとに色補正を行ってみた．各色のRGB...
, 色 , R値 , G値 , B値
, Blue , 0.16 , 0.19 , 0.69
, Cyan , 0.00 , 0.59 , 0.78
, Green , 0.14 , 0.65 , 0.21
, Yellow , 0.94 , 0.83 , 0.11
, Red , 0.86 , 0.14 , 0.15
, Magenta , 0.76 , 0.15 , 0.63
, White , 0.94 , 0.94 , 0.94
, 3/Color , 0.31 , 0.22 , 0.21
, Black , 0.13 , 0.13 , 0.13
今まではフレームについている4色のカラースケールで色補正を...
-5色で色補正方法
--1, カラースケールの抽出
---基本は自動抽出で行っているが，過信しすぎると一面白色の...
---抽出はまず赤, 黃, 緑, 青の4色を抽出または手動で領域選...
--2, 色情報の自動抽出
---入力画像を自動で長辺方向に5等分して各エリアのRGB平均値...
--3, 変換行列（CCM）の算出
---平均によって得られた実測値と目標値（理想の5色）を比較...
---各色ごとに個別の行列を作って変換するのではなく、5色の...
--4,成果物の保存
---行列データ（.npy）と比較検証用の理想の純色画像を自動生...
-9色での色補正方法
--基本的にロジックは5色の色補正方法と同じやり方で行ってい...
**10/15[#j0147rg1015]
2通りの方法で色補正を行ったので何枚か結果を貼り付ける．
-5色で色補正
--補正前
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--補正後
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
-9色で色補正
--補正前
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
--補正後
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
光の当て方はかなり重要だとわかった．9色補正は全体的に白く...
**10/19[#j0147rg1019]
補正時に明るさを変えてみたが1.1倍（少し明るくする）が一番...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
あと近接画像を新しい方法で色補正を行った結果，ボケが更に...
, 評点 , 学習枚数
, 1 , 6枚
, 2 , 69枚
, 3 , 96枚
, 4 , 93枚
, 5 , 51枚
, 合計枚数 , 315枚
**10/20[#j0147rg1020]
9月調査分を含めた近接画像を学習させた．水増し1枚あたり15...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
*10月[#j418c1000]
**10/21 [#j0147rg1021]
背景画像1005枚，近景画像198枚を学習させてみて画像内に橋梁...
背景画像と認識できていても鋼材領域の割合が20%前後出てしま...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
&ref(http://www.str.ce.akita-u.ac.jp/~gotouhan/j2026/mori...
, 画像名 , 橋梁らしさスコア（0.5以上で橋梁ありと認定 最大...
, 左1 , 0.0000 , 16.96% , 背景
, 左2 , 0.0000 , 33.22% , 背景
, 左3 , 0.0000 , 24.09% , 背景
, 真ん中 , 0.0000 , 27.49% , 背景
, 右3 , 0.0001 , 15.83% , 背景
, 右2 , 0.0000 , 27.53% , 背景
, 右1 , 0.6665 , 46.53% , 橋梁
* 各種画像の追加・前処理と再学習方法[#j424c400]
-ファイル構成
project_root/
├── dataset/
│ ├── bg/
│ │ └── raw/ ← 背景画像
│ │ └── masks/ ← マスク画像（真っ黒）
│ │
│ ├── bridge/
│ │ └── raw/ ← 橋画像（セグメンテーション用）
│ │ └── masks/ ← マスク画像
│ │
│ └── rust/
│ └── raw/ ← 錆画像（回帰用）
│
├── models/ ← CNNモデルが保存
├── results/ ← 結果が出力
--① 背景画像を追加して学習する手順
--- 1. 画像配置： "dataset/bg/raw/"に画像を入れる
--- 2. 学習実行：train_all4.pyを実行し、メニューから "4) ...
--② 近景画像からマスク画像を作成して学習
--- 1. 画像配置 "dataset/bridge/raw/"に画像を入れる
--- 2. マスク作成：手動or自動を選択可能だが、現状はデータ...
--- 3. 学習実行：train_all4.pyを実行し、メニューから "2) ...
--③ 近接画像を追加して学習する手順
--- 1. 画像配置： "dataset/rust/raw/"に画像を入れる
--- 2. 学習実行：train_all4.pyを実行し、メニューから "3) ...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
