![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
2025年度の研究はこちら
近接画像においてLoRAを用いた画像生成が評点別に行えるようになった。 ただし256pxで出力している関係上、どうしても粗くなってしまうため256より大きいpxで出力することにする。 そうすることで画像の粗さが解消されるのでは。
背景・近景・近接の各画像を生成できるようになったので、実在画像と生成画像の比を変えてヒートマップ生成に変化が現れるかを見ていく。 学習枚数と条件の組み合わせは以下の通り。
| 実在画像 | 402枚 | ー | |
| パターン | 生成枚数 | 実在画像と生成画像の学習比 | 備考 |
| 01 | 172枚 | 7:3 | |
| 02 | 402枚 | 1:1 | うち172枚はパターン01と同じ画像を使用 |
| 実在画像 | 140枚 | ー | |
| パターン | 生成枚数 | 実在画像と生成画像の学習比 | 備考 |
| 11 | 60枚 | 7:3 | |
| 12 | 140枚 | 1:1 | うち60枚はパターン11と同じ画像を使用 |
| 実在画像 | 234枚（5段階評点合計） | ー | |
| パターン | 生成枚数 | 実在画像と生成画像の学習比 | 備考 |
| ① | 101枚（5段階評点合計） | 7:3 | 512pxで生成 ⇒ 256pxに圧縮 |
| ② | 234枚（5段階評点合計） | 1:1 | 512pxで生成 ⇒ 256pxに圧縮 |
| ③ | 101枚（5段階評点合計） | 7:3 | 1024pxで生成 ⇒ 256pxに圧縮 |
| ④ | 234枚（5段階評点合計） | 1:1 | 1024pxで生成 ⇒ 256pxに圧縮 |
近接画像は256pxで画像を生成すると画素が粗くなってしまうため、錆が持っている情報を256pxでも分かるように大きめに出力して圧縮することにした。
| パターン（背景_近景_近接） | 実在画像と生成画像の学習比 | 近接画像出力px |
| 01_11_① | 7:3 | 512px |
| 01_11_③ | 7:3 | 1024px |
| 02_12_② | 1:1 | 512px |
| 02_12_④ | 1:1 | 1024px |
| 色 | 数値 | 意味 |
| 🔵 青 | 低 | 不確実性低（＝信頼度高） |
| 🟢 緑 | 中 | そこそこ |
| 🔴 赤 | 高 | 不確実性高（＝信頼度低） |
ヒートマップ評価における改良を行った。 DenseNet121・InceptionResNetV2・Xception のアンサンブルで橋梁領域を抽出し、 錆評価には評点1〜5の順序性を考慮した学習 Ordinal Regression を導入した。 またMC Dropout による不確実性推定も導入した。 推論時には劣化ヒートマップepistemic uncertaintyとaleatoric uncertaintyを生成。 さらにGaussian Weighting によりパッチ境界ノイズを低減し、滑らかなヒートマップ生成を実現した。 現在は橋梁領域抽出・錆劣化推定・不確実性可視化までの処理を実装している。 ヒートマップの結果は手動の場合と自動の場合の両方を明日以降に載せる。
| 色 | 意味 |
| 🔵 青 | かなり自信あり |
| 🟢 緑 | 普通 |
| 🟡 黄 | 少し怪しい |
| 🔴 赤 | かなり迷っている |
| 色 | 意味 |
| 🔵 青 | 学習済み・自信あり |
| 🟢 緑 | 普通 |
| 🟡 黄 | やや未知 |
| 🔴 赤 | AI未学習・未知パターン |
| 色 | 意味 |
| 🔵 青 | 判定しやすい |
| 🟢 緑 | 普通 |
| 🟡 黄 | やや曖昧 |
| 🔴 赤 | 非常に曖昧 |
project_root/ ├── dataset/ │ ├── bg/ │ │ └── raw/ ← 背景画像 │ ├── bridge/ │ │ └── raw/ ← 橋画像（セグメンテーション用） │ └── rust/ │ └── raw/ ← 錆画像（回帰用） │ ├── masks/ ← bridge用マスク ├── models/ ← CNNモデルが保存 ├── results/ ← 結果が出力
