卒論†

↑

4月†

↑

4月第4週(4/23〜4/30) 手書き数字の判別†

卒論テーマが決まった。

耐候性鋼橋の耐候性鋼材の錆の現地調査(今年度から)（日本鉄鋼連盟、土木研究センター、東北の大学や高専の土木構造系研究室の共同研究）に参加しながら、撮影データに対して機械学習(AI)を用いた外観評価を行う。最終的にドローンで撮影した耐候性鋼橋の画像データに対して外観評点を行う方法も検討する(特定の距離や照明で撮影するといった制御ができるか)。

20250424-1.png

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/20250424-2.png　→　http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/20250424-3.png

20250425-1.png

この写真の場合 "mk1_pgm"等が入っている１番左にある "250_300_edge" フォルダーと１番右にある "svm-kaizou.py" が同じ階層にある。

---変換行列ファイルはかなり細かい値まで書かれているためなぜそのような値に設定したのか一度聞いてみる必要がありそう
---各RGB値を入力するにあたりなにか根拠となるものがあるはず(ppm画像とか) → 探しておく必要がある
手順実行内容
1画像を入力する（ピクセルで）
2畳み込み層で画像の特徴を検出する
3プーリング層で重要な情報を抽出する
42と3を繰り返す
5全結合層で画像の特徴をもとに分類を行う
6出力する
比較項目SVMCNN
モデルすでに用意された特徴（数値）をもとにクラス分けする数式モデル画像の中から特徴を自動で学習して分類まで行うニューラルネットワーク
入力数値データ (特徴量ベクトル) → 画像を数値に変換する必要あり生の画像そのまま（ピクセルデータ）
特徴の抽出方法手動（人があらかじめ決めた特徴）自動（エッジ・色・形などを学習）
モデル構造数学的な式（境界面）多層のニューラルネットワーク
適用例小規模なデータで分類（例：文字分類、小さな画像）大規模な画像分類・認識（例：顔認識、医療画像、サビ分類など）
学習の難易度比較的簡単（実装も軽い）やや難しい（GPUや深層学習の知識が必要）
処理速度小規模なら早い訓練に時間がかかる（推論は速い）
↑

5月†

↑

5月第1週(5/1〜5/7)†

学習方法テストデータ正答率(%)判別精度(%)
そのままの状態で画像を学習99.1444 (4/9)
画像を回転・移動・拡大・変形させて学習98.4967 (6/9)
数字モデル数正答率
033/3
155/5
266/6
366/6
422/2
5109/10
621/2
732/3
821/2
9139/13

本来は各数字のモデル数が揃っていることが望ましいが、こちらの諸事情により用意することができなかった。モデル数が 2 や 3 としかない部分は正確さに欠ける所があるが、1 ~ 3 はかなり正確性があると言って良いのではないか。特に 9 は 7 と間違えて識別するケースが多く見受けられた。

↑

5月第2週(5/8〜5/14)†

0_0.png　ー画像加工→ modified_0_0.png

5_0.png　ー画像加工→ modified_5_0.png

7_2.png　ー画像加工→ modified_7_2.png

Pythonコード (Gazou-Kakou.py)

0_100.png 5_100.png 7_100.png

数字正答率
010/10
110/10
210/10
310/10
410/10
510/10
610/10
710/10
810/10
910/10

0_101.png 5_101.png 7_101.png 0-8.png 5-8.png 7-2.png 0_201.png 5_201.png 7_201.png

数字点 正答率線 正答率図形 正答率(リスタート前)図形 正答率(リスタート後)
010/109/108/1010/10
110/104/105/106/10
210/109/108/1010/10
310/107/109/1010/10
410/109/108/108/10
510/109/1010/1010/10
68/103/101/103/10
710/107/107/108/10
810/1010/1010/1010/10
910/107/107/106/10

aikon.png

6_201.png 9_201.png

Pythonスクリプト (Hanbetsu-Full_auto.py)
Pythonスクリプト (Mnist-Hanbetsu-Full_auto.py)

0_100.png 5_100.png 7_100.png

Pythonスクリプト (Mnist-Hanbetsu-Full_auto2.py)
数字正答率正解率-正答率--正解率---正答率----正解率--
015/15100.00%15/15100.00%15/15100.00%
115/1693.75%15/1693.75%16/16100.00%
215/1693.75%16/16100.00%15/1693.75%
316/16100.00%16/16100.00%16/16100.00%
415/1693.75%15/1693.75%15/1693.75%
515/1693.75%15/1693.75%15/1693.75%
612/1675.00%6/1637.50%8/1650.00%
715/1693.75%14/1687.50%16/16100.00%
816/16100.00%15/1693.75%15/1693.75%
915/1693.75%16/16100.00%15/1693.75%

0_0.png 5_0.png 7_2.png

20250513-1.png

Pythonスクリプト (Hanbetsu-Full_auto3.py)

noised_1_0.png noised_4_0.png noised_9_0.png　→　 noised_1_1.png noised_4_1.png noised_9_1.png

数字正答率正解率正答率正解率正答率正解率
020/20100.00%20/20100.00%20/20100.00%
120/20100.00%19/2095.00%19/2095.00%
220/20100.00%20/20100.00%19/2095.00%
320/20100.00%20/20100.00%20/20100.00%
420/20100.00%20/20100.00%20/20100.00%
520/20100.00%19/2095.00%19/2095.00%
620/20100.00%20/20100.00%20/20100.00%
719/2095.00%19/2095.00%20/20100.00%
820/20100.00%20/20100.00%20/20100.00%
920/20100.00%19/2095.00%20/20100.00%

Figure_1.png Figure_2.png Figure_4.png

自身の研究内容について

研究テーマ : 耐候性鋼橋の耐候性鋼材の錆の現地調査に参加しながら、撮影データに対して機械学習(AI)を用いた外観評価を行う。最終的にドローンで撮影した耐候性鋼橋の画像データに対して外観評点を行う方法も検討する

About his own research Research theme : While participating in a field survey of rust on weathering steel materials of weather-resistant steel bridges, he will evaluate the appearance using machine learning (AI) on the photographed data. Finally, a method to evaluate the appearance of weather-resistant steel bridges using image data taken by a drone will also be studied.

耐候性鋼材の錆の調査は来週の水曜日に行く予定であり、この研究に関しては錆のデータをもらわないと何もすることができないので現在は錆の画像をAIで外観評価する前段階として0~9までの手書き数字(mnist)をCNNを用いて学習させ、正確に判別できるかどうかを行っている。

The investigation of rust on weather resistant steel is scheduled to go next Wednesday, and since we cannot do anything about this research without receiving rust data, we are currently learning handwritten numbers (mnist) from 0 to 9 using CNN as a preliminary step to evaluate the appearance of rust images using AI to see if we can accurately identify the rust. We are now trying to see if it is possible to accurately discriminate the rust images.

1, 画像処理を加えてCNNで学習させたもの

1, The images of mnist, a data set containing nearly 60,000 handwritten digit images, were trained by CNN, and the correct answer rate was obtained by adding points, lines, circles, hexagons, and other shapes to the image to be discriminated.

使用したデータ Data used(example)　Slide7.png

数字正答率正解率
numbercorrect response ratecorrect response rate
09/99/9
18/91/9
29/96/9
39/96/9
49/90/9
59/95/9
65/92/9
78/94/9
86/96/9
96/90/9

2, 判別したい画像を以下のように変更し 判別する画像の加工, 判別の正誤をテキストファイルに保存するまでを1つのスクリプトにまとめた。

2, Change the image to be discriminated as follows, process the image to be discriminated, and save the correct and incorrect discriminions to a text file, all in one script.

数字正答率正解率
numbercorrect response ratecorrect response rate
010/10100.00%
10/100.00%
210/10100.00%
310/10100.00%
46/1060.00%
510/10100.00%
60/100.00%
710/10100.00%
810/10100.00%
910/10100.00%

3, 2で用いたスクリプトはmnistをCNNで用いて学習させる機能を持っていなかった。そのため2のスクリプトにmnistをCNNで用いて学習させるスクリプトを追加した。それに加えて判別の正誤だけでなく数字別の正答率も出すようにした。

3, The script used in 2, did not have the ability to train mnist with CNN. Therefore, we added a script for training mnist using CNN to the script used in 2. In addition, we added the ability to produce not only the correctness of the discriminant but also the percentage of correct answers for each number.

数字正答率正解率
numbercorrect answer ratecorrect answer rate
10/100.00%
28/1080.00%
310/10100.00%
48/1080.00%
510/10100.00%
61/1010.00%
710/10100.00%
810/10100.00%
910/10100.00%

4, 判別したい画像に加工処理を施すだけでは正答率を100%に近づけるのに限界があると考え、学習データにも加工処理を施した。(mnistの画像にも点や直線, 円や六角形等の図形を加えた)

4, Since there is a limit to achieving a correct response rate close to 100% only by processing the images to be discriminated, we also processed the training data. (Points, lines, circles, hexagons, and other shapes were added to the mnist images.)

数字正答率正解率
numbercorrect answer ratecorrect answer rate
015/15100.00%
115/1693.75%
215/1693.75%
316/16100.00%
415/1693.75%
515/1693.75%
612/1675.00%
715/1693.75%
816/16100.00%
915/1693.75%

Data used in 2-4 (example)

0_100.png 5_100.png 7_100.png

5, 判別したい画像をmnistから抽出したデータに変更した。2~4で使っていた数字の画像と比較して精度に差が出るのか試してみたところmnistから抽出したもののほうが精度が高かったためこちらを使うことにした。

5, The image to be discriminated was changed to the data extracted from mnist, and the accuracy of the image extracted from mnist was higher than that of the image used in steps 2~4.

数字正答率正解率
numbercorrect answer ratecorrect answer rate
020/20100.00%
120/20100.00%
220/20100.00%
320/20100.00%
420/20100.00%
520/20100.00%
620/20100.00%
720/20100.00%
820/20100.00%
918/2090.00%

Data used(example)

0_0.png 5_0.png 7_2.png

6, 数字の書いてある部分(画像の中心部分)になるべく白い点を入れないようにした

6, I tried to avoid white dots in the numbered area (center of the image) as much as possible.

数字正答率正解率
numbercorrect answer ratecorrect answer rate
020/20100.00%
120/20100.00%
220/20100.00%
320/20100.00%
420/20100.00%
520/20100.00%
620/20100.00%
719/2095.00%
820/20100.00%
920/20100.00%

Data used(example)

noised_1_0.png noised_9_0.png　→　 noised_1_1.png noised_9_1.png

↑

5月第3週(5/15〜21) 物体分類判別†

これら全てを取り込んだのが以下の Ver5.0 = Mnist-Hanbetsu-Full_auto5.py である。

Pythonコード (Mnist-Hanbetsu-Full_auto5.py)
数字正答率正解率正答率正解率正答率正解率
019/2095.00%19/2095.00%18/2090.00%
18/2040.00%19/2095.00%6/2030.00%
219/2095.00%19/2095.00%19/2095.00%
320/20100.00%18/2090.00%19/2095.00%
418/2090.00%18/2090.00%20/20100.00%
519/2095.00%18/2090.00%20/20100.00%
620/20100.00%20/2095.00%20/20100.00%
718/2090.00%15/2075.00%19/2095.00%
817/2085.00%20/20100.00%17/2085.00%
918/2090.00%19/2095.00%18/2090.00%

Mnist-Hanbetsu-Full_auto4.py を実行したときと比較して明らかに判別精度が落ちてしまっている。しかし下に示した混同行列をみると訓練モデルは正確に判別できている。(左側1枚がVer4.0のとき 右側3枚がVer5.0)

Ver4.0.png Ver5.0.png Ver5.0_2.png Ver5.0_4.png

下記の内容が判別精度低下の主な原因ではないかと考えている。

以下は全5バージョンのMnist-Hanbetsu-Full_autoを実行したときの判別率である。左から順にVer1.0(Mnist-Hanbetsu-Full_auto.py), Ver2.0(Mnist-Hanbetsu-Full_auto2.py), ... ,Ver5.0(Mnist-Hanbetsu-Full_auto5.py)と並んでいる。

Ver1.0.png Ver2.0.png Ver3.0.png Ver4.0_1.png Ver5.0_1.png

以上より手書き数字の画像判別はあまり要素を盛り込みすぎることなく判別させることが重要であるのではないか。 (Ver4.0が数字の画像判別に1番適していると考える)

物体分類の判別

00.png 01.png

左側がエポック数20, 右側がエポック数50としたがあまり精度は向上しなかった。

とりあえず

タグ正答率
airplane90.00 %
automobile100.00 %
bird85.00 %
cat80.00 %
deer95.00 %
dog55.00 %
frog95.00 %
horse100.00 %
ship100.00 %
truck95.00 %
Pythonコード① (Animal.py)
Pythonコード② (Yobidashi.py)
Pythonコード③ (Buttai-Bunrui.py)

目標に向けて大まかなステップ

目標を達成するために

より高精度・運用向けの改善アイデア

↑

5月第4週(5/22〜5/28) 錆画像判別†

評価項目判別率(学習回数1回)判別率(学習回数60回)
airplane74.20%86.80%
automobile77.90%83.40%
bird43.00%80.00%
cat55.10%62.80%
deer67.60%85.30%
dog45.90%76.90%
frog66.40%89.40%
horse74.90%88.80%
ship76.00%92.50%
truck78.70%92.00%
平均65.97%83.79%

自作したスクリプトが正常に動作するかどうかを調べたかったため、学習させる層を1層として実行させた。問題なく実行できた後は学習回数を60回にしてみてどのくらい精度が変化するのか見た。全10項目において判別精度は平均して凡そ18ポイント上昇したが、特に bird, cat, dog はもう少し精度を上げることはできないだろうか。また21日の午後は耐候性鋼材の講習会に参加した。

学習させたデータをもとに cifar10 上にあるテスト用画像を各項目100枚ずつ無作為に抽出してどのくらいの精度が得られるか検証した。以下はエポック数(= 学習回数)を変えながら行った項目ごとの判別率と判別に用いた画像である(抜粋)。

1.png 2.png 3.png 4.png 5.png 6.png 7.png 8.png 9.png 10.png

評価項目判別率(学習回数1回)判別率(学習回数10回)判別率(学習回数30回)判別率(学習回数60回)
airplane73.00 %100.00 %100.00 %88.20 %
automobile84.00 %100.00 %100.00 %74.50 %
bird53.00 %100.00 %100.00 %76.50 %
cat68.10 %100.00 %100.00 %58.90 %
deer71.60 %100.00 %100.00 %86.70 %
dog44.00 %100.00 %99.00 %75.80 %
frog69.00 %100.00 %100.00 %91.10 %
horse79.00 %100.00 %100.00 %90.10 %
ship83.00 %100.00 %100.00 %93.40 %
truck89.70 %100.00 %100.00 %91.10 %
平均71.30%100.00 %99.90%82.63 %

5/23現在エポック数を60にして判別した結果は記載していないが、エポック数が10でもかなり良い精度が出ているのでこれから学習をさせるには10とか12で良さそう。

錆の一例

1.jpg 2.jpg

過去の先輩が残してくださったセロハン試験の画像データがあったので、400ピクセル四方に切り取って学習させてみる。 以下の画像はUMAPという高次元データを低次元空間に圧縮し、データの構造や関係性を可視化するために用いられる次元削減手法を用いて錆の画像にパターンがあるかどうかを示したものである。

20250527-1.png

この図から分かること

UMAPは錆の画像に評点をつけてから使うこととする。評点をつけ終えたらクラスタ別にフォルダーを作成してどのような分布になっているのかを確かめる。

5/29 やること

↑

6月†

↑

6月第1週(5/29〜6/4)†

昨日UMAPによって分類された錆の画像からグループ毎に10枚 合計50枚の画像に評点を書き加えた。判断方法は画像と錆の見本写真・サンプルを見比べたため正確にできているかどうか怪しいが、とりあえず作成したスクリプトが実行されるかどうかを試したいため正確さは後回し。評点ごとの枚数は以下の通り

評点枚数
16枚
212枚
315枚
49枚
58枚

1.png

2.png

3.png 4.png

評点付きの錆画像データを見つけたのでこれをUMAPを用いて分類した結果を以下に示す。

1.png

2方向のUMAPはそれぞれ何を基に分類を行っているか確認してみた。以下の画像群はUMAPと aspect_ratio, sobel_x, sobel_y, orientation_std, num_blobs, roughness との間に相関関係があるかどうかを表したものである。左側がUMAP1, 右側がUMAP2となっている。

11.png 21.png

12.png 22.png

13.png 23.png

14.png 24.png

15.png 25.png

16.png 26.png

このことから、UMAPプロット上で：

といった分布傾向が読み取れる。

1回の学習ごとに手動で評点を入力してはの繰り返しだと終わりが見えない＆精度を上げるのに限界を感じたため別のアプローチで判別することを試みた。

評点付きの錆画像は何枚か同じ画像が存在したため重複していたものを削除したら全74枚あった錆画像が24枚(評点1から順番に 3 , 7 , 6 , 6 , 2枚)となってしまった。この枚数で機械学習させるには無理があるため、評点付きの錆画像に様々な処理を加えることで機械学習させる画像の枚数を増やしていくことにした。以下に具体的な処理とその内容について表形式で示しておく。

処理内容
画像の反転ただ画像を鏡写しにするだけ
画像の回転ランダムで ±10°～±30°、±90°、±180°のいずれかを行なう
類似画像の削除画像処理分野で画像の類似度を数値化する際に用いられるSSIMを使用
MMLI (=More Machine Learning Images).py … 既存の画像を反転・回転等で学習させる画像枚数を増やすスクリプトのこと。
Hyoutenhuriwake+UMAP2.py … ラベル付きの画像を学習させた結果をもとに画像の評点をつける。 あとUMAP画像の表示

上記のPythonスクリプトを実行させると24枚しかなかった画像を970枚近くまで増やすことができた。(SSIM=0.99のとき)このデータをUMAPを用いてグループ分けすると以下のようになった。

20250604-1.png

以前よりもクラスタリング精度が向上したのではないか。

↑

6月第2週(6/5〜6/11)†

Main.py ーー軽量化ー＞ Main2.py

3パターンのCNNは以下の通り

# === CNN構造定義（バリエーションを3通り用意） ===
def create_model(version):
    model = models.Sequential()                                                  # 順次積み重ねるタイプのモデル（Sequential）を作成。
    model.add(layers.Input(shape=(*IMAGE_SIZE, 3)))                              #入力層を定義。IMAGE_SIZE = (64, 64) なら、入力は 64x64x3 のカラー画像（RGB）。

    if version == 0: (パターン1)
        model.add(layers.Conv2D(64, (3,3), activation='relu'))                   #64個の3×3フィルターで特徴抽出。ReLUで非線形性を付加。
        model.add(layers.BatchNormalization())                                   #出力を正規化し、学習の安定化と高速化を図る。
        model.add(layers.Conv2D(64, (3,3), activation='relu'))                   #さらに抽出を深める。
        model.add(layers.MaxPooling2D((2,2)))                                    #空間サイズを半分に圧縮（特徴量の要約＋計算コスト削減）
        model.add(layers.Dropout(0.3))                                           #学習時にランダムに30%のノードを無効化（過学習防止）
        model.add(layers.Conv2D(128, (3,3), activation='relu'))
        model.add(layers.BatchNormalization())
        model.add(layers.Conv2D(128, (3,3), activation='relu'))                  #フィルター数を128に増やして、抽出する特徴の数を増加 （サイズは減っているが、意味的に濃い特徴を取る）
    elif version == 1: (パターン2)
        model.add(layers.Conv2D(64, (5,5), activation='relu'))                   #5×5の大きめフィルターで広い範囲の特徴を捉える
        model.add(layers.BatchNormalization())
        model.add(layers.MaxPooling2D((2,2)))
        model.add(layers.Dropout(0.3))                                           #正規化 → 縮小 → Dropout（典型的な畳み込みブロック）
        model.add(layers.Conv2D(128, (3,3), activation='relu'))
        model.add(layers.BatchNormalization())
        model.add(layers.Conv2D(128, (3,3), activation='relu'))
        model.add(layers.MaxPooling2D((2,2)))
        model.add(layers.Dropout(0.3))                                           #より深い特徴を抽出し、再び圧縮。Dropoutを通して過学習に強い深層CNNに。
    elif version == 2: (パターン3)
        model.add(layers.Conv2D(64, (3,3), activation='relu'))
        model.add(layers.Conv2D(64, (3,3), activation='relu'))                   #同じフィルター数で畳み込みを2回繰り返すことで、非線形表現力を高める
        model.add(layers.BatchNormalization())
        model.add(layers.MaxPooling2D((2,2)))
        model.add(layers.Dropout(0.3))                                           #出力を安定させて縮小し、汎化能力を保つ。
        model.add(layers.Conv2D(128, (3,3), activation='relu'))
        model.add(layers.Conv2D(128, (3,3), activation='relu'))
        model.add(layers.BatchNormalization())                                   #より抽象度の高い情報を取り出す2段構成。

    model.add(layers.GlobalAveragePooling2D())                                   #各チャンネルの特徴マップを平均化して、全結合層の前処理を簡潔に行う。Flattenより軽量。
    model.add(layers.Dense(128, activation='relu'))                              #最終的な判断のための全結合層
    model.add(layers.Dropout(0.5))                                               #強めのDropoutで過学習防止
    model.add(layers.Dense(NUM_CLASSES, activation='softmax'))                   #クラス数（評点1〜5）に対応した出力層。確率で予測を出す。

    model.compile(optimizer='adam',                                              #Adam：最もよく使われる最適化手法
                  loss='sparse_categorical_crossentropy',                        #sparse_categorical_crossentropy：ラベルが数値 (0〜4) のときの多クラス分類用損失関数
                  metrics=['accuracy'])                                          #accuracy：精度（正答率）を指標として追跡

    return model

1.jpg 2.jpg 3.jpg 4.jpg 5.jpg 6.jpg

従来はラベルの付いた画像をそのまま学習させていたが、判別が上手く行かないため何か特徴量で分類したほうが良いのではないかと考えた。

RSRC.py (rust_score_regression_cluster.py)

→ 錆画像にラベルをつける際に判断材料となるであろう錆の粒径, 色の濃さ, 錆が画像に占める割合, 錆の数, 画像内にある1番大きな錆と1番小さな錆の面積差の計5つの項目について、ある特徴量(前に示した5つの判断材料とは異なる)によって5グループに分けられたクラスタ（縦軸）と、実際の評点（横軸）との対応関係を可視化するスクリプト。以下に結果(各クラスタは評点1~5の画像でそれぞれどのくらい構成されているか)を示す。

1.png 2.png 3.png 4.png 5.png

以上よりクラスタ2のように明確に分類できているものもあったが全体的に見ると少数派で、クラスタが様々な評点で構成されている方が多くやはり錆に現れる特徴でラベル分けを行なうのは現時点で難しいことが分かった。正確かつ膨大なデータ数があれば別だと思うが。

rating_cnntrainer.py

上記のスクリプトで処理していることについて

項目説明
画像入力CNNで64×64の画像から特徴を抽出
数値特徴量入力.npyファイルから読み込まれた錆特徴量（以下の表に記載）
ハイブリッド構造CNN特徴と手作り特徴を Concatenateで融合
モデルバージョン3種類のCNN構造を用意したアンサンブル 学習
予測3モデルの出力平均で最終スコアを判定 1〜5の評点に分類して保存
錆特徴量名内容説明特徴量例
rust_ratio錆の占有面積（全体に対する割合）平均輝度、標準偏差、2値化による錆割合
num_blobs錆のかたまり数（connected components）形状（個数）
np.mean(gray)グレースケールの平均（明るさ）GLCM（テクスチャ） コントラスト・相関・エネルギー・同質性
np.std(gray)グレースケールの標準偏差（濃淡の変動）GLCM（テクスチャ） コントラスト・相関・エネルギー・同質性
np.mean(sobel_edges)エッジ強度（輪郭の激しさ）Sobelエッジの平均
area_diff最大面積 - 最小面積の錆領域の差形状（面積差）

ラベル付き画像 (947枚) を学習させてラベルを付けていない画像(665枚)を分類させた結果 Score1から順に10, 73, 538, 1, 43枚となった。Score4はたった1枚しか保存されておらずしかもその1枚が評点1相当の殆ど錆の画像であった。 6.jpg

CNN+binning.py

今までのCNNは NUM_CLASSES(出力次元数 = 何クラスに分類するか) , softmax(確率的なベクトル出力をする際に用いられる関数) を用いて例えば錆の画像を評点1~5点で付けたい場合

model.add(Dense(5, activation='softmax'))　→　この場合NUM_CLASSES = 5

とスクリプトに入力すれば [0.1, 0.1, 0.7, 0.05, 0.05] のようなクラス(評点)ごとの確率(配列)で出力され、 argmax関数を用いてその配列の中で最大値のインデックスを返す。この配列の場合だと最大値は0.7になるので評点は3となる。このように錆画像の評点を1, 2, 3, 4, 5点と他クラスとの相対的な区別を学習するため人によって判断基準が異なる場合はこの分類方法はあまり適さない場合がある。一方でCNN回帰 + binningでは

model.add(Dense(1))

と入力すれば錆画像の評点は3.27点というように連続スカラー値で出力される。評点の決め方はラベル付きデータをCNNで学習し画像のパターン（色、濃淡、エッジ、形など）から点数を最適化。3.27という値は"学習データの中で、最も似ている例が3点と4点の中間"であることを意味する。これを binning 関数で1点刻みの評点に変換する。その変換方法は2.5点から3.5点の間に出力された数値は評点3というような感じで評点±0.5「評点のスケール」を意識して学習する。

回帰の場合

loss='mean_squared_error'

で予測値 3.27 とラベル 3.0 との差 0.27 を最小化し「正解と近いスコアなら許容」という発想になる。

def binning(score):
if score < 1.5: return 1
elif score < 2.5: return 2
elif score < 3.5: return 3
elif score < 4.5: return 4
else: return 5

学習時は回帰（MSE = 平均二乗誤差）で最適化されるが、推論後は binned 値に変換して accuracy_score (予測結果の正確さ) や confusion matrix (混同行列の可視化) を使って評価

from sklearn.metrics import accuracy_score, confusion_matrix
y_pred = model.predict(x_val).flatten()
y_binned = [binning(p) for p in y_pred]
acc = accuracy_score(y_val, y_binned)
       　　　   　　　      CNN Backbone
      　　　　　 ┌───────────┐
      　　　　　 │ Conv2D → Pool → ...│
       　　　　　└─────┬─────┘
       　　　　　　　　　    ▼
      　　　　　 ┌───────────┐
       　　　　　│ Flatten → Dense()   │
    　　　　　   └─────┬─────┘
             　　　　   　　 ▼
 　    　　分類モデル       　　 　 回帰モデル
     ┌─────────┐     　┌─────┐
     │ Dense(5, softmax)│   　  │ Dense(1) │
     └─────────┘       └─────┘
        　　　 ↓                 　　  ↓
             argmax           float値 → binning → int
↑

6月第3週(6/12〜6/18)†

これまでの結果から錆画像を識別するのはCNN回帰 + binning が精度の観点から1番可能性がありそうなので現段階ではこのモデルを軸に画像分類を進めていく。行き詰まってしまう, これよりももっと優れたモデルが見つかれば乗り換える可能性あり。

現時点(6/12現在)で使用している錆画像フォルダーとPythonスクリプト

　 　　　　　　　　　　　　　　　　　　　1.png　

回帰スコアから評点の分類を行っていた。スクリプトのデフォルトでは回帰スコア1.00〜1.50までを評点1, 1.51〜2.50までを評点2, 2.51〜3.50までを評点3, 3.51〜4.50までを評点4, 4.51〜5.00までを評点5としていたが、それでは上手いこと分類ができなかったので目視で錆画像を見ながら0.01点単位で評点の範囲を決めていた。その結果以下の表のように評点の分類を行なうこととした。またCNNの層を厚くしても精度は変わらないことが分かった。

評点回帰スコア
12.30点以下
22.31点以上3.00点以下
33.01点以上3.40点以下
43.41点以上3.64点以下
53.65点以上

以下回帰スコア別に保存された錆画像を貼っておく

CNN+binning.py内のアンサンブル学習についての変更点(CNN+binning3.pyについて)

def create_model(version):                                                                       #モデルを作成する関数の定義。引数 version によって使用するベースモデル（CNN）が変わる。
    input_img = Input(shape=(*IMAGE_SIZE, 3))                                                    #入力層の定義 IMAGE_SIZE は画像サイズ（例：224×224）を意味し、3 はRGB画像を意味する。
    if version == 0:  # EfficientNetV2S                                                          #version == 0 のとき軽量・高精度な EfficientNetV2S をベースに採用。
        base = EfficientNetV2S(include_top=False, weights="imagenet", input_tensor=input_img)    #include_top=False → 最終の分類層は除外。
                                                                                                 #weights="imagenet" → ImageNetで事前学習された重みを使用。
                                                                                                 #input_tensor=input_img → 上で定義した入力をモデルに接続。
   elif version == 1:                                                                            #version == 1 のとき DenseNet121 をベースに採用。
       base = DenseNet121(include_top=False, weights="imagenet", input_tensor=input_img)
   elif version == 2:                                                                            #version == 2 のとき MobileNetV3Large をベースに採用。
       base = MobileNetV3Large(include_top=False, weights="imagenet", input_tensor=input_img)
    base.trainable = False                                                                       #転移学習の初期段階ではベースモデルの重みを凍結（学習しない）。
    x = base.output                                                                              #ベースモデルの出力を取り出す（特徴マップ）。
    x = layers.GlobalAveragePooling2D()(x)                                                       #2次元の特徴マップから平均値を取って1次元に圧縮。Flattenより計算効率が良く過学習を起こしにくい。
    x = layers.Dense(512, activation='relu')(x)                                                  #512ユニットの全結合層。非線形変換（ReLU）で特徴を抽出。
    x = layers.BatchNormalization()(x)                                                           #バッチごとに入力を標準化し学習安定化（精度や速度向上）。
    x = layers.Dropout(0.5)(x)                                                                   #ニューロンを50%の確率で無効化し、過学習を防ぐ。
    x = layers.Dense(256, activation='relu')(x)                                                  #次の中間層  ユニット数を減らしながら段階的に抽象化しDropout率は少し下げている。
    x = layers.BatchNormalization()(x)
    x = layers.Dropout(0.3)(x)
    x = layers.Dense(128, activation='relu')(x)                                                  #より小さな次元にして最終出力に近づける。Dropoutは軽めにして出力を安定させる。
    x = layers.Dropout(0.2)(x)
    output = layers.Dense(1)(x)                                                                  #出力層：1つの連続値（回帰値）を出力し評点を推定する回帰タスクに対応。
    model = Model(inputs=input_img, outputs=output)                                              #全てをまとめて Keras の Model として定義。
    model.compile(optimizer='adam', loss=custom_penalizing_loss, metrics=['mae'])                #Adam最適化を使用（自動調整が得意）。
                                                                                                 #損失関数は custom_penalizing_loss（大きな誤差を強くペナルティ）。
                                                                                                 #評価指標として mae（平均絶対誤差） も計算。
    return model                                                                                 #構築したモデルを呼び出し元へ返す。

明日やること

↑

6月第4週(6/19〜6/25)†

CNN+binning2.py と CNN+binning3.py の比較

諸条件CNN+binning2.pyCNN+binning3.py
CNNモデル自作CNNモデル3パターンEfficientNetV2S、DenseNet121、MobileNetV3Large の3種類

上記の条件でそれぞれ学習させると評点ごとに保存された枚数は以下の表に示す。

評点が1, 2 の場合は判別に大きな差は見られなかったが、逆に評点3〜5は保存枚数に大きな差が見られCNN+binning2に関しては評点が3であろう錆画像が4や5に点在していたためスクリプトを改良する必要がありそうだ。CNN+binning3は評点5の画像が減ったものの評点3 ,4が混在してしまっている気がする。これらのグループは再度錆の大きさや面積に占める割合で判別するスクリプトを組み込む必要があるかもしれない。

CNN+binning3.pyに

を加えたところ回帰スコアが負の値や2桁になってしまったため、スコアの上振れ or 下振れするのを防ぐ目的で出力された回帰スコアにシグモイド関数をかけて0.00~5.00点以内になるよう調整した所スクリプトの構成が上手く行かない。(=エラーが頻発)　また上手くいったとしても回帰スコアが全て同じ値になる。これはシグモイド関数の傾きを緩やかにすれば解決する可能性あり。来週には実行できる状態にさせたい。

CNN+binning4.py にUMAPを画像で出力することに加えて評点も出力されるようにした。ただ評点はシグモイド関数でつけているため出力された評点とどう組み合わせていくかを考えている必要があり、現在模索中。

CNN+binning5.py

CNN+binning5.pyの内容

EfficientNetV2S / DenseNet121 / MobileNetV3Large の3つの深層学習モデルを活用したアンサンブル学習を実装し、出力は 回帰スコア（0～5.0）+ Sigmoid関数 + binning処理（1〜5点に丸める） により、評点分類を実現。

画像からのCNN出力に加え、以下の 数値特徴量（4種類）を自動抽出してモデルに結合した。CNNベクトルと数値特徴をConcatenate層で結合し、Dense層により回帰スコアを出力。

-錆面積割合（rust_ratio）
-粒径（平均・最大）
-Sobelエッジ量
-錆の個数

特徴量（粒径, Sobel量など）に基づき評点を補正するためのしきい値を自動探索。評価指標 (accuracy_score) を最大化するように調整。

今まではCNNで評点付き錆画像を学習させた後、判別させたい錆画像の回帰スコアを出力し評点を決めていた。

例) 錆画像の回帰スコアが3.45点であり、評点と回帰スコアの対応が上記に示した表の通りであったとすると錆画像の評点は4となる

例を読んで理解できただろうか。今回はこの判別方法を行った後に画像の錆の数, 大きさ, 面積割合の特徴量(自動的に最適値を探すようにしている)を読み取って最終的な評点を決めるスクリプトを付け加えた。さらにシグモイド関数 パラメータを組み込むことで回帰スコアが0.00〜5.00の間になるよう調節できる。

ただUMAPでの分類はそれなりであるものの評点ごとに保存されている画像の枚数を確認すると評点1から順に 121, 168, 129, 1, 246枚となっており特に評点1と4が極端な枚数になっている。保存されている枚数が極端であるということは評点の付き方または特徴量の付け方に問題があるということなので明日以降に確認してみる。

20250624-1.png

ちなみにUMAPの理想は同じ色の点が密集しているのが理想である。点が固まっているところに複数色混在しているのは良くない。

↑

6月第5週(6/26〜7/2)†

評点を1.0~5.0点の間に変換する方法として シグモイド関数, 線形変換, 活性化関数がある。

1, シグモイド関数（+スケーリング） シグモイド関数 sigmoid(x) = 1 / (1 + e^(-x)) は、出力を [0,1] の間に制限する関数であり、それに4を掛けて1を加えれば(スケーリング)評点を1.0~5.0点の間に変換できる。

・実装方法
output = Dense(1, activation='sigmoid')(x)             # → [0.0, 1.0]       (シグモイド変換)
output = Lambda(lambda z: 1.0 + 4.0 * z)(raw_output)   # → [1.0, 5.0]       (スケーリング)
※PCやバージョンによっては "Lambda" 関数がインストールされておらずエラーが出てしまう可能性がある。以下はLambdaを使わずに書いたスクリプト
SIGMOID_SCALE = 5.0  # 出力を0〜5にスケーリング
SIGMOID_K = 1                # 傾き係数（大きくするとS字が急）
SIGMOID_X0 = 0               # 切片（出力の中心）
--------------------------------------------------------------------------------------------------
output = layers.Dense(1)(x)
output = ScaledSigmoid(SIGMOID_SCALE, SIGMOID_K, SIGMOID_X0)(x)

メリットとして上記のスクリプトを組み込むだけで1.0~5.0点の間に変換が可能であること (ワンライナー) 、出力が滑らか・連続的であるため学習しやすい事が挙げられる。デメリットは非線形変換のため中央（関数の変曲点=評点3.0付近）に予測が集中しやすく極端なスコア（1点や5点）が出力されにくくなることで分布が歪む可能性がある。また出力分布のコントロールが難しい (傾きや切片を任意で設定できるようなスクリプトを組むのはいいが自身で最適な値を見つけることは困難) 。

2, 線形変換（+出力範囲制限） 出力層は線形のまま Dense(1) を用いて範囲外の値（~1.0, 5.0~）をあとから切り落とす方法。例えば負の値や5.0を超えるような点が出力されてしまった場合前者は1.0に後者は5.0に丸められる。

・実装方法
output = layers.Dense(1)(x)
output = layers.Lambda(lambda z: tf.clip_by_value(z, 1.0, 5.0))(output)

※Lambdaを実装しない場合(一例)
# === ClipLayer の定義 ===
@register_keras_serializable()
class ClipLayer(Layer):
    def __init__(self, min_val=1.0, max_val=5.0, **kwargs):
        super().__init__(**kwargs)
        self.min_val = min_val
        self.max_val = max_val

    def call(self, inputs):
        return tf.clip_by_value(inputs, self.min_val, self.max_val)

    def get_config(self):
        config = super().get_config()
        config.update({
            'min_val': self.min_val,
            'max_val': self.max_val
        })
        return config
---------------------------------------------------------------------------------------------------------
output = layers.Dense(1)(x)
output = ClipLayer()(output)

メリットとしてシグモイド関数と同様に実装が簡単であり、ネットワーク出力の自由度が高く極端なスコアにも対応しやすいうえ線形なので分布の偏りが出にくい。デメリットとして範囲外に出た値はclip_by_valueによって強制的に最小or最大点に丸められることで、例えばある錆画像を学習結果をもとに判別した結果6.0と出力されたとき5.0に丸められてしまう。しかし機械学習モデルの予測値と実際の正解値との誤差を数値化する損失関数は "5.0" で計算されるため、「6.0と5.0の差」の情報を勾配として受け取ることで学習が進まないことがある。範囲外に出た値は学習に使わないことも出来るが極端な錆画像を学習する場合はどうなるだろうか。

3, 活性化関数 [tanh(x)] （ + スケーリング） シグモイド関数と異なる箇所は用いる関数のみで、活性化関数 tanh(x) は、出力を [-1, 1] の間に制限する関数であり、それに2を掛けて3を加えれば(スケーリング)評点を1.0~5.0点の間に変換できる。

・実装方法
output =  Dense(1, activation='tanh')(x)               # → [-1.0, 1.0]      (シグモイド変換)
output =  Lambda(lambda z: 3.0 + 2.0 * z)(raw_output)  # → [1.0, 5.0]        (スケーリング)
※PCやバージョンによっては "Lambda" 関数がインストールされておらずエラーが出てしまう可能性がある。

メリットとして出力が中央（3.0）に対して対称でありシグモイド関数よりも中心から離れた値を出力しやすい（評点が1や5の場合でも分かりやすい）。デメリットとしてこれはシグモイドにも同じことが言えるがあまりにも極端すぎるものは出力の変化が鈍くなり学習が止まりやすい。

これらをまとめると

方法評点の保証出力の自由度実装難易度学習安定性おすすめ度
1. Sigmoid + スケーリング◎ 常に1～5△ 中央に寄る◎ 簡単◎ 高い4
2. Clipによる制限◯ 制限あり◎ 高い◎ 簡単△ 勾配停止あり2
3. Tanh + スケーリング◎ 常に1～5◯ 対称性あり◯ 普通◯ 中央寄り3
制限なし(今まで)× 保証なし◎ 最大自由度◎ 簡単× 不安定1

どれも課題があるもののその中で学習安定性を重視したいと考えてシグモイド関数で評点を出している。ただ線形変換で評点を出して1.0~5.0に収まらなかった画像は学習に使わないというスクリプトも実装してみて精度とかを見てみる。

これから5つのアンサンブル学習(計15のCNNモデル)で精度・時間の比較を行っていく。学習条件(学習させる層, 学習回数など)は統一してある スクリプト(binning+CNN6.py)参照。

画像から評点を出すまでの流れ

1. 前処理・画像とスコアの準備

2. モデル構築・学習

3. 評点の予測

4. モデル評価・可視化

結果

↑

7月†

↑

7月第1週(7/3〜7/9)†

5タイプのCNNモデルの結果

学習時間, 精度の面から元々行っていた CNN+binning3.py を改良して判別させたほうが良いという結論に至った。評点の変換についてこれからは評点に関数を掛けて1.0〜5.0点に全画像を収めるのではなくこの範囲に評点が収まらなかった画像は学習の対象外＆結果を出力・保存しないこととした。

来週までにやること

Pythonスクリプトに 絶対平均誤差 と 混同行列の可視化 を追加した。⇒ CNN+binning3-UMAP.py

絶対平均誤差 MAE は1枚毎に予測値と正解値のズレの大きさを表し、例えば3枚の錆画像A, B, Cがありそれぞれ評点が3点, 5点, 2点であったとする。ラベル付されていない画像を学習した結果をもとにA, B, Cに再度評点（予測・回帰スコア）を付けてそれぞれ2.8, 4.3, 4.0 だった場合誤差は0.2, 0.7, 2.0 となる。MAEは0.3以内に収まれば正確な部類に入るのだが今回のMAEはおよそ0.967であるため正確性に欠ける結果となってしまった。混同行列は判別精度をを可視化するために導入した。

CNN+binning3-UMAP.pyで学習させてみた

-項目--条件-
評点を付ける画像サイズ(Fuji2)334×334ピクセル
使用するCNNモデルEfficientNetV2S / DenseNet121 / MobileNetV3Large
全結合層6層
Dropout関数の実装あり
活性化関数なし（出力された予測・回帰スコアをbinningスコアに変換）
学習中に精度が良くならない状態が続いたら学習をやめるエポック数10回（10回学習して改善されない場合は終了）
エポック数（学習する最大の回数）50回

※binningスコアと予測・回帰スコアの違いについて

# === binning: 予測・回帰スコア → 評点1〜5 ===
def binning(score):
    if score < 2.00: return 1     #予測・回帰スコアが2.00点未満の場合は評点が1と出力
    elif score < 2.50: return 2   #予測・回帰スコアが2.00点以上2.50点未満の場合は評点が2と出力
    elif score < 3.00: return 3   #予測・回帰スコアが2.50点以上3.00点未満の場合は評点が3と出力
    elif score < 3.50: return 4   #予測・回帰スコアが3.00点以上3.50点未満の場合は評点が4と出力
    else: return 5                #予測・回帰スコアが3.50点以上の場合は評点が5と出力

上記の条件に当てはめると予測・回帰スコアは以下のように変換することが出来る

予測・回帰スコア→ binningスコア
1.96→ 1
2.23→ 2
2.86→ 3
3.48→ 4
4.01→ 5
例）📂 1_001.jpg → 回帰: 2.62 → 補正後: 2.52 → 評点: 2 | 錆割合: 0.253, 錆数: 375, 最大錆: 470
    📂 1_002.jpg → 回帰: 3.14 → 補正後: 3.14 → 評点: 3 | 錆割合: 0.145, 錆数: 807, 最大錆: 158
    📂 1_003.jpg → 回帰: 2.71 → 補正後: 2.71 → 評点: 3 | 錆割合: 0.237, 錆数: 611, 最大錆: 1188
    📂 1_004.jpg → 回帰: 3.37 → 補正後: 3.67 → 評点: 4 | 錆割合: 0.086, 錆数: 728, 最大錆: 106
    〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜　省略　〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
    📂 4_094.jpg → 回帰: 2.58 → 補正後: 2.48 → 評点: 2 | 錆割合: 0.253, 錆数: 410, 最大錆: 638
    〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜　省略　〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
    絶対平均誤差:0.11544688538164781（0.3を下回っていれば精度的に"良"）

1.png　⇒　 2.png

↑

7月第2週(7/10〜16)†

CNNによる回帰スコアに対して画像特徴量（錆割合、錆数、最大錆サイズなど）を加味することで、最終的な評点結果にどのような影響が現れるのかを検証した。そのために2種類のPythonスクリプト（CNN+binning4.py、CNN+binning5.py）を使い分けて比較を行った。ちなみに2つのスクリプトの違いは学習と判別に特徴量を入れているかどうかである。

以下に結果を示す

2.png

452.png 442.png

3.png

552.png 542.png

1.png

グラフの色学習に用いたpython評点算出の際に用いたpython特徴量
青CNN+binning4.pyCNN+binning5.py0.1783
朱CNN+binning4.pyCNN+binning4.py0.1756
緑CNN+binning5.pyCNN+binning5.py0.1496
黃CNN+binning5.pyCNN+binning4.py0.1510
↑

7月第3週(7/17〜23)†

↑

7月第4週(7/24〜30)†

binning5.pyには実装しなかった重回帰分析がメインとなる。今までは各特徴量（錆割合・面積比・錆の数）の大きさに応じて回帰スコアから点数を加減していたが、重回帰を入れることで .pkl ファイルと .csv ファイルから特徴量の重みを自動で最適化してもらうようにした。しかしMAEがCNN+binning5.pyより大きくなってしまっているため出来が良くないかそれともまだ改善の余地があるのだろうか。

回錆面積範囲錆数最大錆サイズMAE評点別画像分布（左側から順に評点1、2 …）
1定義しない定義しない定義しない0.12913-133-420-78-21
20.5以上：-0.4 0.35以上0.5未満：-0.15 0.1以下：+0.15800以上：+0.110000以上：-0.3 250未満：+0.10.13522-124-374-118-27
30.5以上：-0.4 0.35以上0.5未満：-0.15 0.05以下：+0.15550以下：+0.210000以上：-0.2 5000以上10000未満：-0.1 50以上150未満：+0.1　50未満：+0.20.13317-72-432-107-37
42と変化なし削除（定義しない）2と変化なし0.12722-126-406-85-26
50.5以上：-0.4 0.33以上0.5未満：-0.15 0.05以上0.1未満：+0.1 0.05未満：+0.2削除（定義しない）10000以上：-0.3 5000以上10000未満：-0.2 50以上200未満：+0.1 50未満：+0.20.12727-121-406-99-32
60.6以上：-0.5 0.45以上0.6未満：-0.3 0.25以上0.45未満：-0.1 0.05未満：+0.31000以上：-0.2 500以上1000未満：-0.1 100以下：+0.115000以上：-0.4 8000以上15000未満：-0.2 100以下：+0.20.12424-139-397-71-33
7（重回帰）ーーーーーーーーー0.12613-125-375-115-27

特徴量に応じて回帰スコアから加減点を行うことは、定義しないときと比較してMAEは小さくなっているものの正確性は僅か1%ほどしか変わらず必ずしも特徴量を考慮する必要性は無いように思える。結局は学習させる画像が少ないのかはたまたラベル付けが下手なのか色々要因は考えられそうだが、どちらかと言えばラベル付き画像が少ない方に原因があってほしい。とりあえずデータを４倍とかに増やして後日学習させたい。

データ数を増やすのはもう少し時間がかかりそう。重回帰で学習させてみたところ重回帰なしの場合と比較してMAEにそこまで違いが見られなかったので

を1つのスクリプトにまとめたものをこれから1周間で作成できればと思っている。現地調査で得られる錆画像の学習を考慮して重回帰を軸にスクリプト作成をこれからは行っていきそうだ。

↑

8月†

↑

8月第1週(7/31〜8/6)†

"大学"を Google Map で開く

機械学習についてはやはり学習元となるセロハン試験で採取されたラベル付き錆のモノクロ画像が絶対数足りないためこの新たなデータが待たれる。現在はラベル付き画像を約10,000枚に増やして学習をさせているがMAEは変化しない。

1.png

上記の画像（混同行列）は10,000枚近くあるラベル付きの画像の中から20%にあたる2,000枚弱をテスト用データとして残り80%の画像を3つの学習モデルで学習、その結果を .keras ファイルで保存して正確に判別できるかどうか試したものである。縦軸 True label が実際の評点　横軸の Predicted label が .keras ファイルをもとに予測した評点をそれぞれ表しており、左上から右下への対角線上が青くなっているほど正確に予測できたと言えるのだがご覧の通り対角線以外の部分が青くなっている。各評点ごとの判別率は評点1から順に 81%, 85%, 100%（に限りなく近い）, 34%, 84% となっており、特に評点4の精度が低くその原因として

結果

2.png

生成された画像が少ないが評点4の正答率が大幅に向上した。（58 / 185 → 57 / 58）他の評点においてもラベル付き画像を10枚に増やして学習を行うことにする。評点5は元々の画像が少ないので10枚にする必要はないかも

↑

8月第2週(8/7〜8/13)†

3.png

画像を水増ししすぎてしまったのか綺麗な対角線を描けなかった。上手く言ったときは1枚あたり60枚水増し、今回は1枚あたり3倍の約180枚水増し　過学習を引き起こしたことで思った結果が得られなかったのか明日検証してみる。

↑

8月第3, 4週(8/14〜8/27)†

モデルNo.水増し画像枚数水平・鉛直方向への移動学習回数バッチサイズ
150あり（水平・垂直ともに最大10％移動　他のモデルも同様）30回32枚
250なし30回32枚
350あり50回32枚
450なし50回32枚
550あり30回64枚
650なし30回64枚
750あり50回64枚
850なし50回64枚
9100あり30回32枚
10100なし30回32枚
11100あり50回32枚
12100なし50回32枚
13100あり30回64枚
14100なし30回64枚
15100あり50回64枚
16100なし50回64枚
17150あり30回32枚
18150なし30回32枚
19150あり50回32枚
20150なし50回32枚
21150あり30回64枚
22150なし30回64枚
23150あり50回64枚
24150なし50回64枚
条件内容条件
ランダム回転（画像を 最大 ±（記入された数字）° の範囲でランダム回転）最大±15°回転
画像を反転させるかON
画像の明るさ変更（明るさをA倍（暗く）〜B倍（明るく） の範囲でランダム変更）0.8〜1.2倍に設定
使用するCNNモデルEfficientNetV2S、DenseNet121、MobileNetV3Large
モデルNo.MAE
10.196729463582136
20.243831214856128
30.195313368524824
40.144703118168578
50.205965055494892
60.289931784357343
70.17892047945334
80.230305907920915
90.126362581399022
100.0984963168903273
110.132567102081922
120.0933165281402821
130.162534093126959
140.183336140306628
150.173845792789849
160.0904155796279713
170.108065831782867
180.095051087976313
190.104002416782639
200.0796793378534771
210.204868344141513
220.206347949407539
230.092119121267682
240.256283822351573

上記の結果より学習回数（の上限）は50回, 画像の水増し枚数は150枚/1枚あたりで学習を行ったほうがMAEは良くなることが分かった。一方で画像の加工についてだが移動に関しては動かさないほうがより良い結果に結びつくのではないかと推測し、バッチサイズの大きさはそこまで学習に影響を及ぼさない事が収穫か。次回は学習回数, バッチサイズを統一して1枚あたりの水増し枚数, 画像加工に関するパラメーターを弄りながらMAEの変化を見ていくことにする。

CNN+binning5-1.py
CNN+binning7.py

今までは画像の水増しと学習を別々に行っていた（始めにMMLI.pyなどでラベル付きの画像を水増しした後CNN+binning5.py等で学習をさせていた）が、CNN+binning5-1.pyより1つのモデルに対する画像生成・学習を一括で行えるようにした。またCNN+binning7.pyは5-1の拡張版のようなもので画像を拡張するにあたり回転の大きさ, 明るさ, 画像の水増し枚数等の要素や学習方法（学習回数, バッチサイズ）を任意で設定可能にした且つ全通りの学習を一度に行えるようになった。つまり学習が１回完了するごとにMAEや行列を確認する必要がなくなり複数の学習モデルを比較できるようになったわけである。

CNN+binning5-1.py で出力された .keras ファイル（MAEは0.07）を CNN+binning5.py に適応したところMAEが0.14になった。既存の .keras がある状態でラベル付き画像を学習することはないので根本的な原因は双方の学習方法にありそうだがどうだろうか。来週には調べられたらと思っている。

今現在の学習方法を以下に示す

1, オリジナル画像の読み込み
2, 画像をアスペクト比を維持しながらリサイズ・パディング
3, 回転・明るさ調整・シフトなどを加えた画像を複数枚生成してデータを水増し
4, 水増し済み画像の読み込んでラベル（スコア）を抽出
5, 学習用と検証用にそれぞれ総画像枚数 8：2 に分割
6, EfficientNetV2S / DenseNet121 / MobileNetV3Large の 3種類をベースにした回帰モデルを作成
7, モデル（ .keras ファイル）が保存済みなら再利用なければ学習して生成
8, 検証用データの結果をもとにMAE（平均絶対誤差）, 混同行列（binning で1〜5に丸めた結果を利用）, UMAP を保存
9, ラベルがついていない画像を読み込んで推論値（回帰スコア）を算出し、錆割合・錆の数・最大錆サイズ等の特徴量を抽出し予め設定しておいた補正値を加算
10, 各画像ごとの推論結果, MAE, データ数, タイムスタンプ等を csv ファイルとして保存

現在実装している補正関数は以下の通り　ペナルティ関数と補正関数の２種類が実装されている

@register_keras_serializable()
def custom_penalizing_loss(y_true, y_pred):　　　　　　　　　　#pred = prediction（予測）
    diff = tf.abs(y_true - y_pred)
    return tf.reduce_mean(tf.square(diff) * (1.0 + tf.pow(diff, 1.5)))

誤差（diff） = |y_true - y_pred| を二乗しつつ(1 + diff^1.5) で大きな誤差を強くペナルティする → 外れ値や大きな誤差を強く抑える

def adjust_score_by_features(score, rust_ratio, rust_count, max_blob_area):
    correction = 0.0　　　　　　#リセット
    # 錆面積割合
    if rust_ratio >= 0.60:
        correction -= 0.5
〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
    # 錆の数
    if rust_count >= 1000:
        correction -= 0.2
 〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
    # 最大錆サイズ
    if max_blob_area >= 15000:
 〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜〜
    return score + correction　　#補正前評点＋補正関数

錆割合・錆の数・最大錆サイズに基づいてスコアを ±0.1〜0.5 程度補正し、小さな錆 → 加点、大きな錆 → 減点というような感じで付けている。

現在使用しているモデル(CNN+binning7.py)と以前使用していたモデル(CNN+binning5.py)の各スコア・評点の比較（各特徴量はどちらも同じ値をとっていたため省略）　画像はどちらもランダムに15枚抽出した同じものを使用した。

1.png

3.png

2.png

↑

創造工房実習†

↑

4/18†

　創造工房実習でI型断面等の三角形分布や塑性状態がどういう応力分布になっているのかを確認するのを忘れていたのでここに書いておく。

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/1/tejun34.png

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/1/tejun35.png http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/1/tejun36.png

　上端

　・ーーーーーーーーーー

　｜　　　　　　　　　　ーーーーー

　・ーーーーーーーーー　　　　　　ーーーー｜

　下端　　　　　　　　ーーーーー　　　　　｜↓集中荷重位置　　　このように上端ー集中荷重位置の距離が下端よりも長いことから上端側のほうが直応力が大きい。

　　　　　　　　　　　　　　　　ーーーーー｜　　　　　　　　　　逆方向に面載荷をかければ下端側の直応力が大きくなるだろう。

↑

4/17†

↑

4/14†

↑

4/10†

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/kekka6.2N.png http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/kekka8.0N.png

経過時間↖たわみ(mm)↖応力(MPa)↗たわみ(mm)↗応力(MPa)
00000
10.00014033234.49250.00018423844.0832
20.00028066168.98290.00036839188.1643
30.000420986103.4710.000552457132.243
40.000561308137.9570.000736434176.318
50.000701624172.440.000923909220.147
60.000842636206.5060.00123269241.658
70.00101987237.230.002051244.44
80.00130101257.8080.00765896243.452
90.00191133268.4320.0109555241.582
100.00377436280.5330.0148525239.658
11ーー0.0191575237.724
12ーー0.0237442235.762
13ーー0.0285207233.804
14ーー0.0333983231.819
15ーー0.0383132229.768
16ーー0.043212227.625
↑

4/7†

↑

2/7†

春休みの課題

↑

12/20†

今日はviを用いて論文に画像を貼る方法について学んだ。

↑

12/13†

今日はviを用いた論文の書き方を学んだ。

･文頭に%をつけるとその行に書かれた文章は反映されない

･強制改行したい場合は"\\"を入力する

･更新→:!pdfplatexsibup2

○式を書く(書き方は編集画面から)

\( v=\frac{P\ell^{3}}{48EI}　+　\frac{P\ell}{4kGA} \)

\begin{eqnarray} v=\frac{P\ell^{3}}{48EI} + \frac{P\ell}{4kGA} \\ I=\int_{A}y^{2}dA \end{eqnarray}
↑

11/29†

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/sand.png

今回は鋼材で木材を挟んだサンドイッチ梁の解析を行い、縦軸に変位(mm), 横軸にボリューム数をとって上のグラフを作成した。 メッシュ長さの大小関係なく理論値と20%の誤差が生じ、これ以上メッシュ長さを短くしても理論値には近づくことがないと推測する。サンドイッチ梁は多分見たことがない以上イメージが湧かず誤差の推測をしようがないので実物にこの目で見て実験を行いたい。今回は鋼材で木材を挟んだサンドイッチ梁を解析したが、実用性を一旦置いて木材で鋼材を挟んだサンドイッチ梁の場合結果はどうなるのだろうか。

全員で作成した解析結果のグラフを下に示しておく

メッシュ長さ要素数先端変位(4隅の平均値)[mm]相対誤差(\( \frac{salome-手計算}{手計算} \))計算者
0.71554190.077226.943湊
0.81387340.077526.452湊
0.9829350.077426.614湊
1.1386710.076627.937森井
1.2320440.077027.273森井
1.3285990.076827.604森井
1.4239500.0764022.04米谷
1.5199980.0764122.03米谷
1.6194480.0771521.28米谷
1.7138010.0756722.79米谷
1.8126770.0773621.06沼野
1.9114640.0754623.00沼野
2106990.0740424.45沼野
335790.0841415.004國井
416280.0827916.37國井
510160.0830316.26國井
68390.0828816.26西澤
75540.0808718.28西澤
82850.0789819.20西澤
92610.0142185.49真庭
102320.0338065.51真庭
112080.0091390.68真庭
↑

11/22†

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/kadai1122.png

今回は単純異方性と等方性の解析を行い、縦軸に変位(mm), 横軸にボリューム数をとって上のグラフを作成した。異方性は上２つのグラフであるが、メッシュ長さを2以下で解析を行うと理論値(緑)と近しい値をとるようになる。一方で等方性の場合はメッシュ長さが5までなら理論値と似たような値をとる結果となった。前回まではメッシュを細かくするほど理論値に近づいたが異方性の場合はメッシュ長さを1.3にした時が理論値に一番近づき、等方性の場合は理論値と平行関係になってしまった。さらに長さを小さくして解析しても理論値には近づくことがないのではないか。

全員で作成した解析結果のグラフを下に示しておく

メッシュ長さ要素数変位(異方性)[mm]相対誤差-異方性(\( \frac{salome-手計算}{手計算} \))変位(等方性)[mm]相対誤差-等方性(\( \frac{salome-手計算}{手計算} \))計算者
0.71719960.50682.9930.43013.141湊
0.81615610.50692.9990.43003.116湊
0.9941850.50212.0710.43013.139湊
1.1479980.49570.8140.41221.056森井
1.2473430.49520.7120.43003.217森井
1.3421120.49410.4880.42983.169森井
1.4389600.49370.4070.42993.193森井
1.5150410.48451.4600.42983.179米谷
1.6160710.48491.3800.42983.157米谷
1.7129330.48451.4600.42993.182米谷
1.8129930.48321.730.42983.19沼野
1.9112350.47832.730.42953.10沼野
2114560.49821.320.42963.12沼野
325140.43694.870.42933.05國井
414610.43414.200.42933.05國井
54330.280332.70.42842.83國井
63560.42832.800.343717.5西澤
71020.42602.260.222546.6西澤
8930.42602.260.112373.0西澤
9810.221254.90.42552.13真庭
10840.205158.30.42471.95真庭
11740.226054.00.42461.91真庭
↑

11/15†

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/kadai1115.png

単純梁の解析結果から縦軸に変位(mm), 横軸にボリューム数をとって上のグラフを作成した。 前回と同じくメッシュの長さを長くすると接点変位は小さくなり、相対誤差は大きくなった。前回は√nに近い形のグラフが描けた一方で今回は歪な形のグラフができてしまった。変曲点はメッシュ数が小さい(1メッシュあたりの長さを長くした)方もといグラフ左側に偏っており、メッシュ長さを長くして解析を行うほど解析結果の信憑性は低くなるのではないか。他のPCと同じ解析を行った場合結果は一緒になるのだろうか?機会があればやってみたいものだ。

全員で作成した解析結果のグラフを下に示しておく

メッシュ長さ要素数先端変位(4隅の平均値)[mm]相対誤差(\( \frac{salome-手計算}{手計算} \))計算者
0.71719960.42602.207湊
0.81615610.42562.115湊
0.9941850.41690.0719湊
1.1479980.41221.067森井
1.2473430.41181.166森井
1.3421120.41131.289森井
1.4389600.41121.313森井
1.5150410.39784.516米谷
1.6160710.39994.002米谷
1.7129930.39714.687米谷
1.8122030.39644.85沼野
1.9112350.39425.38沼野
2114560.39914.20沼野
325140.214121.4國井
414610.3402818.4國井
54330.135467.8國井
63560.213548.8西澤
71020.1173.6西澤
8930.11273.0西澤
9810.112573.0真庭
10840.079480.9真庭
11740.129768.9真庭
↑

11/8†

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/kadai2.png

全員で行った解析の結果を縦軸に変位, 横軸にボリューム数をとってグラフを作成した。 メッシュの長さを長くすると接点変位は小さくなり、相対誤差は大きくなった。 一方でメッシュの長さを小さくするほど接点変位は断面二次モーメントで算出された6.67mmに近づいた。 メッシュ長さを0.5や0.3として解析を行えばもっと理論値に値が近づくのではないか。

全員で作成した解析結果のグラフを下に示しておく

メッシュ長さ要素数先端変位(4隅の平均値)[mm]相対誤差(\( \frac{salome-手計算}{手計算} \))計算者
0.71073806.472.96湊
0.8578216.443.62湊
0.9576986.433.73湊
1.1579806.443.57湊
1.2521236.413.90森井
1.3455496.344.98森井
1.4269516.325.31森井
1.5169046.256.32米谷
1.6142966.207.05米谷
1.7135966.216.81米谷
1.862995.7413.9沼野
1.960015.7314.1沼野
256175.6515.3沼野
323095.4817.8國井
46173.6245.6國井
54943.8542.3國井
65812.5162.4西澤
71331.4178.8西澤
8781.2980.7西澤
9721.28880.69真庭
10601.22681.62真庭
11651.23181.54真庭
↑

11/1†

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/abc.png

http://www.str.ce.akita-u.ac.jp/~gotouhan/j2024/morii/123.png

今日(11/1)はwikiにグラフの貼り付けとviとlinuxを使ってグラフの作成を行った

上のグラフは自身で作成したもの、下のグラフは過去の先輩方が作成したグラフの数値を拝借した。

先輩方が作成したグラフの数値を下に示しておく

メッシュの長さ要素数変位[mm]相対誤差計算者
0.71551920.0837890524615.365安藤
0.81388080.0838038649115.350安藤
0.9825870.08370707398115.45兼田
1.1386710.08420120760214.95兼田
1.2319290.08368815.466柴田
1.3286210.08366915.4857柴田
1.4288540.0836815.47佐藤
1.5200150.08405215.10佐藤
1.6194480.083540293815.62皆川
1.7138010.083435509815.72皆川
1.8125280.08373315.42永山
1.9117690.08392415.23永山
2106990.08407687655915.074辻
335790.0841456175315.004辻
416280.08279416.37服部
510160.08303318.89服部
68390.08288216.26梶原
75540.08087118.28梶原
82850.07999519.20工藤
92610.07898020.22工藤
102320.08191117.26佐々木
112080.07567623.56佐々木
↑

10/4†

今日は顔合わせをした

頑張りたい "いきものがかり"についた

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS