卒論テーマが決まった。
耐候性鋼橋の耐候性鋼材の錆の現地調査(今年度から)(日本鉄鋼連盟、土木研究センター、東北の大学や高専の土木構造系研究室の共同研究)に参加しながら、撮影データに対して機械学習(AI)を用いた外観評価を行う。最終的にドローンで撮影した耐候性鋼橋の画像データに対して外観評点を行う方法も検討する(特定の距離や照明で撮影するといった制御ができるか)。
--佐藤さんの卒論日誌をはじめ耐候性鋼材にまつわるウィキを読んで分からなかった部分をリストアップする。ただ何が分かっていないか分からない 来週のゼミ報告に向けてなにか目標をたてなければ
画像: ファイル名(.ppm) | クリック位置: (x座標, y座標), RGB値: (R(0~255), G(0~255), B(0~255),)と表示される。またフォルダーパスの入力をしたファイル内に4で保存したファイルが保存されている(今回はhome/kouzou/sato24/gr/data/1_ppm に RGBsyuturyoku0423 というの文書ファイルが保存されている)
--残りのPythonファイルについて使い方を学ぶ
この写真の場合 "mk1_pgm"等が入っている1番左にある "250_300_edge" フォルダーと1番右にある "svm-kaizou.py" が同じ階層にある。
---変換行列ファイルはかなり細かい値まで書かれているためなぜそのような値に設定したのか一度聞いてみる必要がありそう
このpythonファイルは henkan.py で必要になる変換行列ファイルを作り出すためのものであり、henkan.pyよりも先にやっておく必要がある。
---各RGB値を入力するにあたりなにか根拠となるものがあるはず(ppm画像とか) → 探しておく必要がある
Pythonコード
Pythonコード
Pythonコード
| 手順 | 実行内容 |
| 1 | 画像を入力する(ピクセルで) |
| 2 | 畳み込み層で画像の特徴を検出する |
| 3 | プーリング層で重要な情報を抽出する |
| 4 | 2と3を繰り返す |
| 5 | 全結合層で画像の特徴をもとに分類を行う |
| 6 | 出力する |
| 比較項目 | SVM | CNN |
| モデル | すでに用意された特徴(数値)をもとにクラス分けする数式モデル | 画像の中から特徴を自動で学習して分類まで行うニューラルネットワーク |
| 入力 | 数値データ (特徴量ベクトル) → 画像を数値に変換する必要あり | 生の画像そのまま(ピクセルデータ) |
| 特徴の抽出方法 | 手動(人があらかじめ決めた特徴) | 自動(エッジ・色・形などを学習) |
| モデル構造 | 数学的な式(境界面) | 多層のニューラルネットワーク |
| 適用例 | 小規模なデータで分類(例:文字分類、小さな画像) | 大規模な画像分類・認識(例:顔認識、医療画像、サビ分類など) |
| 学習の難易度 | 比較的簡単(実装も軽い) | やや難しい(GPUや深層学習の知識が必要) |
| 処理速度 | 小規模なら早い | 訓練に時間がかかる(推論は速い) |
| 学習方法 | テストデータ正答率(%) | 判別精度(%) |
| そのままの状態で画像を学習 | 99.14 | 44 (4/9) |
| 画像を回転・移動・拡大・変形させて学習 | 98.49 | 67 (6/9) |
| エポック数 | テストデータ正答率(%) | 判別精度(%) |
| 10 | 99.20 | 67 (6/9) |
| 12 | 99.13 | 56 (5/9) |
| 13 | 99.26 | 89 (8/9) |
| 14 | 99.19 | 89 (8/9) |
| 15 | 99.16 | 89 (8/9) |
| 16 | 99.08 | 89 (8/9) |
| エポック数 | テストデータ正答率(%) | 判別精度(%) |
| 10 | 95.47 | 56 (5/9) |
| 12 | 87.01 | 56 (5/9) |
| 13 | 90.55 | 56 (5/9) |
| 14 | 96.15 | 56 (5/9) |
| 15 | 86.66 | 56 (5/9) |
| 16 | 74.12 | 56 (5/9) |
| 数字 | モデル数 | 正答率 |
| 0 | 3 | 3/3 |
| 1 | 5 | 5/5 |
| 2 | 6 | 6/6 |
| 3 | 6 | 6/6 |
| 4 | 2 | 2/2 |
| 5 | 10 | 9/10 |
| 6 | 2 | 1/2 |
| 7 | 3 | 2/3 |
| 8 | 2 | 1/2 |
| 9 | 13 | 9/13 |
本来は各数字のモデル数が揃っていることが望ましいが、こちらの諸事情により用意することができなかった。モデル数が 2 や 3 としかない部分は正確さに欠ける所があるが、1 ~ 3 はかなり正確性があると言って良いのではないか。特に 9 は 7 と間違えて識別するケースが多く見受けられた。
Pythonコード (Gazou-Kakou.py)
| 数字 | 正答率 | 正答率 |
| 0 | 9/9 | 9/9 |
| 1 | 8/9 | 1/9 |
| 2 | 9/9 | 6/9 |
| 3 | 9/9 | 6/9 |
| 4 | 9/9 | 0/9 |
| 5 | 9/9 | 5/9 |
| 6 | 5/9 | 2/9 |
| 7 | 8/9 | 4/9 |
| 8 | 6/9 | 6/9 |
| 9 | 6/9 | 0/9 |
| 数字 | 正答率 |
| 0 | 10/10 |
| 1 | 10/10 |
| 2 | 10/10 |
| 3 | 10/10 |
| 4 | 10/10 |
| 5 | 10/10 |
| 6 | 10/10 |
| 7 | 10/10 |
| 8 | 10/10 |
| 9 | 10/10 |
| 数字 | 点 正答率 | 線 正答率 | 図形 正答率(リスタート前) | 図形 正答率(リスタート後) |
| 0 | 10/10 | 9/10 | 8/10 | 10/10 |
| 1 | 10/10 | 4/10 | 5/10 | 6/10 |
| 2 | 10/10 | 9/10 | 8/10 | 10/10 |
| 3 | 10/10 | 7/10 | 9/10 | 10/10 |
| 4 | 10/10 | 9/10 | 8/10 | 8/10 |
| 5 | 10/10 | 9/10 | 10/10 | 10/10 |
| 6 | 8/10 | 3/10 | 1/10 | 3/10 |
| 7 | 10/10 | 7/10 | 7/10 | 8/10 |
| 8 | 10/10 | 10/10 | 10/10 | 10/10 |
| 9 | 10/10 | 7/10 | 7/10 | 6/10 |
Pythonコード (Gazou-Kakou-Ten_only.py)
Pythonコード (Gazou-Kakou-Sen_only.py)
Pythonコード (Gazou-Kakou-Zukei_only.py)
→大まかな内容は完了しこれから肉付け(5/11)
Pythonスクリプト (Hanbetsu-Full_auto.py)
| 0_7.png 予測: 0 正解: 0 一致: 〇 |
| 1_5.png 予測: 8 正解: 1 一致: × |
| 3_5.png 予測: 3 正解: 3 一致: 〇 |
| 8_2.png 予測: 8 正解: 8 一致: 〇 |
| … |
| --- 数字ごとの正答率 --- |
| 0: 正解 ○ / □ 枚 → 正答率 △ % |
| 1: 正解 △ / ○ 枚 → 正答率 □ % |
| … |
| 数字 | 正答率 | 正解率 | -正答率- | -正解率- | --正答率-- | --正解率-- |
| 0 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
| 1 | 0/10 | 0.00% | 8/10 | 80.00% | 5/10 | 50.00% |
| 2 | 10/10 | 100.00% | 5/10 | 50.00% | 10/10 | 100.00% |
| 3 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
| 4 | 6/10 | 60.00% | 4/10 | 40.00% | 5/10 | 50.00% |
| 5 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
| 6 | 0/10 | 0.00% | 0/10 | 0.00% | 3/10 | 30.00% |
| 7 | 10/10 | 100.00% | 1/10 | 10.00% | 9/10 | 90.00% |
| 8 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
| 9 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
Pythonスクリプト (Mnist-Hanbetsu-Full_auto.py)
| 数字 | 正答率 | 正解率 | -正答率- | -正解率- | --正答率-- | --正解率-- |
| 0 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
| 1 | 0/10 | 0.00% | 0/10 | 0.00% | 2/10 | 20.00% |
| 2 | 8/10 | 80.00% | 9/10 | 90.00% | 10/10 | 100.00% |
| 3 | 10/10 | 100.00% | 7/10 | 70.00% | 8/10 | 80.00% |
| 4 | 8/10 | 80.00% | 9/10 | 90.00% | 1/10 | 10.00% |
| 5 | 10/10 | 100.00% | 10/10 | 100.00% | 10/10 | 100.00% |
| 6 | 1/10 | 10.00% | 4/10 | 40.00% | 0/10 | 0.00% |
| 7 | 2/10 | 20.00% | 7/10 | 70.00% | 2/10 | 20.00% |
| 8 | 10/10 | 100.00% | 10/10 | 100.00% | 1/10 | 10.00% |
| 9 | 10/10 | 100.00% | 9/10 | 90.00% | 10/10 | 100.00% |
Pythonスクリプト (Mnist-Hanbetsu-Full_auto2.py)
| 数字 | 正答率 | 正解率 | -正答率- | -正解率- | --正答率-- | --正解率-- |
| 0 | 15/15 | 100.00% | 15/15 | 100.00% | 15/15 | 100.00% |
| 1 | 15/16 | 93.75% | 15/16 | 93.75% | 16/16 | 100.00% |
| 2 | 15/16 | 93.75% | 16/16 | 100.00% | 15/16 | 93.75% |
| 3 | 16/16 | 100.00% | 16/16 | 100.00% | 16/16 | 100.00% |
| 4 | 15/16 | 93.75% | 15/16 | 93.75% | 15/16 | 93.75% |
| 5 | 15/16 | 93.75% | 15/16 | 93.75% | 15/16 | 93.75% |
| 6 | 12/16 | 75.00% | 6/16 | 37.50% | 8/16 | 50.00% |
| 7 | 15/16 | 93.75% | 14/16 | 87.50% | 16/16 | 100.00% |
| 8 | 16/16 | 100.00% | 15/16 | 93.75% | 15/16 | 93.75% |
| 9 | 15/16 | 93.75% | 16/16 | 100.00% | 15/16 | 93.75% |
| 数字 | 正答率 | 正解率 | 正答率 | 正解率 | 正答率 | 正解率 | 正答率 | 正解率 | 正答率 | 正解率 |
| 0 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 1 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 2 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 19/20 | 95.00% |
| 3 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 4 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 5 | 19/20 | 95.00% | 20/20 | 100.00% | 18/20 | 90.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 6 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 7 | 17/20 | 85.00% | 20/20 | 100.00% | 19/20 | 95.00% | 19/20 | 95.00% | 19/20 | 95.00% |
| 8 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 9 | 19/20 | 95.00% | 18/20 | 90.00% | 19/20 | 95.00% | 18/20 | 90.00% | 20/20 | 100.00% |
Pythonスクリプト (Hanbetsu-Full_auto3.py)
| 数字 | 正答率 | 正解率 | 正答率 | 正解率 | 正答率 | 正解率 |
| 0 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 1 | 20/20 | 100.00% | 19/20 | 95.00% | 19/20 | 95.00% |
| 2 | 20/20 | 100.00% | 20/20 | 100.00% | 19/20 | 95.00% |
| 3 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 4 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 5 | 20/20 | 100.00% | 19/20 | 95.00% | 19/20 | 95.00% |
| 6 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 7 | 19/20 | 95.00% | 19/20 | 95.00% | 20/20 | 100.00% |
| 8 | 20/20 | 100.00% | 20/20 | 100.00% | 20/20 | 100.00% |
| 9 | 20/20 | 100.00% | 19/20 | 95.00% | 20/20 | 100.00% |
自身の研究内容について
研究テーマ : 耐候性鋼橋の耐候性鋼材の錆の現地調査に参加しながら、撮影データに対して機械学習(AI)を用いた外観評価を行う。最終的にドローンで撮影した耐候性鋼橋の画像データに対して外観評点を行う方法も検討する
About his own research Research theme : While participating in a field survey of rust on weathering steel materials of weather-resistant steel bridges, he will evaluate the appearance using machine learning (AI) on the photographed data. Finally, a method to evaluate the appearance of weather-resistant steel bridges using image data taken by a drone will also be studied.
耐候性鋼材の錆の調査は来週の水曜日に行く予定であり、この研究に関しては錆のデータをもらわないと何もすることができないので現在は錆の画像をAIで外観評価する前段階として0~9までの手書き数字(mnist)をCNNを用いて学習させ、正確に判別できるかどうかを行っている。
The investigation of rust on weather resistant steel is scheduled to go next Wednesday, and since we cannot do anything about this research without receiving rust data, we are currently learning handwritten numbers (mnist) from 0 to 9 using CNN as a preliminary step to evaluate the appearance of rust images using AI to see if we can accurately identify the rust. We are now trying to see if it is possible to accurately discriminate the rust images.
1, 画像処理を加えてCNNで学習させたもの
1, The images of mnist, a data set containing nearly 60,000 handwritten digit images, were trained by CNN, and the correct answer rate was obtained by adding points, lines, circles, hexagons, and other shapes to the image to be discriminated.
| 数字 | 正答率 | 正解率 |
| number | correct response rate | correct response rate |
| 0 | 9/9 | 9/9 |
| 1 | 8/9 | 1/9 |
| 2 | 9/9 | 6/9 |
| 3 | 9/9 | 6/9 |
| 4 | 9/9 | 0/9 |
| 5 | 9/9 | 5/9 |
| 6 | 5/9 | 2/9 |
| 7 | 8/9 | 4/9 |
| 8 | 6/9 | 6/9 |
| 9 | 6/9 | 0/9 |
2, 判別したい画像を以下のように変更し 判別する画像の加工, 判別の正誤をテキストファイルに保存するまでを1つのスクリプトにまとめた。
2, Change the image to be discriminated as follows, process the image to be discriminated, and save the correct and incorrect discriminions to a text file, all in one script.
| 数字 | 正答率 | 正解率 |
| number | correct response rate | correct response rate |
| 0 | 10/10 | 100.00% |
| 1 | 0/10 | 0.00% |
| 2 | 10/10 | 100.00% |
| 3 | 10/10 | 100.00% |
| 4 | 6/10 | 60.00% |
| 5 | 10/10 | 100.00% |
| 6 | 0/10 | 0.00% |
| 7 | 10/10 | 100.00% |
| 8 | 10/10 | 100.00% |
| 9 | 10/10 | 100.00% |
3, 2で用いたスクリプトはmnistをCNNで用いて学習させる機能を持っていなかった。そのため2のスクリプトにmnistをCNNで用いて学習させるスクリプトを追加した。それに加えて判別の正誤だけでなく数字別の正答率も出すようにした。
3, The script used in 2, did not have the ability to train mnist with CNN. Therefore, we added a script for training mnist using CNN to the script used in 2. In addition, we added the ability to produce not only the correctness of the discriminant but also the percentage of correct answers for each number.
| 数字 | 正答率 | 正解率 |
| number | correct answer rate | correct answer rate |
| 1 | 0/10 | 0.00% |
| 2 | 8/10 | 80.00% |
| 3 | 10/10 | 100.00% |
| 4 | 8/10 | 80.00% |
| 5 | 10/10 | 100.00% |
| 6 | 1/10 | 10.00% |
| 7 | 10/10 | 100.00% |
| 8 | 10/10 | 100.00% |
| 9 | 10/10 | 100.00% |
4, 判別したい画像に加工処理を施すだけでは正答率を100%に近づけるのに限界があると考え、学習データにも加工処理を施した。(mnistの画像にも点や直線, 円や六角形等の図形を加えた)
4, Since there is a limit to achieving a correct response rate close to 100% only by processing the images to be discriminated, we also processed the training data. (Points, lines, circles, hexagons, and other shapes were added to the mnist images.)
| 数字 | 正答率 | 正解率 |
| number | correct answer rate | correct answer rate |
| 0 | 15/15 | 100.00% |
| 1 | 15/16 | 93.75% |
| 2 | 15/16 | 93.75% |
| 3 | 16/16 | 100.00% |
| 4 | 15/16 | 93.75% |
| 5 | 15/16 | 93.75% |
| 6 | 12/16 | 75.00% |
| 7 | 15/16 | 93.75% |
| 8 | 16/16 | 100.00% |
| 9 | 15/16 | 93.75% |
Data used in 2-4 (example)
5, 判別したい画像をmnistから抽出したデータに変更した。2~4で使っていた数字の画像と比較して精度に差が出るのか試してみたところmnistから抽出したもののほうが精度が高かったためこちらを使うことにした。
5, The image to be discriminated was changed to the data extracted from mnist, and the accuracy of the image extracted from mnist was higher than that of the image used in steps 2~4.
| 数字 | 正答率 | 正解率 |
| number | correct answer rate | correct answer rate |
| 0 | 20/20 | 100.00% |
| 1 | 20/20 | 100.00% |
| 2 | 20/20 | 100.00% |
| 3 | 20/20 | 100.00% |
| 4 | 20/20 | 100.00% |
| 5 | 20/20 | 100.00% |
| 6 | 20/20 | 100.00% |
| 7 | 20/20 | 100.00% |
| 8 | 20/20 | 100.00% |
| 9 | 18/20 | 90.00% |
Data used(example)
6, 数字の書いてある部分(画像の中心部分)になるべく白い点を入れないようにした
6, I tried to avoid white dots in the numbered area (center of the image) as much as possible.
| 数字 | 正答率 | 正解率 |
| number | correct answer rate | correct answer rate |
| 0 | 20/20 | 100.00% |
| 1 | 20/20 | 100.00% |
| 2 | 20/20 | 100.00% |
| 3 | 20/20 | 100.00% |
| 4 | 20/20 | 100.00% |
| 5 | 20/20 | 100.00% |
| 6 | 20/20 | 100.00% |
| 7 | 19/20 | 95.00% |
| 8 | 20/20 | 100.00% |
| 9 | 20/20 | 100.00% |
Data used(example)
これら全てを取り込んだのが以下の Ver5.0 = Mnist-Hanbetsu-Full_auto5.py である。
Pythonコード (Mnist-Hanbetsu-Full_auto5.py)
| 数字 | 正答率 | 正解率 | 正答率 | 正解率 | 正答率 | 正解率 |
| 0 | 19/20 | 95.00% | 19/20 | 95.00% | 18/20 | 90.00% |
| 1 | 8/20 | 40.00% | 19/20 | 95.00% | 6/20 | 30.00% |
| 2 | 19/20 | 95.00% | 19/20 | 95.00% | 19/20 | 95.00% |
| 3 | 20/20 | 100.00% | 18/20 | 90.00% | 19/20 | 95.00% |
| 4 | 18/20 | 90.00% | 18/20 | 90.00% | 20/20 | 100.00% |
| 5 | 19/20 | 95.00% | 18/20 | 90.00% | 20/20 | 100.00% |
| 6 | 20/20 | 100.00% | 20/20 | 95.00% | 20/20 | 100.00% |
| 7 | 18/20 | 90.00% | 15/20 | 75.00% | 19/20 | 95.00% |
| 8 | 17/20 | 85.00% | 20/20 | 100.00% | 17/20 | 85.00% |
| 9 | 18/20 | 90.00% | 19/20 | 95.00% | 18/20 | 90.00% |
Mnist-Hanbetsu-Full_auto4.py を実行したときと比較して明らかに判別精度が落ちてしまっている。しかし下に示した混同行列をみると訓練モデルは正確に判別できている。(左側1枚がVer4.0のとき 右側3枚がVer5.0)
下記の内容が判別精度低下の主な原因ではないかと考えている。
| 要素 | モデル① | モデル② | モデル③ |
| 畳み込み層数 | 1 | 2 | 2 |
| カーネルサイズ | 3×3 | 3×3(2回) | 5×5 → 3×3 |
| プーリング | あり(1回) | あり(1回) | あり(1回) |
| Dropout | なし | あり(0.3) | あり(0.25・0.5) |
| BatchNorm | なし | あり(1回) | あり(1回) |
| 全結合層 | 64ユニット | 128ユニット | 64ユニット |
以下は全5バージョンのMnist-Hanbetsu-Full_autoを実行したときの判別率である。左から順にVer1.0(Mnist-Hanbetsu-Full_auto.py), Ver2.0(Mnist-Hanbetsu-Full_auto2.py), ... ,Ver5.0(Mnist-Hanbetsu-Full_auto5.py)と並んでいる。
以上より手書き数字の画像判別はあまり要素を盛り込みすぎることなく判別させることが重要であるのではないか。 (Ver4.0が数字の画像判別に1番適していると考える)
物体分類の判別
https://www.cs.toronto.edu/~kriz/cifar.html
左側がエポック数20, 右側がエポック数50としたがあまり精度は向上しなかった。
とりあえず
| タグ | 正答率 |
| airplane | 90.00 % |
| automobile | 100.00 % |
| bird | 85.00 % |
| cat | 80.00 % |
| deer | 95.00 % |
| dog | 55.00 % |
| frog | 95.00 % |
| horse | 100.00 % |
| ship | 100.00 % |
| truck | 95.00 % |
Pythonコード① (Animal.py)
Pythonコード② (Yobidashi.py)
Pythonコード③ (Buttai-Bunrui.py)
目標に向けて大まかなステップ
目標を達成するために
より高精度・運用向けの改善アイデア
| 評価項目 | 判別率(学習回数1回) | 判別率(学習回数60回) |
| airplane | 74.20% | 86.80% |
| automobile | 77.90% | 83.40% |
| bird | 43.00% | 80.00% |
| cat | 55.10% | 62.80% |
| deer | 67.60% | 85.30% |
| dog | 45.90% | 76.90% |
| frog | 66.40% | 89.40% |
| horse | 74.90% | 88.80% |
| ship | 76.00% | 92.50% |
| truck | 78.70% | 92.00% |
| 平均 | 65.97% | 83.79% |
自作したスクリプトが正常に動作するかどうかを調べたかったため、学習させる層を1層として実行させた。問題なく実行できた後は学習回数を60回にしてみてどのくらい精度が変化するのか見た。全10項目において判別精度は平均して凡そ18ポイント上昇したが、特に bird, cat, dog はもう少し精度を上げることはできないだろうか。また21日の午後は耐候性鋼材の講習会に参加した。
学習させたデータをもとに cifar10 上にあるテスト用画像を各項目100枚ずつ無作為に抽出してどのくらいの精度が得られるか検証した。以下はエポック数(= 学習回数)を変えながら行った項目ごとの判別率と判別に用いた画像である(抜粋)。
| 評価項目 | 判別率(学習回数1回) | 判別率(学習回数10回) | 判別率(学習回数30回) | 判別率(学習回数60回) |
| airplane | 73.00 % | 100.00 % | 100.00 % | 88.20 % |
| automobile | 84.00 % | 100.00 % | 100.00 % | 74.50 % |
| bird | 53.00 % | 100.00 % | 100.00 % | 76.50 % |
| cat | 68.10 % | 100.00 % | 100.00 % | 58.90 % |
| deer | 71.60 % | 100.00 % | 100.00 % | 86.70 % |
| dog | 44.00 % | 100.00 % | 99.00 % | 75.80 % |
| frog | 69.00 % | 100.00 % | 100.00 % | 91.10 % |
| horse | 79.00 % | 100.00 % | 100.00 % | 90.10 % |
| ship | 83.00 % | 100.00 % | 100.00 % | 93.40 % |
| truck | 89.70 % | 100.00 % | 100.00 % | 91.10 % |
| 平均 | 71.30% | 100.00 % | 99.90% | 82.63 % |
5/23現在エポック数を60にして判別した結果は記載していないが、エポック数が10でもかなり良い精度が出ているのでこれから学習をさせるには10とか12で良さそう。
錆の一例
過去の先輩が残してくださったセロハン試験の画像データがあったので、400ピクセル四方に切り取って学習させてみる。 以下の画像はUMAPという高次元データを低次元空間に圧縮し、データの構造や関係性を可視化するために用いられる次元削減手法を用いて錆の画像にパターンがあるかどうかを示したものである。
この図から分かること
UMAPは錆の画像に評点をつけてから使うこととする。評点をつけ終えたらクラスタ別にフォルダーを作成してどのような分布になっているのかを確かめる。
5/29 やること
昨日UMAPによって分類された錆の画像からグループ毎に10枚 合計50枚の画像に評点を書き加えた。判断方法は画像と錆の見本写真・サンプルを見比べたため正確にできているかどうか怪しいが、とりあえず作成したスクリプトが実行されるかどうかを試したいため正確さは後回し。評点ごとの枚数は以下の通り
| 評点 | 枚数 |
| 1 | 6枚 |
| 2 | 12枚 |
| 3 | 15枚 |
| 4 | 9枚 |
| 5 | 8枚 |
評点付きの錆画像データを見つけたのでこれをUMAPを用いて分類した結果を以下に示す。
2方向のUMAPはそれぞれ何を基に分類を行っているか確認してみた。以下の画像群はUMAPと aspect_ratio, sobel_x, sobel_y, orientation_std, num_blobs, roughness との間に相関関係があるかどうかを表したものである。左側がUMAP1, 右側がUMAP2となっている。
| 特徴量名 | 説明 | 数字の大小で何が分かるか |
| aspect_ratio | 縦方向エッジ量 ÷ 横方向エッジ量(= Sobel Y / Sobel X) | 値が大きいほど縦方向模様が強い(縦筋・縦のび)傾向にある |
| sobel_x | 横方向(左右)の輪郭強度(エッジ) | 値が大きいほど横縞や横模様が多い |
| sobel_y | 縦方向(上下)の輪郭強度(エッジ) | 値が大きいほど縦縞や縦模様が多い |
| orientation_std | 画像内の輪郭や模様の方向性のばらつき(標準偏差) | 値が小さいほど方向が揃っており、値が大きいほどランダム・雑多な模様 |
| num_blobs | 二値化画像から検出された「斑点」や「模様のかたまり」の数 | 多いと細かい斑点が密集しており、少ないと大きな斑模様 |
| roughness | 周辺の濃淡変化の激しさや表面のざらつき度(局所コントラストなどで算出) | 値が大きいと表面が粗くざらついた錆であり、小さいと滑らかで均一 |
| 軸 | 表すものの傾向 |
| UMAP1 | 主に「模様の強さ(エッジ強度)」+「表面の粗さ(roughness)」 |
| UMAP2 | 主に「模様の方向性のバラバラ度合い(orientation_std)」 |
このことから、UMAPプロット上で:
といった分布傾向が読み取れる。
1回の学習ごとに手動で評点を入力してはの繰り返しだと終わりが見えない&精度を上げるのに限界を感じたため別のアプローチで判別することを試みた。
評点付きの錆画像は何枚か同じ画像が存在したため重複していたものを削除したら全74枚あった錆画像が24枚(評点1から順番に 3 , 7 , 6 , 6 , 2枚)となってしまった。この枚数で機械学習させるには無理があるため、評点付きの錆画像に様々な処理を加えることで機械学習させる画像の枚数を増やしていくことにした。以下に具体的な処理とその内容について表形式で示しておく。
| 処理 | 内容 |
| 画像の反転 | ただ画像を鏡写しにするだけ |
| 画像の回転 | ランダムで ±10°~±30°、±90°、±180°のいずれかを行なう |
| 類似画像の削除 | 画像処理分野で画像の類似度を数値化する際に用いられるSSIMを使用 |
MMLI (=More Machine Learning Images).py … 既存の画像を反転・回転等で学習させる画像枚数を増やすスクリプトのこと。
Hyoutenhuriwake+UMAP2.py … ラベル付きの画像を学習させた結果をもとに画像の評点をつける。 あとUMAP画像の表示
上記のPythonスクリプトを実行させると24枚しかなかった画像を970枚近くまで増やすことができた。(SSIM=0.99のとき)このデータをUMAPを用いてグループ分けすると以下のようになった。
以前よりもクラスタリング精度が向上したのではないか。
Main.py ーー軽量化ー> Main2.py
3パターンのCNNは以下の通り
# === CNN構造定義(バリエーションを3通り用意) ===
def create_model(version):
model = models.Sequential() # 順次積み重ねるタイプのモデル(Sequential)を作成。
model.add(layers.Input(shape=(*IMAGE_SIZE, 3))) #入力層を定義。IMAGE_SIZE = (64, 64) なら、入力は 64x64x3 のカラー画像(RGB)。
if version == 0: (パターン1)
model.add(layers.Conv2D(64, (3,3), activation='relu')) #64個の3×3フィルターで特徴抽出。ReLUで非線形性を付加。
model.add(layers.BatchNormalization()) #出力を正規化し、学習の安定化と高速化を図る。
model.add(layers.Conv2D(64, (3,3), activation='relu')) #さらに抽出を深める。
model.add(layers.MaxPooling2D((2,2))) #空間サイズを半分に圧縮(特徴量の要約+計算コスト削減)
model.add(layers.Dropout(0.3)) #学習時にランダムに30%のノードを無効化(過学習防止)
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.BatchNormalization())
model.add(layers.Conv2D(128, (3,3), activation='relu')) #フィルター数を128に増やして、抽出する特徴の数を増加 (サイズは減っているが、意味的に濃い特徴を取る)
elif version == 1: (パターン2)
model.add(layers.Conv2D(64, (5,5), activation='relu')) #5×5の大きめフィルターで広い範囲の特徴を捉える
model.add(layers.BatchNormalization())
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Dropout(0.3)) #正規化 → 縮小 → Dropout(典型的な畳み込みブロック)
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.BatchNormalization())
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Dropout(0.3)) #より深い特徴を抽出し、再び圧縮。Dropoutを通して過学習に強い深層CNNに。
elif version == 2: (パターン3)
model.add(layers.Conv2D(64, (3,3), activation='relu'))
model.add(layers.Conv2D(64, (3,3), activation='relu')) #同じフィルター数で畳み込みを2回繰り返すことで、非線形表現力を高める
model.add(layers.BatchNormalization())
model.add(layers.MaxPooling2D((2,2)))
model.add(layers.Dropout(0.3)) #出力を安定させて縮小し、汎化能力を保つ。
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.Conv2D(128, (3,3), activation='relu'))
model.add(layers.BatchNormalization()) #より抽象度の高い情報を取り出す2段構成。
model.add(layers.GlobalAveragePooling2D()) #各チャンネルの特徴マップを平均化して、全結合層の前処理を簡潔に行う。Flattenより軽量。
model.add(layers.Dense(128, activation='relu')) #最終的な判断のための全結合層
model.add(layers.Dropout(0.5)) #強めのDropoutで過学習防止
model.add(layers.Dense(NUM_CLASSES, activation='softmax')) #クラス数(評点1〜5)に対応した出力層。確率で予測を出す。
model.compile(optimizer='adam', #Adam:最もよく使われる最適化手法
loss='sparse_categorical_crossentropy', #sparse_categorical_crossentropy:ラベルが数値 (0〜4) のときの多クラス分類用損失関数
metrics=['accuracy']) #accuracy:精度(正答率)を指標として追跡
return model
従来はラベルの付いた画像をそのまま学習させていたが、判別が上手く行かないため何か特徴量で分類したほうが良いのではないかと考えた。
RSRC.py (rust_score_regression_cluster.py)
→ 錆画像にラベルをつける際に判断材料となるであろう錆の粒径, 色の濃さ, 錆が画像に占める割合, 錆の数, 画像内にある1番大きな錆と1番小さな錆の面積差の計5つの項目について、ある特徴量(前に示した5つの判断材料とは異なる)によって5グループに分けられたクラスタ(縦軸)と、実際の評点(横軸)との対応関係を可視化するスクリプト。以下に結果(各クラスタは評点1~5の画像でそれぞれどのくらい構成されているか)を示す。
以上よりクラスタ2のように明確に分類できているものもあったが全体的に見ると少数派で、クラスタが様々な評点で構成されている方が多くやはり錆に現れる特徴でラベル分けを行なうのは現時点で難しいことが分かった。正確かつ膨大なデータ数があれば別だと思うが。
rating_cnntrainer.py
上記のスクリプトで処理していることについて
| 項目 | 説明 |
| 画像入力 | CNNで64×64の画像から特徴を抽出 |
| 数値特徴量入力 | .npyファイルから読み込まれた錆特徴量(以下の表に記載) |
| ハイブリッド構造 | CNN特徴と手作り特徴を Concatenateで融合 |
| モデルバージョン | 3種類のCNN構造を用意したアンサンブル 学習 |
| 予測 | 3モデルの出力平均で最終スコアを判定 1〜5の評点に分類して保存 |
| 錆特徴量名 | 内容説明 | 特徴量例 |
| rust_ratio | 錆の占有面積(全体に対する割合) | 平均輝度、標準偏差、2値化による錆割合 |
| num_blobs | 錆のかたまり数(connected components) | 形状(個数) |
| np.mean(gray) | グレースケールの平均(明るさ) | GLCM(テクスチャ) コントラスト・相関・エネルギー・同質性 |
| np.std(gray) | グレースケールの標準偏差(濃淡の変動) | GLCM(テクスチャ) コントラスト・相関・エネルギー・同質性 |
| np.mean(sobel_edges) | エッジ強度(輪郭の激しさ) | Sobelエッジの平均 |
| area_diff | 最大面積 - 最小面積の錆領域の差 | 形状(面積差) |
ラベル付き画像 (947枚) を学習させてラベルを付けていない画像(665枚)を分類させた結果 Score1から順に10, 73, 538, 1, 43枚となった。Score4はたった1枚しか保存されておらずしかもその1枚が評点1相当の殆ど錆の画像であった。

CNN+binning.py
| 項目 | CNN分類 | CNN回帰 + binning |
| 出力層 | Dense(NUM_CLASSES. activation='softmax') | Dense(1)(活性化なし or ReLU) |
| 損失関数 | sparse_categorical_crossentropy | mean_squared_error (MSE) |
| 出力形式 | クラス確率(0〜1) | 連続値スカラー(例:3.72) |
| 評点の扱い | クラス分類(0〜4) | binning により 1〜5 に変換 |
今までのCNNは NUM_CLASSES(出力次元数 = 何クラスに分類するか) , softmax(確率的なベクトル出力をする際に用いられる関数) を用いて例えば錆の画像を評点1~5点で付けたい場合
model.add(Dense(5, activation='softmax')) → この場合NUM_CLASSES = 5
とスクリプトに入力すれば [0.1, 0.1, 0.7, 0.05, 0.05] のようなクラス(評点)ごとの確率(配列)で出力され、 argmax関数を用いてその配列の中で最大値のインデックスを返す。この配列の場合だと最大値は0.7になるので評点は3となる。このように錆画像の評点を1, 2, 3, 4, 5点と他クラスとの相対的な区別を学習するため人によって判断基準が異なる場合はこの分類方法はあまり適さない場合がある。一方でCNN回帰 + binningでは
model.add(Dense(1))
と入力すれば錆画像の評点は3.27点というように連続スカラー値で出力される。評点の決め方はラベル付きデータをCNNで学習し画像のパターン(色、濃淡、エッジ、形など)から点数を最適化。3.27という値は"学習データの中で、最も似ている例が3点と4点の中間"であることを意味する。これを binning 関数で1点刻みの評点に変換する。その変換方法は2.5点から3.5点の間に出力された数値は評点3というような感じで評点±0.5「評点のスケール」を意識して学習する。
loss='sparse_categorical_crossentropy'で正解クラスだけ1、それ以外0のone-hotラベル (異なるグループに分けられたデータを数値として表現するための手法) を元に確率分布を学習。
回帰の場合
loss='mean_squared_error'
で予測値 3.27 とラベル 3.0 との差 0.27 を最小化し「正解と近いスコアなら許容」という発想になる。
| def binning(score): |
| if score < 1.5: return 1 |
| elif score < 2.5: return 2 |
| elif score < 3.5: return 3 |
| elif score < 4.5: return 4 |
| else: return 5 |
学習時は回帰(MSE = 平均二乗誤差)で最適化されるが、推論後は binned 値に変換して accuracy_score (予測結果の正確さ) や confusion matrix (混同行列の可視化) を使って評価
from sklearn.metrics import accuracy_score, confusion_matrix
y_pred = model.predict(x_val).flatten() y_binned = [binning(p) for p in y_pred] acc = accuracy_score(y_val, y_binned)
CNN Backbone
┌───────────┐
│ Conv2D → Pool → ...│
└─────┬─────┘
▼
┌───────────┐
│ Flatten → Dense() │
└─────┬─────┘
▼
分類モデル 回帰モデル
┌─────────┐ ┌─────┐
│ Dense(5, softmax)│ │ Dense(1) │
└─────────┘ └─────┘
↓ ↓
argmax float値 → binning → int
これまでの結果から錆画像を識別するのはCNN回帰 + binning が精度の観点から1番可能性がありそうなので現段階ではこのモデルを軸に画像分類を進めていく。行き詰まってしまう, これよりももっと優れたモデルが見つかれば乗り換える可能性あり。
現時点(6/12現在)で使用している錆画像フォルダーとPythonスクリプト
回帰スコアから評点の分類を行っていた。スクリプトのデフォルトでは回帰スコア1.00〜1.50までを評点1, 1.51〜2.50までを評点2, 2.51〜3.50までを評点3, 3.51〜4.50までを評点4, 4.51〜5.00までを評点5としていたが、それでは上手いこと分類ができなかったので目視で錆画像を見ながら0.01点単位で評点の範囲を決めていた。その結果以下の表のように評点の分類を行なうこととした。またCNNの層を厚くしても精度は変わらないことが分かった。
| 評点 | 回帰スコア |
| 1 | 2.30点以下 |
| 2 | 2.31点以上3.00点以下 |
| 3 | 3.01点以上3.40点以下 |
| 4 | 3.41点以上3.64点以下 |
| 5 | 3.65点以上 |
以下回帰スコア別に保存された錆画像を貼っておく
CNN+binning3.py
CNN+binning.py内のアンサンブル学習についての変更点(CNN+binning3.pyについて)
def create_model(version): #モデルを作成する関数の定義。引数 version によって使用するベースモデル(CNN)が変わる。
input_img = Input(shape=(*IMAGE_SIZE, 3)) #入力層の定義 IMAGE_SIZE は画像サイズ(例:224×224)を意味し、3 はRGB画像を意味する。
if version == 0: # EfficientNetV2S #version == 0 のとき軽量・高精度な EfficientNetV2S をベースに採用。
base = EfficientNetV2S(include_top=False, weights="imagenet", input_tensor=input_img) #include_top=False → 最終の分類層は除外。
#weights="imagenet" → ImageNetで事前学習された重みを使用。
#input_tensor=input_img → 上で定義した入力をモデルに接続。
elif version == 1: #version == 1 のとき DenseNet121 をベースに採用。
base = DenseNet121(include_top=False, weights="imagenet", input_tensor=input_img)
elif version == 2: #version == 2 のとき MobileNetV3Large をベースに採用。
base = MobileNetV3Large(include_top=False, weights="imagenet", input_tensor=input_img)
base.trainable = False #転移学習の初期段階ではベースモデルの重みを凍結(学習しない)。
x = base.output #ベースモデルの出力を取り出す(特徴マップ)。
x = layers.GlobalAveragePooling2D()(x) #2次元の特徴マップから平均値を取って1次元に圧縮。Flattenより計算効率が良く過学習を起こしにくい。
x = layers.Dense(512, activation='relu')(x) #512ユニットの全結合層。非線形変換(ReLU)で特徴を抽出。
x = layers.BatchNormalization()(x) #バッチごとに入力を標準化し学習安定化(精度や速度向上)。
x = layers.Dropout(0.5)(x) #ニューロンを50%の確率で無効化し、過学習を防ぐ。
x = layers.Dense(256, activation='relu')(x) #次の中間層 ユニット数を減らしながら段階的に抽象化しDropout率は少し下げている。
x = layers.BatchNormalization()(x)
x = layers.Dropout(0.3)(x)
x = layers.Dense(128, activation='relu')(x) #より小さな次元にして最終出力に近づける。Dropoutは軽めにして出力を安定させる。
x = layers.Dropout(0.2)(x)
output = layers.Dense(1)(x) #出力層:1つの連続値(回帰値)を出力し評点を推定する回帰タスクに対応。
model = Model(inputs=input_img, outputs=output) #全てをまとめて Keras の Model として定義。
model.compile(optimizer='adam', loss=custom_penalizing_loss, metrics=['mae']) #Adam最適化を使用(自動調整が得意)。
#損失関数は custom_penalizing_loss(大きな誤差を強くペナルティ)。
#評価指標として mae(平均絶対誤差) も計算。
return model #構築したモデルを呼び出し元へ返す。
明日やること
CNN+binning2.py と CNN+binning3.py の比較
| 諸条件 | CNN+binning2.py | CNN+binning3.py |
| CNNモデル | 自作CNNモデル3パターン | EfficientNetV2S、DenseNet121、MobileNetV3Large の3種類 |
| 評点 | 回帰スコア |
| 1 | 0.00点以上2.30点未満 |
| 2 | 2.30点以上3.10点未満 |
| 3 | 3.10点以上3.40点未満 |
| 4 | 3.40点以上3.70点未満 |
| 5 | 3.70点以上5.00点未満 |
上記の条件でそれぞれ学習させると評点ごとに保存された枚数は以下の表に示す。
| 評点 | CNN+binning2.py | CNN+binning3.py |
| 1 | 24 | 13 |
| 2 | 110 | 119 |
| 3 | 54 | 123 |
| 4 | 59 | 146 |
| 5 | 418 | 264 |
評点が1, 2 の場合は判別に大きな差は見られなかったが、逆に評点3〜5は保存枚数に大きな差が見られCNN+binning2に関しては評点が3であろう錆画像が4や5に点在していたためスクリプトを改良する必要がありそうだ。CNN+binning3は評点5の画像が減ったものの評点3 ,4が混在してしまっている気がする。これらのグループは再度錆の大きさや面積に占める割合で判別するスクリプトを組み込む必要があるかもしれない。
CNN+binning3.pyに
を加えたところ回帰スコアが負の値や2桁になってしまったため、スコアの上振れ or 下振れするのを防ぐ目的で出力された回帰スコアにシグモイド関数をかけて0.00~5.00点以内になるよう調整した所スクリプトの構成が上手く行かない。(=エラーが頻発) また上手くいったとしても回帰スコアが全て同じ値になる。これはシグモイド関数の傾きを緩やかにすれば解決する可能性あり。来週には実行できる状態にさせたい。
CNN+binning4.py にUMAPを画像で出力することに加えて評点も出力されるようにした。ただ評点はシグモイド関数でつけているため出力された評点とどう組み合わせていくかを考えている必要があり、現在模索中。
CNN+binning5.py
CNN+binning5.pyの内容
EfficientNetV2S / DenseNet121 / MobileNetV3Large の3つの深層学習モデルを活用したアンサンブル学習を実装し、出力は 回帰スコア(0~5.0)+ Sigmoid関数 + binning処理(1〜5点に丸める) により、評点分類を実現。
画像からのCNN出力に加え、以下の 数値特徴量(4種類)を自動抽出してモデルに結合した。CNNベクトルと数値特徴をConcatenate層で結合し、Dense層により回帰スコアを出力。
-錆面積割合(rust_ratio) -粒径(平均・最大) -Sobelエッジ量 -錆の個数
特徴量(粒径, Sobel量など)に基づき評点を補正するためのしきい値を自動探索。評価指標 (accuracy_score) を最大化するように調整。
今まではCNNで評点付き錆画像を学習させた後、判別させたい錆画像の回帰スコアを出力し評点を決めていた。
例) 錆画像の回帰スコアが3.45点であり、評点と回帰スコアの対応が上記に示した表の通りであったとすると錆画像の評点は4となる
例を読んで理解できただろうか。今回はこの判別方法を行った後に画像の錆の数, 大きさ, 面積割合の特徴量(自動的に最適値を探すようにしている)を読み取って最終的な評点を決めるスクリプトを付け加えた。さらにシグモイド関数 パラメータを組み込むことで回帰スコアが0.00〜5.00の間になるよう調節できる。
ただUMAPでの分類はそれなりであるものの評点ごとに保存されている画像の枚数を確認すると評点1から順に 121, 168, 129, 1, 246枚となっており特に評点1と4が極端な枚数になっている。保存されている枚数が極端であるということは評点の付き方または特徴量の付け方に問題があるということなので明日以降に確認してみる。
ちなみにUMAPの理想は同じ色の点が密集しているのが理想である。点が固まっているところに複数色混在しているのは良くない。
評点を1.0~5.0点の間に変換する方法として シグモイド関数, 線形変換, 活性化関数がある。
1, シグモイド関数(+スケーリング) シグモイド関数 sigmoid(x) = 1 / (1 + e^(-x)) は、出力を [0,1] の間に制限する関数であり、それに4を掛けて1を加えれば(スケーリング)評点を1.0~5.0点の間に変換できる。
・実装方法 output = Dense(1, activation='sigmoid')(x) # → [0.0, 1.0] (シグモイド変換) output = Lambda(lambda z: 1.0 + 4.0 * z)(raw_output) # → [1.0, 5.0] (スケーリング) ※PCやバージョンによっては "Lambda" 関数がインストールされておらずエラーが出てしまう可能性がある。以下はLambdaを使わずに書いたスクリプト SIGMOID_SCALE = 5.0 # 出力を0〜5にスケーリング SIGMOID_K = 1 # 傾き係数(大きくするとS字が急) SIGMOID_X0 = 0 # 切片(出力の中心) -------------------------------------------------------------------------------------------------- output = layers.Dense(1)(x) output = ScaledSigmoid(SIGMOID_SCALE, SIGMOID_K, SIGMOID_X0)(x)
メリットとして上記のスクリプトを組み込むだけで1.0~5.0点の間に変換が可能であること (ワンライナー) 、出力が滑らか・連続的であるため学習しやすい事が挙げられる。デメリットは非線形変換のため中央(関数の変曲点=評点3.0付近)に予測が集中しやすく極端なスコア(1点や5点)が出力されにくくなることで分布が歪む可能性がある。また出力分布のコントロールが難しい (傾きや切片を任意で設定できるようなスクリプトを組むのはいいが自身で最適な値を見つけることは困難) 。
2, 線形変換(+出力範囲制限) 出力層は線形のまま Dense(1) を用いて範囲外の値(~1.0, 5.0~)をあとから切り落とす方法。例えば負の値や5.0を超えるような点が出力されてしまった場合前者は1.0に後者は5.0に丸められる。
・実装方法
output = layers.Dense(1)(x) output = layers.Lambda(lambda z: tf.clip_by_value(z, 1.0, 5.0))(output) ※Lambdaを実装しない場合(一例)
# === ClipLayer の定義 ===
@register_keras_serializable()
class ClipLayer(Layer):
def __init__(self, min_val=1.0, max_val=5.0, **kwargs):
super().__init__(**kwargs)
self.min_val = min_val
self.max_val = max_val
def call(self, inputs):
return tf.clip_by_value(inputs, self.min_val, self.max_val)
def get_config(self):
config = super().get_config()
config.update({
'min_val': self.min_val,
'max_val': self.max_val
})
return config
---------------------------------------------------------------------------------------------------------
output = layers.Dense(1)(x)
output = ClipLayer()(output)
メリットとしてシグモイド関数と同様に実装が簡単であり、ネットワーク出力の自由度が高く極端なスコアにも対応しやすいうえ線形なので分布の偏りが出にくい。デメリットとして範囲外に出た値はclip_by_valueによって強制的に最小or最大点に丸められることで、例えばある錆画像を学習結果をもとに判別した結果6.0と出力されたとき5.0に丸められてしまう。しかし機械学習モデルの予測値と実際の正解値との誤差を数値化する損失関数は "5.0" で計算されるため、「6.0と5.0の差」の情報を勾配として受け取ることで学習が進まないことがある。範囲外に出た値は学習に使わないことも出来るが極端な錆画像を学習する場合はどうなるだろうか。
3, 活性化関数 [tanh(x)] ( + スケーリング) シグモイド関数と異なる箇所は用いる関数のみで、活性化関数 tanh(x) は、出力を [-1, 1] の間に制限する関数であり、それに2を掛けて3を加えれば(スケーリング)評点を1.0~5.0点の間に変換できる。
・実装方法 output = Dense(1, activation='tanh')(x) # → [-1.0, 1.0] (シグモイド変換) output = Lambda(lambda z: 3.0 + 2.0 * z)(raw_output) # → [1.0, 5.0] (スケーリング) ※PCやバージョンによっては "Lambda" 関数がインストールされておらずエラーが出てしまう可能性がある。
メリットとして出力が中央(3.0)に対して対称でありシグモイド関数よりも中心から離れた値を出力しやすい(評点が1や5の場合でも分かりやすい)。デメリットとしてこれはシグモイドにも同じことが言えるがあまりにも極端すぎるものは出力の変化が鈍くなり学習が止まりやすい。
これらをまとめると
| 方法 | 評点の保証 | 出力の自由度 | 実装難易度 | 学習安定性 | おすすめ度 |
| 1. Sigmoid + スケーリング | ◎ 常に1~5 | △ 中央に寄る | ◎ 簡単 | ◎ 高い | 4 |
| 2. Clipによる制限 | ◯ 制限あり | ◎ 高い | ◎ 簡単 | △ 勾配停止あり | 2 |
| 3. Tanh + スケーリング | ◎ 常に1~5 | ◯ 対称性あり | ◯ 普通 | ◯ 中央寄り | 3 |
| 制限なし(今まで) | × 保証なし | ◎ 最大自由度 | ◎ 簡単 | × 不安定 | 1 |
どれも課題があるもののその中で学習安定性を重視したいと考えてシグモイド関数で評点を出している。ただ線形変換で評点を出して1.0~5.0に収まらなかった画像は学習に使わないというスクリプトも実装してみて精度とかを見てみる。
これから5つのアンサンブル学習(計15のCNNモデル)で精度・時間の比較を行っていく。学習条件(学習させる層, 学習回数など)は統一してある スクリプト(binning+CNN6.py)参照。
画像から評点を出すまでの流れ
1. 前処理・画像とスコアの準備
2. モデル構築・学習
3. 評点の予測
4. モデル評価・可視化
結果





5タイプのCNNモデルの結果
| パターン | 分類精度 | 分離度 | 安定性 | 処理速度 | コメント |
| A | ◎ | ◎ | ◎ | ○ | 実用・研究の両面でバランス型 安定+高精度 |
| B | △ | △ | △ | ◎ | 軽量だが精度不足 軽量で高速な実験をしたい |
| C | ◎ | ○ | ◎ | △ | 深層学習として高性能、やや重い 安定+高精度 |
| D | ○ | ○ | △ | ○ | 特徴は良いが評点にはやや曖昧さ |
| E | ◎ | ◎ | ◎ | △ | 最強構成、実装コスト高め 最大性能を目指す |
学習時間, 精度の面から元々行っていた CNN+binning3.py を改良して判別させたほうが良いという結論に至った。評点の変換についてこれからは評点に関数を掛けて1.0〜5.0点に全画像を収めるのではなくこの範囲に評点が収まらなかった画像は学習の対象外&結果を出力・保存しないこととした。
創造工房実習でI型断面等の三角形分布や塑性状態がどういう応力分布になっているのかを確認するのを忘れていたのでここに書いておく。
上端
・ーーーーーーーーーー
| ーーーーー
・ーーーーーーーーー ーーーー|
下端 ーーーーー |↓集中荷重位置 このように上端ー集中荷重位置の距離が下端よりも長いことから上端側のほうが直応力が大きい。
ーーーーー| 逆方向に面載荷をかければ下端側の直応力が大きくなるだろう。
1ステップごとに面に載荷した荷重の10分の1を加えたものーDEPLとのグラフを作成
| 経過時間 | ↖たわみ(mm) | ↖応力(MPa) | ↗たわみ(mm) | ↗応力(MPa) |
| 0 | 0 | 0 | 0 | 0 |
| 1 | 0.000140332 | 34.4925 | 0.000184238 | 44.0832 |
| 2 | 0.000280661 | 68.9829 | 0.000368391 | 88.1643 |
| 3 | 0.000420986 | 103.471 | 0.000552457 | 132.243 |
| 4 | 0.000561308 | 137.957 | 0.000736434 | 176.318 |
| 5 | 0.000701624 | 172.44 | 0.000923909 | 220.147 |
| 6 | 0.000842636 | 206.506 | 0.00123269 | 241.658 |
| 7 | 0.00101987 | 237.23 | 0.002051 | 244.44 |
| 8 | 0.00130101 | 257.808 | 0.00765896 | 243.452 |
| 9 | 0.00191133 | 268.432 | 0.0109555 | 241.582 |
| 10 | 0.00377436 | 280.533 | 0.0148525 | 239.658 |
| 11 | ー | ー | 0.0191575 | 237.724 |
| 12 | ー | ー | 0.0237442 | 235.762 |
| 13 | ー | ー | 0.0285207 | 233.804 |
| 14 | ー | ー | 0.0333983 | 231.819 |
| 15 | ー | ー | 0.0383132 | 229.768 |
| 16 | ー | ー | 0.043212 | 227.625 |
⇒一度01と入力しOKを押した後再度1.0と入力する画面に戻ると小数点を入力できるようになっている。
⇒原因は関数がある範囲までしか定義されていないの事。Function and ListsのDEFI_FONCTIONにおいて関数の外側も定義できるようにCONSTANTまたはLINEARを追加しておく必要がある。
春休みの課題
今日はviを用いて論文に画像を貼る方法について学んだ。
今日はviを用いた論文の書き方を学んだ。
・文頭に%をつけるとその行に書かれた文章は反映されない
・強制改行したい場合は"\\"を入力する
・更新→:!pdfplatexsibup2
○式を書く(書き方は編集画面から)
\( v=\frac{P\ell^{3}}{48EI} + \frac{P\ell}{4kGA} \)
今回は鋼材で木材を挟んだサンドイッチ梁の解析を行い、縦軸に変位(mm), 横軸にボリューム数をとって上のグラフを作成した。 メッシュ長さの大小関係なく理論値と20%の誤差が生じ、これ以上メッシュ長さを短くしても理論値には近づくことがないと推測する。サンドイッチ梁は多分見たことがない以上イメージが湧かず誤差の推測をしようがないので実物にこの目で見て実験を行いたい。今回は鋼材で木材を挟んだサンドイッチ梁を解析したが、実用性を一旦置いて木材で鋼材を挟んだサンドイッチ梁の場合結果はどうなるのだろうか。
全員で作成した解析結果のグラフを下に示しておく
| メッシュ長さ | 要素数 | 先端変位(4隅の平均値)[mm] | 相対誤差(\( \frac{salome-手計算}{手計算} \)) | 計算者 |
| 0.7 | 155419 | 0.0772 | 26.943 | 湊 |
| 0.8 | 138734 | 0.0775 | 26.452 | 湊 |
| 0.9 | 82935 | 0.0774 | 26.614 | 湊 |
| 1.1 | 38671 | 0.0766 | 27.937 | 森井 |
| 1.2 | 32044 | 0.0770 | 27.273 | 森井 |
| 1.3 | 28599 | 0.0768 | 27.604 | 森井 |
| 1.4 | 23950 | 0.07640 | 22.04 | 米谷 |
| 1.5 | 19998 | 0.07641 | 22.03 | 米谷 |
| 1.6 | 19448 | 0.07715 | 21.28 | 米谷 |
| 1.7 | 13801 | 0.07567 | 22.79 | 米谷 |
| 1.8 | 12677 | 0.07736 | 21.06 | 沼野 |
| 1.9 | 11464 | 0.07546 | 23.00 | 沼野 |
| 2 | 10699 | 0.07404 | 24.45 | 沼野 |
| 3 | 3579 | 0.08414 | 15.004 | 國井 |
| 4 | 1628 | 0.08279 | 16.37 | 國井 |
| 5 | 1016 | 0.08303 | 16.26 | 國井 |
| 6 | 839 | 0.08288 | 16.26 | 西澤 |
| 7 | 554 | 0.08087 | 18.28 | 西澤 |
| 8 | 285 | 0.07898 | 19.20 | 西澤 |
| 9 | 261 | 0.01421 | 85.49 | 真庭 |
| 10 | 232 | 0.03380 | 65.51 | 真庭 |
| 11 | 208 | 0.00913 | 90.68 | 真庭 |
今回は単純異方性と等方性の解析を行い、縦軸に変位(mm), 横軸にボリューム数をとって上のグラフを作成した。異方性は上2つのグラフであるが、メッシュ長さを2以下で解析を行うと理論値(緑)と近しい値をとるようになる。一方で等方性の場合はメッシュ長さが5までなら理論値と似たような値をとる結果となった。前回まではメッシュを細かくするほど理論値に近づいたが異方性の場合はメッシュ長さを1.3にした時が理論値に一番近づき、等方性の場合は理論値と平行関係になってしまった。さらに長さを小さくして解析しても理論値には近づくことがないのではないか。
全員で作成した解析結果のグラフを下に示しておく
| メッシュ長さ | 要素数 | 変位(異方性)[mm] | 相対誤差-異方性(\( \frac{salome-手計算}{手計算} \)) | 変位(等方性)[mm] | 相対誤差-等方性(\( \frac{salome-手計算}{手計算} \)) | 計算者 |
| 0.7 | 171996 | 0.5068 | 2.993 | 0.4301 | 3.141 | 湊 |
| 0.8 | 161561 | 0.5069 | 2.999 | 0.4300 | 3.116 | 湊 |
| 0.9 | 94185 | 0.5021 | 2.071 | 0.4301 | 3.139 | 湊 |
| 1.1 | 47998 | 0.4957 | 0.814 | 0.4122 | 1.056 | 森井 |
| 1.2 | 47343 | 0.4952 | 0.712 | 0.4300 | 3.217 | 森井 |
| 1.3 | 42112 | 0.4941 | 0.488 | 0.4298 | 3.169 | 森井 |
| 1.4 | 38960 | 0.4937 | 0.407 | 0.4299 | 3.193 | 森井 |
| 1.5 | 15041 | 0.4845 | 1.460 | 0.4298 | 3.179 | 米谷 |
| 1.6 | 16071 | 0.4849 | 1.380 | 0.4298 | 3.157 | 米谷 |
| 1.7 | 12933 | 0.4845 | 1.460 | 0.4299 | 3.182 | 米谷 |
| 1.8 | 12993 | 0.4832 | 1.73 | 0.4298 | 3.19 | 沼野 |
| 1.9 | 11235 | 0.4783 | 2.73 | 0.4295 | 3.10 | 沼野 |
| 2 | 11456 | 0.4982 | 1.32 | 0.4296 | 3.12 | 沼野 |
| 3 | 2514 | 0.4369 | 4.87 | 0.4293 | 3.05 | 國井 |
| 4 | 1461 | 0.4341 | 4.20 | 0.4293 | 3.05 | 國井 |
| 5 | 433 | 0.2803 | 32.7 | 0.4284 | 2.83 | 國井 |
| 6 | 356 | 0.4283 | 2.80 | 0.3437 | 17.5 | 西澤 |
| 7 | 102 | 0.4260 | 2.26 | 0.2225 | 46.6 | 西澤 |
| 8 | 93 | 0.4260 | 2.26 | 0.1123 | 73.0 | 西澤 |
| 9 | 81 | 0.2212 | 54.9 | 0.4255 | 2.13 | 真庭 |
| 10 | 84 | 0.2051 | 58.3 | 0.4247 | 1.95 | 真庭 |
| 11 | 74 | 0.2260 | 54.0 | 0.4246 | 1.91 | 真庭 |
単純梁の解析結果から縦軸に変位(mm), 横軸にボリューム数をとって上のグラフを作成した。 前回と同じくメッシュの長さを長くすると接点変位は小さくなり、相対誤差は大きくなった。前回は√nに近い形のグラフが描けた一方で今回は歪な形のグラフができてしまった。変曲点はメッシュ数が小さい(1メッシュあたりの長さを長くした)方もといグラフ左側に偏っており、メッシュ長さを長くして解析を行うほど解析結果の信憑性は低くなるのではないか。他のPCと同じ解析を行った場合結果は一緒になるのだろうか?機会があればやってみたいものだ。
全員で作成した解析結果のグラフを下に示しておく
| メッシュ長さ | 要素数 | 先端変位(4隅の平均値)[mm] | 相対誤差(\( \frac{salome-手計算}{手計算} \)) | 計算者 |
| 0.7 | 171996 | 0.4260 | 2.207 | 湊 |
| 0.8 | 161561 | 0.4256 | 2.115 | 湊 |
| 0.9 | 94185 | 0.4169 | 0.0719 | 湊 |
| 1.1 | 47998 | 0.4122 | 1.067 | 森井 |
| 1.2 | 47343 | 0.4118 | 1.166 | 森井 |
| 1.3 | 42112 | 0.4113 | 1.289 | 森井 |
| 1.4 | 38960 | 0.4112 | 1.313 | 森井 |
| 1.5 | 15041 | 0.3978 | 4.516 | 米谷 |
| 1.6 | 16071 | 0.3999 | 4.002 | 米谷 |
| 1.7 | 12993 | 0.3971 | 4.687 | 米谷 |
| 1.8 | 12203 | 0.3964 | 4.85 | 沼野 |
| 1.9 | 11235 | 0.3942 | 5.38 | 沼野 |
| 2 | 11456 | 0.3991 | 4.20 | 沼野 |
| 3 | 2514 | 0.2141 | 21.4 | 國井 |
| 4 | 1461 | 0.34028 | 18.4 | 國井 |
| 5 | 433 | 0.1354 | 67.8 | 國井 |
| 6 | 356 | 0.2135 | 48.8 | 西澤 |
| 7 | 102 | 0.11 | 73.6 | 西澤 |
| 8 | 93 | 0.112 | 73.0 | 西澤 |
| 9 | 81 | 0.1125 | 73.0 | 真庭 |
| 10 | 84 | 0.0794 | 80.9 | 真庭 |
| 11 | 74 | 0.1297 | 68.9 | 真庭 |
全員で行った解析の結果を縦軸に変位, 横軸にボリューム数をとってグラフを作成した。 メッシュの長さを長くすると接点変位は小さくなり、相対誤差は大きくなった。 一方でメッシュの長さを小さくするほど接点変位は断面二次モーメントで算出された6.67mmに近づいた。 メッシュ長さを0.5や0.3として解析を行えばもっと理論値に値が近づくのではないか。
全員で作成した解析結果のグラフを下に示しておく
| メッシュ長さ | 要素数 | 先端変位(4隅の平均値)[mm] | 相対誤差(\( \frac{salome-手計算}{手計算} \)) | 計算者 |
| 0.7 | 107380 | 6.47 | 2.96 | 湊 |
| 0.8 | 57821 | 6.44 | 3.62 | 湊 |
| 0.9 | 57698 | 6.43 | 3.73 | 湊 |
| 1.1 | 57980 | 6.44 | 3.57 | 湊 |
| 1.2 | 52123 | 6.41 | 3.90 | 森井 |
| 1.3 | 45549 | 6.34 | 4.98 | 森井 |
| 1.4 | 26951 | 6.32 | 5.31 | 森井 |
| 1.5 | 16904 | 6.25 | 6.32 | 米谷 |
| 1.6 | 14296 | 6.20 | 7.05 | 米谷 |
| 1.7 | 13596 | 6.21 | 6.81 | 米谷 |
| 1.8 | 6299 | 5.74 | 13.9 | 沼野 |
| 1.9 | 6001 | 5.73 | 14.1 | 沼野 |
| 2 | 5617 | 5.65 | 15.3 | 沼野 |
| 3 | 2309 | 5.48 | 17.8 | 國井 |
| 4 | 617 | 3.62 | 45.6 | 國井 |
| 5 | 494 | 3.85 | 42.3 | 國井 |
| 6 | 581 | 2.51 | 62.4 | 西澤 |
| 7 | 133 | 1.41 | 78.8 | 西澤 |
| 8 | 78 | 1.29 | 80.7 | 西澤 |
| 9 | 72 | 1.288 | 80.69 | 真庭 |
| 10 | 60 | 1.226 | 81.62 | 真庭 |
| 11 | 65 | 1.231 | 81.54 | 真庭 |
今日(11/1)はwikiにグラフの貼り付けとviとlinuxを使ってグラフの作成を行った
上のグラフは自身で作成したもの、下のグラフは過去の先輩方が作成したグラフの数値を拝借した。
先輩方が作成したグラフの数値を下に示しておく
| メッシュの長さ | 要素数 | 変位[mm] | 相対誤差 | 計算者 |
| 0.7 | 155192 | 0.08378905246 | 15.365 | 安藤 |
| 0.8 | 138808 | 0.08380386491 | 15.350 | 安藤 |
| 0.9 | 82587 | 0.083707073981 | 15.45 | 兼田 |
| 1.1 | 38671 | 0.084201207602 | 14.95 | 兼田 |
| 1.2 | 31929 | 0.083688 | 15.466 | 柴田 |
| 1.3 | 28621 | 0.083669 | 15.4857 | 柴田 |
| 1.4 | 28854 | 0.08368 | 15.47 | 佐藤 |
| 1.5 | 20015 | 0.084052 | 15.10 | 佐藤 |
| 1.6 | 19448 | 0.0835402938 | 15.62 | 皆川 |
| 1.7 | 13801 | 0.0834355098 | 15.72 | 皆川 |
| 1.8 | 12528 | 0.083733 | 15.42 | 永山 |
| 1.9 | 11769 | 0.083924 | 15.23 | 永山 |
| 2 | 10699 | 0.084076876559 | 15.074 | 辻 |
| 3 | 3579 | 0.08414561753 | 15.004 | 辻 |
| 4 | 1628 | 0.082794 | 16.37 | 服部 |
| 5 | 1016 | 0.083033 | 18.89 | 服部 |
| 6 | 839 | 0.082882 | 16.26 | 梶原 |
| 7 | 554 | 0.080871 | 18.28 | 梶原 |
| 8 | 285 | 0.079995 | 19.20 | 工藤 |
| 9 | 261 | 0.078980 | 20.22 | 工藤 |
| 10 | 232 | 0.081911 | 17.26 | 佐々木 |
| 11 | 208 | 0.075676 | 23.56 | 佐々木 |
今日は顔合わせをした
頑張りたい "いきものがかり"についた