佐藤卒論日誌

連絡†

７月２７日　オープンキャンパス　（虹橋）

８月３０日　橋梁見学

講習会　9月6日、7日、8日

ゼミ　９月９日１３時〜

中間発表（発表７分　質問５分　概要・スライド有）　１０月３日　９：００〜　

後期のゼミ　水曜日１３時〜

卒論・参考資料等†

耐候性鋼橋の耐候性鋼材の錆の現地調査（日本鉄鋼連盟、土木研究センター、東北の大学や高専の土木構造系研究室の共同研究） と何らかの定量化手法との比較を（人間の現場での評価を教師として）AIに機械学習させてみる。

（現場で簡単なのはデジカメ、セロテープはややめんどう、膜圧はもっとめんどう）

現場デジカメ撮影の画像データ（伊藤さんの卒論2004：概要pdf，スライドpdf）

セロテープ試験の２値化データ（藤原さんの卒論2005：概要pdf，スライドpdf）

膜厚計の錆厚データ（橘さん2006：概要pdf，スライドpdf）

・画像処理を用いた耐候性鋼材の腐食状況の定量化に関する検討

・畳み込みニューラルネットワークを用いた腐食環境が異なる鋼材腐食部劣化度判定の試み

・画像処理とパターン認識手法を利用した耐候性鋼材のさび外観評価

・耐候性鋼材の運用実績

・土木工学分野における人工知能技術活用のために解決すべき課題と進めるべき研究開発

・機会学習を用いた耐候性鋼材のさび外観評価モデルの開発

・インフラ維持管理へのAI技術適用

・いちばんやさしいpythonの本

・ゼロから作るDeep Learning

今後の進め方†

畳み込みニューラルネットワークを用いて劣化度判定をするとか データをどうするか まずは参考資料にある論文を読むことから始める

ゼミ目標†

• 手書き文字判別の方法をもう少し考えたい
• 具体的にはこのサイトの方法を真似て識別モデルを作成したいと思う

未着手†

• cuda toolkit
• 今後の進め方をまとめる

未解決†

• wikiに画像が貼れない
• PC(シャットダウンしても勝手に起動する)
• PC(再起動できない)

進捗†

2024-07†

2024-07-25

• 手書き文字のモデルを作成したが、あまり精度良く判別できていない
• 読み込んだ文字が粗いというのはあるだろうが、数値を見てもまだ不完全だと思う
• CNNのモデルを作成してみたがあまり理解できていない
• 今日使ったファイル：mnist_CNN.py

2024-07-24

参考記事をもとに判別モデルを実装できた

実行ファイル：mnist_loadmodel.py

2024-07-22

引き続き手書き文字のモデルを改良したい

2024-07-21

デスクトップパソコンに機械学習環境を導入した（anaconda3 vscode opencv） 以下のサイトのコードを試したがうまく識別できなかった サイト２をうまく活用して次はやってみたい

• サイト１

• サイト２

2024-07-18

全然更新できていなかった。毎日コツコツ積み重ねていきたい

2024-07-06

実装したいコードを考えたので試してみたい

2024-07-03 

pythonについて学びたい

2024-06†

2024-06-28

/ch04/zisaku/two_layer_net_kairyou.py

実際の手書き文字を読み込ませられたが、うまく判別できなかった その原因としてはピクセル値がうまく変換できていないことが考えられる 次回はその原因を解決したい

2024-06-26

パソコンをお願いした 買っていただけるみたい ありがとうございます

機械学習とは重みとバイアスを最適なものに導く作業のこと

2024-06-25

機械学習の概要をなんとなく理解できた

2024-06-24

今日も本を呼んだ 明日コードを実装してみたい

2024-06-23

人通り読み終えられた 理解を深めたい

2024-06-22

anacondaとtensorflowの違い

進捗なし

2024-06-13

忘れている箇所が多かったので復習した

2024-06-12 ゼミがあった　引き続き進める

2024-06-11

mnist(エムニスト）データセットのダウンロード方法がわからない

githubをダウンロードするといいのかも？

githubのダウンロード方法　codeからdownload zip

zipファイルの解凍

圧縮 zip -r xxxx.zip directory 解凍 unzip xxxx.zip

※unarコマンドを@Hayakuchi0さんから教えてもらいました。 Windows上で日本語ファイル名のファイルをzipで圧縮して、Linux上でunzipにより解凍すると文字化けすることがありますが、unarで解凍すると文字化けしないようです。

unar xxxx.zip

私が確認した環境CentOS7にはunarはインストールされていなかったので、 インストールして試しました。

unarはzip以外も解凍できるようです。

このページを読み込みたい

cd anaconda3

cd deep-learning-from-scratch-master

cd ch03

2024-06-10

進捗（120/273)

2024-06-09 進捗　(96/273)

2024-06-08 進捗（53/273)

2024-06-07

anaconda3からnumpyを開くことができた。

2024-06-06

明日やること ： Numpyのダウンロード

・2024-06-04.05

進捗なし

・2024-06-03

引き続き本を読み進めたい

・2024-06-02

一冊目を読み終えたが、まだ理解しきれてない箇所が多い

・2024-06-01

第１０章まで読み終えた

2024-05†

・2024-05-31

第８章まで読み終えた

・2024-05-30

pythonの本を使って学習を進めた また、デスクトップのセットアップもしてもらった 引き続き、pythonの勉強を進めたい

・2024-05-29

ゼミがあった。次回のゼミまでに本を読み終えたい

・2024-05-28 (火) 13:16:24 condaコマンドを認識させることができた

Python 3.11.7 (main, Dec 15 2023, 18:12:31) [GCC 11.2.0] on linux Type "help", "copyright", "credits" or "license" for more information.

文字の並べ替えプログラム /pyworks/words_sort.py 画像保存名：words.sort.png

・2024-05-27 condaコマンドが認識されない もう一度やり直さないといけないかも

・2024-05-26 pythonの本を読んだ

・2024-05-25 進捗なし

・2024-05-24 進捗なし

・2024-05-23 pythonの本を読んだ pythonの仕組みについてなんとなく理解が深まった

・2024-05-22 anacondaをインストールできたと思う tensorflowなどのライブラリのインストールは後日にしようと思う

anacondaをインストールしたことでpython3.8を起動できている

※anacondaは無償区分と有償区分があるらしい(参考記事)　

無償で使える条件として　個人かつ非商用目的による使用　教育機関における学生または教員の使用　とあるので大丈夫だと思う

vs code(テキストエディタ：pythonのコードを一つにまとめるためのもの）のダウンロードもできた

vs codeの開き方：ターミナルでcodeと入力

じゃんけんプログラム

・2024-05-21

機械学習を行うための環境をつくるためのプロセスを整理した

1.機械学習を行うためにはPythonが実行できるための開発環境が必要

　そのためにanacondaをインストールする

　anacondaをインストールすることで複数の仮想環境を作成して切り替えて使える

2.仮想環境の作成を行い、必要なライブラリをインストールする

Numpy：数値計算　Pandas：データ操作と分析　Matplotlib/Seaborn：データ可視化　Scikit-learn：ディープラーニング　TensorFlow/Keras：ディープラーニング　PyTorch：ディープラーニング

・2024-05-20 進捗なし

・2024-05-19 前提知識がなくて理解が進まない とりあえず、tenslorflowをダウンロードしてみたいと思う。

ubuntuの場合直接ダウンロードできる　と思う

・2024-05-18 機械学習の環境構築するための手順

1.パソコンを準備（Linux ubuntu20.04）

2.言語を決める（python)

3.言語をインストールする（python2.7がインストール済み）

4.環境構築ツールを導入する

anacondaが最適かも

tensorflowを使用するためにはハードウェアの性能の高さが求められる？

tensorflowとは機械学習に用いるためのソフトウェアライブラリ

・2024/05/17 機械学習について調べてみた 教師あり学習　数値を予測する回帰　カテゴリを予測する分類

・2024/05/16 機械学習の環境構築についてもう少し調べたい ubuntuでの環境構築方法について

・2024/05/15 使用しているパソコン Ubuntu20.04 フリーの機械学習ツールに何があるか　ex.tensorfolw

パソコン上に機械学習ができる仮想環境を整理する必要がある

ゼミ過去報告†

• 2024/7/24

  tensorflowを使って文字識別をしてみる

成果

mnistデータセットを使って判別モデルの作成ができた
今はデータセット内の文字を判別しているので実際の文字を判別できるようにしたい

・2024/7/17

課題
モデルの仕組みを整理する
モデルの精度を高める

・2024/7/10

課題
来週までに実際の手書き文字を判別させる

成果
前回にモデルの作成ができ、そのモデルに実際の文字を入れて判別してみたが正確に判別できなかった
下の画像は2を判別しようとした
今のモデルでは画像を1次元に変換して判別しているが、1次元だと限界なのかもしれない
3次元モデル（CNN）でやる必要があると思ったが
改良次第でなんとかなりそう　
学習率を改善していく
学習率：一回の学習でどれだけ学習すべきか、どれがけパラメーターを更新するか

判別しようとした画像

判別精度

・2024/7/3

課題
どの程度の文字が正しく判別できているかを説明できるようにする
実際の手書き文字を判別させてみたい

成果
実際の手書き文字を判別させようと思ったが、画像をうまく変換できなかったためまだ判別には至っていない
3次元の画像を１次元にしたい

・2024/6/26までの課題

手書き文字判別までのプロセスを確定させる

成果
本を参考にニューラルネットワークを実装することができた
学習することで精度が高くなる過程が確認できた
テストデータを用いて認識精度を確認したところ２つの精度に差がないことが分かる
ミニバッチのサイズ（取り出す数）を１００として、毎回６００００個の訓練データからランダムに１００個のデータを抜き出している
６００回　＝　１エポック

認識精度

epoch →　一つの訓練データのすべてを使い切って１周した時を１とする、訓練データを何回用いたかを表す数

・2024/6/19までの課題

引き続き本で学習を進める　文字判別の仕組みを理解したい

あまり進捗なし

今度耐候性橋梁を見に行きたい

・2024/6/12までの課題

千代岡さんから借りたpythonの本を読み終える

２冊目も読み終えたい

発表内容：pythonについて学習を進めている　特にdeeplearningの基礎について

今現在はmnist（エムニスト）という手書き数字の画像セットのダウンロードができたので、次回までに文字を判別する仕組みについて学びたいと思う

mnist:mnistは機械学習の分野で最も有名なデータセットの一つであり、簡単な実験から論文として発表される研究まで様々な場所で利用されている

mnistデータセットは、０から９までの数字画像から構成されている　訓練画像が６００００枚、テスト画像が１００００枚用意されており、それらの画像を使用して学習と推論を行う

一般的なmnistデータセットの使い方では、訓練画像を使って学習を行い、学習したモデルでテスト画像に対してどれだけ正しく分類できるかを計測する

mnistの画像

何の情報を判別させるか、(明るさ(色スケール)、セロテープ試験、膜厚試験

今度耐候性橋を見に行く

・2024/5/29 までの課題

機械学習環境と構築する

---

3年次

エラーコード [#dd0f431c]

時間が足りないとき

  !<S> Exception user raised but not interceptee.  !        
  ! The bases are fermees.                         !   
  ! Type of the exception: ArretCPUError           !   
  !  [('?', (), (), ())]                           !   
  !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!   

春課題　弾塑性 [#td1a199a]

• 鋼材の降伏点について　

• Salome-Meca演習_弾塑性解析(2021) (Salome-Mecaでの設定は基本このページと同じように行った。)

創造工房第7回(12/8) [#w0f71c42]

サンドイッチ梁：単純梁(木材＋鋼材)の解析 [#v5b1d60b]

創造工房第6回(11/29) [#x7bfb3cd]

単純梁（異方性１次・等方性２次）の解析 [#u789f929]

11/24(金）創造工房5回目 [#e5d84b63]

単純梁（等方性１次）の解析 [#tb5d98da]

http:

11/17(金）創造工房４回目 [#y86d3d92]

片持ち梁の解析（サロメ） [#ydde7141]

11/10 (金)　創造工房３回目 [#pc409efa]

10/27（金）　創造工房実習２回目 [#r022fb54]

コマンド [#nbf6e469]

ls ：今いる場所

cd　：ファイルを開く

pwd　：今いる場所

gedit (ファイル名)　：テキストファイルを開く

cp (ファイル名)　：コピー

vi (ファイル名)　：テキスト上で表示

Esc : q 　テキストを閉じる （w 保存　q 出る）

cat 　：確認

rm (ファイル名)　：削除

cd ..　：一つ前に戻る

cd /(住所)　：住所にいく

10/20（金）創造工房１回目 [#ae52abcf] あああああ

表サンプル [#ebafbcdf]

• テキスト整形のルール(詳細版)

日時置換文字

2024-05-28 13:15:45 2024-05-28 (火) 13:15:45

   行中で &date; と書くと、更新時の日付に置換されます
   行中で &time; と書くと、更新時の時刻に置換されます
   行中で &now; と書くと、更新時の日時に置換されます

   &date;、 &time;、 &now;は、記事が書き込まれるときに置換されて記録されます。
   &date;、 &time;、 &now;は、他のインライン要素の子要素になることができます。
   &date;、 &time;、 &now;は、他のインライン要素を子要素にはできません。

2024-07-27 13:47:53 2024-07-27 (土) 13:47:53

   行中で &_date; と書くと、表示時の日付に置換されて出力されます。
   行中で &_time; と書くと、表示時の時刻に置換されて出力されます。
   行中で &_now; と書くと、表示時の日時に置換されて出力されます。

・Ubuntuについて

・CPUについて

環境構築

ITにおける「環境」とは、導入されるシステムやソフトウェアから見た、そのコンピュータ全体のこと 環境構築とは、作業に適した環境を整えること　 実行環境と開発環境がある

実行環境

実行環境とは、プログラムやソフトウェアが稼働するために必要なものが揃っている環境のこと プログラムやソフトウェアを動かすためには、条件を整える必要がある。 回線や機材といったハードウェアや、そのプログラミムが動作するためのコンピューター内のソフトウェアです。 「実行環境構築」とは、あるプログラムやソフトウェアを動かすための環境を整えることを指す

開発環境

システムを開発するために必要な環境のことを指す。また、インターネットが必要であれば準備をする 必要なソフトウェアがあればインストールするなど、開発に必要な条件を整えることを「開発環境構築」という 「開発環境」で開発されたシステムは「テスト環境」にて正しく動作するか検証され、ここで問題がなければ「本番環境」と呼ばれる環境で実際に使われることになる。

ローカル環境

個人のコンピュータ内に構築された環境のこと 仮想マシンとは、ローカル環境の中に、ある特定の環境を模して構築されたソフトウェアのこと 個人のコンピュータの中に、擬似サーバーを用意するというイメージ

UNIXコマンド https://www.str.ce.akita-u.ac.jp/~gotou/linux/vine.html#unix

• python用語 [#lf72b460]

vs codeの開き方：ターミナルでcodeと入力 pythonの開き方：ターミナルでpython(バージョン)と入力 pythonの閉じ方：ctrl + D

anacondaのライブラリなどを開く方法：cd anaconda3 →　python

※「,」は表中に入れてしまうと、列が増えてしまうため「，（大文字）」or「、」のどちらかで入力している

リスト(list)

空っぽのリストを作る　ｰ>　new_list = []

リスト並べ替え「list_A.メソッド」

タプル(要素の追加や削除ができないリスト）

セット（単純なデータの集まり　リストやタプルのように順番もなければ辞書のような値を呼び出すキーもない　箱の中におもちゃが入っているイメージ）

特徴は同じものを２つ入れられない

辞書型

datetime型 [#wb96f17d]

• 機械学習 [#i09bff68]

• mnist [#c99be656]

・mnistデータファイルについて

・mnistデータの詳細について

mnistとは人が手で書いた０から９までの数字を大量に集めた画像データ集
学習者はこれらのデータを教師データとして取り込みモデルを学習させ、そのモデルをテストすることで学習がどのように実行されるかを学ぶ。

・データとラベルの違い

データ→手書きで書かれた数字を画像にした画像データ
ラベル→その画像に書かれた数字を表すものをラベルという

load_mnist関数「（訓練画像,訓練ラベル),(テスト画像,テストラベル）」

・重みとバイアスを訓練データに適応するように調整することを「学習」という

・ミニバッチ学習について

ミニバッチ学習を実施する上で重要となるのが、バッチサイズ
バッチサイズは、データをグループに分けた際の数がどれくらいになるのかをあらわしたもので、バッチサイズが小さいほど処理負担は小さく、大きいほど負荷が大きくなり、なおかつデータ１つ１つの個性も失われてしまう傾向にある
基本的にバッチサイズは小さいサイズから始めるのが効果的である。バッチサイズが小さいと学習にかかる時間を短くできるだけでなく、データの個性を尊重しながら学習を進められる
バッチサイズが小さい場合はノイズの影響を受けやすくなるため、対策が必要→そこで役立つのが学習率
小さいバッチサイズで学習率を大きく設定することでノイズの影響を受けにくくできます。

・opencvをインストールする

pip install opencv-python

• GPU [#u33690f9]

・ディープラーニングで必要なスペック

• 手書き文字を変換 [#a5107024]

cv2とは画像を扱うためのpythonライブラリ内に存在するモジュールのこと
kerasはニューラルネットワークのライブラリ「読みやすく簡潔なアーキテクチャで迅速に実装が可能であること」「機械向けではなく人間向けに設計冴えたユーザーフレンドリーなライブラリ」であることを重視して設計されている

メモ†

実行環境†

gpu GeForce RTX 4060

Python 3.11.9

tensorflow 2.17.0

anaconda†

インストール†

参考サイト [#p932fad1]

• anacondaのサイトからlinux用のものをインストールする
• インストール後にcondaコマンドを認識させるために以下のコードを実行

  $ export PATH=/kouzou/anaconda3/bin:$PATH

• その後condaコマンドを実行→うまく行かない場合はターミナルを再起動

コマンド†

• conda create-n [仮想環境名]　python=[pythonバージョン名]

• 参考サイト

vscode†

インストール　†

参考サイト [#zc4f5880]

• 私は３番でインストールした
• 最後にcodeで開けるか確認

日本語にする†

参考サイト

• viewからコマンドパレットを選択→検索欄でdisplayと検索→configure display languageを選択→日本語を選択

• インストールしたら再起動する

tensorflow†

• 最新のpythonのバージョンに対応していない場合があることがあるので、tensorflowが対応しているpythonのバージョンを確認すること

tensorflowとは†

googleが開発した、機械学習のソフトウェアライブラリ

ライブラリとはプログラムを組む際によく利用するコードなど、必要な部品をまとめたファイルのこと

tensorflowの１番の特徴は、ニューラルネットワークの構築、訓練ができるシステムの要求に答えられる点

ニューラルネットワークとは、私達人間の脳内にある神経細胞（ニューロン）の繋がりを数式的なモデルで表現したもの

このニューラルネットワークを使用することで、機会が人間と同じように論理的思考や学習を行うことができる

tensorflowの特徴†

• データの読み込み、前処理、計算、状態、出力といった処理に対してテンソルを扱っている点

• データフローグラフを構築して処理することを想定して作られている点

インストール†

参考サイト [#c07794bc]

pip install --upgrade pip
pip install tensorflow 

install後の確認は以下のコマンドを実行
imoprt tensorflow as tf
print(tf.__version__)

TensorRT†

tensorRTがやっていることは推論エンジンの生成と推論実行

インストール†

参考サイト

参考サイト2

参考サイト

python ライブラリ†

opencv†

• インストール (参考サイト)

  pip install opencv-python

コマンド†

image magic†

zip解凍†

unzip ~~~.zip

pythonバージョン確認†

python -V or python --version or python3 --version

編集用†

最新の100件