投稿

Google Cloud EngineにTeraTermで接続する方法

イメージ
概要 Google Cloud Engine(GCE)にTeraTermで接続する方法をメモします。 本テウンの公式はhttps://cloud.google.com/compute/docs/instances/transfer-files?hl=ja#winscpです。
用語 ・Google Cloud Engine(GCE):Googleが提供しているクラウドサービス
手順
「puttygen.exe」をダウンロードして実行 「puttygen.exe」をダウンロードして実行します。

公開鍵をサーバーに覚えさせる Generateをすると以下のとおり公開鍵が作成されます
Key commentをサーバー側のユーザー名にし(公開鍵が連動して修正される)、「Save private key」をするとppkファイルが作成します。
「Save private key」をした後に↑の反転させている所をサーバーに覚えさせます。以下の画面で編集ボタンから登録可能です。
TeraTermで接続 TeraTermを起動して設定->SSH認証を押し、以下の画面を開きます。 開いた画面の「秘密鍵」を押下し、作成したppkファイルを指定します。その上で、サーバーのIPアドレスを指定するとSSH接続出来るようになります。

Flask実行中エラーを解消する方法メモ

概要 Flask実行中に「OSError: [Errno 98] Address already in use」が出た際の解消方法メモです。 用語 ・Ubuntu:LinuxのOS。
・Python:機械学習プログラミングに人気のプログラミング言語。
・Flask:簡易にpythonサーバを構築できるOSSフレームワーク。 事前準備(前提とする環境) ・Ubuntu14.04
・Python3(3.7.2)
・Flask 1.0.2 内容 Flaskを用いたwebサーバーを稼働させていて、一旦中止した後に再度実行する(開発中などはよく起きると思います)と、そのままでは再実行出来ません(下記)。 vagrant@vagrant-ubuntu-trusty-64:~/vagrant_data$ python3 sample.py * Serving Flask app "sample" (lazy loading) * Environment: production WARNING: Do not use the development server in a production environment. Use a production WSGI server instead. * Debug mode: off * Running on http://0.0.0.0:5000/ (Press CTRL+C to quit) ^Z [1]+ Stopped python3 sample.py vagrant@vagrant-ubuntu-trusty-64:~/vagrant_data$ python3 sample.py * Serving Flask app "sample" (lazy loading) * Environment: production WARNING: Do not use the development server in a production environment. Use a production WSGI server instead. * Debug mode: off Traceback (m…

SystemError returned a result with an error setの解消方法

概要 Python+OpenCVで顔認識をする際に「SystemError: returned a result with an error set」というエラーが出る場合があるので、その解決方法をメモします。 用語 ・Windows10:言わずと知れたMicrosoft社製のOS。
・Python:機械学習プログラミングに人気のプログラミング言語。
・Anaconda:データサイエンスおよび機械学習関連アプリケーションのためのPython+R言語のオープンソースディストリビューション
・OpenCV:インテルが開発した画像解析などに用いられるオープンソースライブラリ 事前準備(前提とする環境) ・Windows10 Pro
・Anaconda1.9.2
・OpenCV3.4.1 手順現象 問題のエラーが以下のような感じで発生する事があります。 (base) C:\Users\kk\opencv>python Sample.py OpenCV(3.4.1) Error: Unknown error code -49 (Input file is empty) in cvOpenFileStorage, file C:\Miniconda3\conda-bld\opencv-suite_1533128839831\work\modules\core\src\persistence_c.cpp, line 384 cv2.error: OpenCV(3.4.1) C:\Miniconda3\conda-bld\opencv-suite_1533128839831\work\modules\core\src\persistence_c.cpp:384: error: (-49) Input file is empty in function cvOpenFileStorage The above exception was the direct cause of the following exception: Traceback (most recent call last): File "Test_Cam.1.py", line 22, in cascade = cv2.CascadeClassifie…

Kerasによるニューラルネットワークモデルの構築方法

概要 Kerasによるニューラルネットワークモデルの構築方法素のメモです。
用語 ・Anaconda:データサイエンスおよび機械学習関連アプリケーション(大規模データ処理、予測分析、科学計算)のためのPythonおよびRプログラミング言語のフリーでオープンソースのディストリビューション
・Python:機械学習プログラミングに人気のプログラミング言語。
・Keras:Pythonで書かれたオープンソースニューラルネットワークライブラリ。tensorflowをラッピングして作られている。
・ニューラルネットワーク:脳機能を模して考案された機械学習のアルゴリズムの1つ。
・xlrd:pythonでxlsxファイルを読み書きするためのライブラリ
事前準備(前提とする環境) ・Windows10 Professional
・Anaconda
・Python3(バージョン3.7.2)
・Keras2.1.5
手順 学習させるデータ 学習の題材には日経平均株価を扱いたいと思います。そこで、日経平均株価の情報をエクセル形式で準備します。 説明変数は、「日付」「終値」「始値」「高値」「安値」「前日比」「5日移動平均」「25日移動平均」「75日移動平均」「14日RSI」です。予測値は、「翌日の日経平均株価」です。
用意するデータ
ファイル論理名ファイル物理名概要日経平均株価学習データnikkei225.xlsxニューラルネットワークモデルに学習させるデータセット日経平均データファイル定義nikkei225_def.xlsxデータセットのファイル定義日経平均株価学習結果テストデータnikkei225_test.xlsx学習結果のテスト用データ xlrdのインストール xlrdをインストールします。xlrdを用いて、エクセル形式の日経平均株価を読み込みます。
$ pip install xlrd エクセルデータ読み込みプログラム作成(importXLSX.py) まずはxlsファイルを読み込み、0~1の値に正規化するプログラムを作成します。
著者のプログラム能力不足により若干残念ですが、例えば以下みたいな感じで。
import pandas as pd import keras from keras.preprocessing.text import…

Web上から大量の画像ファイルを収集する方法

概要 深層学習による画像解析を行う場合、学習データとして大量の画像ファイルが必要になるかと思います。そのために、Web上から大量の画像ファイルを収集する方法をメモします。 Microsoft AzureなどにもWebから画像ファイルを収集する機能がありますが、アカウント作成が必要であったり場合によっては有料になってしまう事もあるため、当ブログでは本方法をオススメしています。 事前準備(前提とする環境) Vagrant(ubuntu/xenial64)で構築したUbuntu16.04 手順 「概要」に記載したとおりのため、当ブログでは「Google 画像検索」でスクレイピングする方法を選択しており、「https://qiita.com/skcvim/items/efc296ae1bf0e62f6704」様にて記載されている方法を採用しました。 動作に必要なライブラリのインストール$ sudo apt -y update $ sudo apt -y upgrade $ sudo apt-get install python3-pip $ sudo pip3 install bs4 $ sudo pip3 install lxml プログラムの準備 「https://qiita.com/skcvim/items/efc296ae1bf0e62f6704」様に記載されている「image_collector_cui.py」をダウンロードする。 実行方法$ python3 image_collector_cui.py 検索キーワード 件数 (ex) $ python3 image_collector_cui.py cat 100
以上になります。

動画の顔認識プログラム(SSD Keras)を動かす

概要 VIrtualBoxで構築したUbuntu環境でSSD Kerasを動かし、動画の顔認識をやってみます。 用語 顔認識:画像から人を自動識別するための技術
SSD:Single Shot MultiBox Detectorの略。深層学習モデル
Keras:tensorflowをラッピングした機械学習OSS。tensorflowをより容易に利用可能としている
tensorflow:google社が公開しているOSSの機械学習フレームワーク
h5py:バイナリーデータファイルのフォーマット HDF を扱う ためのPython ライブラリー。ここでは画像認識のための機械学習モデルをh5py形式で扱っている。
OpenCV:インテルが公開しているOSSの画像解析フレームワーク 事前準備(前提とする環境) Ubuntu 16.04(Virtual Boxに構築)(Python3.5.2含)
※クリーンインストールされた状態 構築する環境 Keras v1.2.2
tensorflow v1.1.0
h5py v2.7.1
OpenCV v3.1.0 手順OpenCVのインストール opencv3.1.0をインストールする前に依存モジュールをインストールします。以下をそのまま実行してください。 $ sudo apt-get install \ build-essential \ cmake \ git \ pkg-config \ libjpeg8-dev \ libtiff5-dev \ libjasper-dev \ libpng12-dev \ libavcodec-dev \ libavformat-dev \ libswscale-dev \ libv4l-dev \ libatlas-base-dev \ libgtk2.0-dev \ gfortran 依存モジュールが準備出来たら、gitからopenCVをダウンロードします。 $ cd ~ $ git clone git://github.c…

Kerasで構築したニューラルネットワークのハイパーパラメータを自動チューニングする方法

概要 Kerasで構築したニューラルネットワークのハイパーパラメータを自動チューニングする方法のメモです。 用語 ・Anaconda:データサイエンスおよび機械学習関連アプリケーション(大規模データ処理、予測分析、科学計算)のためのPythonおよびRプログラミング言語のフリーでオープンソースのディストリビューション
・Python:機械学習プログラミングに人気のプログラミング言語。
・Keras:Pythonで書かれたオープンソースニューラルネットワークライブラリ。tensorflowをラッピングして作られている。
・ニューラルネットワーク:脳機能を模して考案された機械学習のアルゴリズムの1つ。
・optuna:Kerasで構築するニューラルネットワークモデルのハイパーパラメータを自動チューニングしてくれるオープンソースライブラリ 事前準備(前提とする環境) ・Windows10 Professional
・Anaconda
・Python3(バージョン3.7.2)
・Keras2.1.5 手順optunaのインストール まずは事前準備として、ハイパーパラメータを自動チューニングしてくれるライブラリのoptunaをインストールします。 $ pip install optuna ハイパーパラメータ自動チューニングプログラムを作成 インストールが完了したら、早速プログラムを作成します。
自動チューニングするのは、前回本ブログで作成したニューラルネットワークモデル作成プログラムの「createModel.py」です。
具体的なプログラムは以下です。
今回も著者のプログラム能力不(ryです。 import datetime import importXLSX as ic import numpy as np import optuna from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D, BatchNormalization from keras.utils import np_utils def getDa…