Python ortoolpyで最適化問題を解く

"Python実践データ分析100本ノック"、この本を進めていて少し理解に時間がかかったところをメモしておきます。 (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a; b[a]=b[a]||function(){arguments.currentScript=c.currentScript ||c.scripts[c.script…

書籍: Go言語によるWebアプリケーション開発

2020年1月に購入し、途中ずっと積んでたんだけど、半年後ようやく再開し完走しました(^_^;) 以下のような"動く"アプリケーションをハンズオンで作成していきます。Webアプリケーション開発と名うってますが、CUIの作成もあります。 WebSocketを使用した双方…

線形回帰ウエイトの求め方メモ

メモ。 線形回帰のウエイトの求め方。 xは説明変数、yが実測値。Lは評価関数sum( (y[i]-(w * x[i])) ^2 ) 評価関数の式をウエイトWで微分した時に0となるウエイトWを求める。 これを式変形していくと最終的に以下の計算式になる。 c1 = 0; c2 = 0; for (i = …

リッジ回帰について

線形回帰では、実際の分布より学習した傾きが大きくなりオーバーフィッティング(過学習)で精度が出ない場合がある。 精度を出す場合、正則化(リッジ回帰、ロッソ回帰)を用いて精度の調整を行う。 計算方法 線形回帰のオーバーフィッティングは傾きが大きくな…

主成分分析と因子分析

メモ。 主成分分析 多次元からなる説明変数行列の次元の圧縮。 主成分に対しての説明変数のウエイトなんかもわかる。 主成分は総合的な評価。第2成分は主成分と直交する線。第2成分のあたりまで求めるのが一般的らしい。 重回帰分析に近いのかな。と思ったけ…

行列計算の復習

行列の足し算 行列の掛け算 行列どうしのかけ算は、「左の列数」と「右の行数」が等しくないとかけ算できない 計算結果の行列は左側の行数と右側の列数の行列となる 単位行列 単位行列はその対角成分に1が並び、他は全て0となる行列。 逆行列 ある行列と掛け…

統計データ 2変数の関連指標

2変数の相関は2つのデータの性質によって扱う指標を定める。 単相関係数 数量データと数量データの関連度合い。 偏差平方和 = sum( (x[i] - xの平均)^2 ) 単相関係数 = (x[i] - xの平均)(y[i] - yの平均)の積和 / srqt( xの偏差平方和 * yの偏差平方和 ) 相…

統計データ 正規分布とカイ2乗分布 

基準値 数量データは等間隔のデータだが、標準偏差によって、各間隔の価値のようなものを定めることができる。 例えば、距離mのデータ列では、散らばりの少ないものは、1mの基準(価値)は他とより区別できる値となり、散らばりの大きいものは1mの価値は影響を…

Docker NSQのConsumerへローカルGoプロセスから接続する

通常のNSQ、Consumerへの接続は、lookupdを通して、 q, err := nsq.NewConsumer("topic", "key", nsq.NewConfig()) ... if err := q.ConnectToNSQLookupd("localhost:4161"); err != nil { ... } のようにlookupdでConsumerを抽象化して接続するんだけど、do…

GoからDocker NSQへ接続する

現在、"Go言語によるWebアプリケーション開発"を手を動かしながら読んでいます。 chapter5.3まで完了したんだけど、書籍と違ってて少しハマったところをメモしておきます。 (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a; b[a]=b[a]||function(){arg…

統計データ 標準偏差の求め方

カテゴリデータと数量データ 等間隔数値データ、つまり測れるデータを数量データ、測れないデータをカテゴリデータと呼ぶ。 数量データ 身長 体重 人口 金額 カテゴリデータ 感想や評価 級位、段位 出身地 級位、段位は等間隔の数値データのように見えるが、…

Go $GOPATH外でのプロジェクト時の独自パッケージインポート

$GOPATH外でGOプロジェクト作成時にプロジェクト内で作成したパッケージをimportする方法。 プロジェクトツリーは、 /project/ app/ main.go mylib/ mylib.go のような構成で、main.goから import "mylib" のように利用したい場合。 go modulesを利用するこ…

書籍: Elasticsearch実践ガイド

こちらの本もKindle unlimitedで読み放題で読めます。 日本語での書籍は比較的新しい表題の「Elasticsearch実践ガイド」とASCIIから出版されている「高速スケーラブル検索エンジン ElasticSearch Server」の2冊が有名。 但し、「高速スケーラブル検索エンジ…

Elasticsearch Analyzerで解析した文を検索する

Analyzer Analyzerは以下の処理を行うことを目的とした機能。 全文検索で利用する為にインデックス、クエリ文字列を単語分割する処理。 言語固有の表記揺れの吸収 表記揺れとは? ステミング 語形の変化 making -> make, dogs -> dog, 食べる|食べた -> 食べ…

Elasticsearch 基本的な検索クエリ操作

クエリ操作 基本型 $ curl -XGET 'http://localhost:9200/<インデックス名>/_search' パラメータ指定 (Query String) $ curl -XGET 'http://localhost:9200/<インデックス名>/_search?q=<フィールド名>:<検索ワード>' クエリDSL $ curl -XGET 'http://localh…

Elasticsearch7 構成概念とインデックスの基本操作

Elasticsearchを構成する概念 ドキュメント Elasticsearchに格納するデータの単位。RDBでいうところのレコードの概念。 primary keyとなるIDで管理され、ドキュメント作成時に指定可能。指定しなければ自動で採番される。 フィールド text型 格納する際、単…

Vue TypeScript Dataプロパティの型指定

よく忘れるのでメモしておきます。 以下の例ではObject型と定義したPosition型を持つdataプロパティの型定義の例。 export type Position = { lat: number, lng: number } export default Vue.extend({ data () { return { myProperty: {} as Object, balloo…

Vue TypeScriptでthisの型が推論できない件

TypeScriptでVueを記述していた時、this.propertyの参照が Property 'property' does not exist on type のようなエラーが出て、buildに失敗するような挙動になりました。 Vueインスタンスとしてコンポーネントを定義する export default { name: 'myPage', …

TypeScriptでvuetifyとvue2-google-mapsを使用する

vuetifyを使用する vuetifyはvue create後にaddするので、typescript.jsonにcompile typeの記述が必要なようです。 typescript.json、compilerOptions.typeにvuetifyを追記 "types": [ "webpack-env", "mocha", "chai", "vuetify" ], vue2-google-mapsを使用…

書籍: Amazon Web Servicesを使ったサーバーレスアプリケーション開発ガイド

引き続きLambdaを触っていて、手を動かしながら読み終えました。 こちらの本はLambda + API Gateway + DynamoDBを基本としながらも、Cognito、Kinesis、CloudFormationなんかも詳しく解説してくれています。私もCognito、Kinesis、CloudFormationを勉強した…

AWS GitHubと連携したCodePipelineでの自動Lambda関数のデプロイ

CodePipelineはGithubのpushイベントをウォッチし、ブランチにプッシュ後自動でbuild & deployすることが出来ます。 CodeBuildの設定 GitHubで管理しているプロジェクトのBulidの実行環境構成を記述します。 build-project.json { "timeoutInMinutes": 60, "…

AWS SAMのtemplate.yamlの構成をローカル環境でテストする

SAM使用時にtemplate.yamlの構成のlambda_functionをローカル環境でテストすることができます。 但し、DynamoDBに関しては、別途、DynamoDBローカルの導入が必要となります。 ローカル環境の構築 といっても難しいことは何もなく、コマンドツールをインスト…

AWS Rekognitionで画像解析を行う

AWS rekognitionを使用すると簡単に画像の解析を行うことができます。 Amazon Rekognition とは - Amazon Rekognition Lambda関数でrekognitionを使用する S3のPutObjectをイベントリソースにしたLambda関数の例。S3にアップロードされた画像を解析します。 …

S3 ファイル書き込み用署名付きURLを発行する

非公開のACL S3bucketに対して、オブジェクトをアップロード可能とする署名付き一時URLを発行します。 以前のGETの署名付きURLの書き込みバージョン。 AWS S3 パブリックアクセス禁止のオブジェクトに署名して一時的にアクセス可能なURLを生成する - 追憶行 …

AWS API GatewayをCognito ユーザPool認証ユーザのみアクセス可能にする

API GatewayをCognitoで認証したユーザのみアクセス可能にします。 参考: REST API を Amazon Cognito ユーザープールと統合する - Amazon API Gateway API GatewayのSwagger定義 API GatewayにCognitoのjwtをAPIキーとして送信し、検証する。という考え方で…

AWS Cognito ユーザPoolからログイン処理を行う

昨日はsignup処理を記述したので、今回はsignin処理を記述します。 AWS CognitoユーザPoolの作成とSignupの実装 - 追憶行 Signin処理の実装 import { CognitoUserPool, CognitoUserAttribute, AuthenticationDetails, CognitoUser } from 'amazon-cognito-id…

AWS CognitoユーザPoolの作成とSignupの実装

ユーザPoolの作成 CloudFormationのtemplate.yamlとして記述しました。 cognito-template.yaml Resources: UserPool: Type: 'AWS::Cognito::UserPool' Properties: Schema: - Name: 'email' StringAttributeConstraints: MinLength: '0' MaxLength: '2048' R…

AWS Cognitoについての整理メモ

AWS Cognitoについて整理したことをメモしておきます。 IDフェデレーション 認証プロバイダ(Google, Facebook, Twitterなど)から発行されたIDをCognito内のレコードとして結びつけ管理する機能。 また、認証されたユーザのCognito レコードに対して、一時的…

AWS API GatewayをSwagger仕様でExportする

$ aws apigateway get-export --parameters extensions='apigateway' --rest-api-id apiid --stage-name Prod --export-type swagger export.json とすることで、export.jsonに構成がexportされる。 参考: API Gateway から REST API をエクスポートする - A…

AWS プリフライトリクエストに対応したAPIGatewayの定義をSwaggerで記述する

SwaggerでAPIGateway + Lambdaの構成定義を書いたのでメモしておきます。 出来上がりのtemplate.yaml AWSTemplateFormatVersion: '2010-09-09' Transform: 'AWS::Serverless-2016-10-31' Description: An AWS Serverless Specification template describing …