テック

Scala DynamoDBを利用する

PlayframeworkからAWS SDK for Java 2.0を使用して、DynamoDBを利用したので記録しておきます。 といってもJavaのAWS SDKを使用するだけなので、Scalaはあまり関係ないかも(^_^;) 依存ライブラリ build.sbt libraryDependencies += "software.amazon.awssdk"…

AWS API Gatewayからのevent['body']がbase64 encodeされて渡される

表題の通り。 method="POST"で送信した値がHTTP APIとしたAPI GatewayからLambdaにeventを渡す際、bodyの中身がbase64 encodeされた文字列として渡される。 API GateWayから渡されるevent['body']は今の仕様だとbase64エンコードされて渡されるみたい。from …

AWS Python boto3でDynamoDBを扱う

PythonからAWSの各リソースにアクセスするにはboto3を利用します。 AWS Lambdaで利用する際は、そのままboto3が扱えるのでLambdaパッケージにboto3を含める必要はありません。 DynamoDBのリソースを取得 import boto3 dynamodb = boto3.resource('dynamodb')…

AWS DynamoDBメモ書き

インスタンスについて VPCではなくS3のようにグローバルセグメント?(この言い回しが正しいか謎(^_^;))に配置される。 プライマリキーについて RDBと同様、データを一意に特定できるプライマリキーの設定が必要。プライマリキー以外の項目はスキーマレスで自…

AWS docker-lambdaでローカル環境でlambda関数の開発を行う

先日はEC2上でLambda関数の開発を行いましたが、EC2を立てるのが手間・費用がかかるのがちょっと...という方は、docker-lambdaを使用することでLambdaコンテナの動作をエミュレートすることができます。 GitHub - lambci/docker-lambda: Docker images and t…

AWS S3イベントをトリガーにLambda Functionを実行する

Lambda FunctionはS3で発生したイベント(例えばオブジェクトのputやdelete)をトリガーに実行することができます。 ここではS3にオブジェクトをputした契機でLambda Functionを実行する方法を記述します。 Lambda関数の作成 関数の設計図から作成するとS3イベ…

lambda関数パッケージビルド用EC2を構築する

lambda関数からCPU依存のライブラリや各AWSサービスに接続を行う場合、lambdaが実行されるOS、Amazon Linuxからパッケージビルドを行えばトラブルが少ないです。 EC2にIAMロールの割り当て Lamdaで使用するIAMロール同様のEC2用のIAMロールを作成しておき割…

AWS Lambda Functionをスケジュールして定期実行する

AWS LambdaはCloud WatchのEventトリガーと連動してCronのように定期実行することができます。 定期実行Functionの作成 Cloud WatchのルールとLambda ファンクションを別々に定義することも可能ですが、Lambda関数定義時に設計図から定義すると関数作成と同…

brewでws-sam-cliとsawを導入

brewでAWS toolをインストールした時のメモ aws-sam-cli macOS への AWS SAM CLI のインストール - AWS サーバーレスアプリケーションモデル $ brew tap aws/tap $ brew install aws-sam-cli $ sam --version SAM CLI, version 0.52.0 saw saw is a multi-pu…

Playframework application.confに環境変数をbindする

環境ごとに異なる設定値をapplication.confに設けます。 OSの環境変数設定 ~/.bash_profileとかに、 export SECRET_KEY="****" と記述しておく。source ~/.bash_profileしておこう。 application.confの記述 環境変数は${?varName}で読み込めます。envvalの…

Scala Playframework S3にファイルアップロードを行う

2.x系のAWS SDK for JavaでScala + Playframework + S3アップロードを行ったのでメモしておきます。 AWS SDK for Java 2.x AWS SDK for Java 2.0 開発者ガイド - AWS SDK for Java バージョン 2 依存ライブラリの導入 僕の環境では40分ほどbuildに時間を要し…

AWS S3アクセスIAMユーザの作成とaws cliでのファイルアップロード

S3バケット 以下の作業は予めS3にYourBucketNameというbucketを作成しているものとする。 S3アクセス可能とするIAMユーザの作成 IAMユーザ作成後、インラインポリシーを作成。以下は指定のバケット(YourBuketName)に対するS3FullAccessのポリシーとなる。 { …

Playframework データアクセスするRepositoryクラスのDependencyInjection

PlayでAnornを使用していて、RepositoryクラスをDIした時のメモ。といってもAnormは関係ない。 Repositoryクラス 差し替え可能であること前提で抽象化するようtraitを用意しておく。 Trait trait ShopRepositoryTrait { def withBegin():ShopRepository def …

Vue.jsでJsonと画像をmultipartでPlayframeworkにPOSTする

WebAPIとして動作しているPlayframeworkにmultipartでJsonとファイルデータを送信します。 Vue側の実装 template axiosでPOSTするので、formにはmultipartをつけず、prevent指定でページロードしないように制御する。 <template> <form> <input type="text" v-model="shopMame"> <input @change="changeFile" type="file" name="upfile[]" multiple accept="image/*" /> </form></template>

Playframework 複雑なJsonデータをオブジェクトにmappingまたはForm bind、validateする

WebAPIとして動作しているPlayframeworkのJsonデータのパースについて。 Jsonデータは、 { "shopName":"Let it Ride", "position":{ "lat":35.66530148846749, "lng":139.41634567694945 }, "testArray":[1,2,3,4] } のように入れ子、または配列のデータを含…

Scala Akka Actorモデルについて

Akka Actorとは? Akka ActorはActorに対してメッセージを配信する仕組みを提供する。 messageの送信は非同期で送信され、透過的にキューイングされ、Actor側からはキューメッセージを取り出し同期的に処理を行う。 依存ライブラリ libraryDependencies ++= …

Scala FutureとPromiseについて

Futureは後から結果がわかるといったコンテキスト。スレッドをコンテキストの懸念に抽象化することによって、関数型プログラミングに沿ったコンテキストとしてスレッドを扱うことができる(説明が合ってるかは謎...)。 Futureを使ってみる import scala.concu…

Java Fork/Joinフレームワークについて

今日もN予備校で学習 タイトルはJavaだけどScalaの勉強で必要になったので(^_^;) 記事内のコードはScalaです。 Fork/Join フレームワーク Executorフレームワークでは、スレッドは割り当てられたキューのタスク消化を行った(待機スレッドは他スレッドのタス…

Java Executror フレームワークについて

この本読んでて、非同期処理についてもう少し知ってないと厳しいと感じて、N予備校で勉強した並行処理のことを忘れるのでメモしておく。 (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a; b[a]=b[a]||function(){arguments.currentScript=c.currentScr…

書籍:すごいHaskellたのしく学ぼう!

軽い気持ちでScalaの勉強を始めたんだけど、"モナド"という魔法の言葉が出てきた。 調べれば調べるほどに"モナド"というものが分からなくて(笑)、そんな時に何かのレビューで、「恐らくこの本が一番初心者に分かりやすくモナドの懸念を解説してる」というの…

Scala 関数引数の遅延評価

式評価のskip、実行について 式評価の基準について。 // falseで条件外となるので{println("!!"); true}は評価されない scala> false && { println("!!"); true } res1: Boolean = false // {println("!!"); true}が評価され、式結果はtrueとなる scala> tru…

Scalaインタプリタで依存関係を解決する

この本を進めていて、途中、Eitherの実装の章でコンパイルが通らなくなった。 (function(b,c,f,g,a,d,e){b.MoshimoAffiliateObject=a; b[a]=b[a]||function(){arguments.currentScript=c.currentScript ||c.scripts[c.scripts.length-2];(b[a].q=b[a].q||[])…

Scala 型パラメータ、変位指定と下限境界の勉強

懸念を整理したので、自分なりの理解を記録しておきます。 おもちゃ箱、ToyBoxにおもちゃToyのサブクラス、MiniCarとCharacterCardインスタンスを格納するという実装で考える。 初期実装 型パラメータを使わない各初期実装は以下の通り。ToyBoxにはToyを抽象…

Scala 代数的データ型を扱う

代数的データ型とは? 複数のデータコンストラクタ(Scalaではclassやobject)を取りまとめた型。オブジェクト指向の抽象クラスのような考えに近いと思った。 ただ、オブジェクト指向の抽象は、使い手が何のインスタンスであるか意識しなくて良いのに対して、…

Scala 無名関数と関数合成

無名関数、関数リテラルの定義 Scalaの無名関数、関数リテラルは以下のように記述することで定義できる。 val f = (x:Int, y:Int) => x == y これは引数2つの関数リテラルとなるので、Function2(2は引数2つの意味)のtrait実装の無名クラスの糖衣構文となる。…

書籍:実践Scala入門

自分のScalaの学習の経歴は N予備校のScala講座で学習 コップ本23章まで読んだ Haskellの入門書一冊を終了。型クラスやファンクター、モナドの概念は一応は理解しているつもり。 程度。ただし、学んだ端から忘れていってしまう(笑)ので、もう少し基本的なこ…

書籍:Java/Scalaフレームワーク Play Framework入門

Playframeworkについての入門書は以外とあまり出てなくて、日本語で書かれた出版社から出版された書籍は多分この2冊になると思う。 しかしながら、徹底入門の方は2013年末出版のPlayのバージョンが低い & Javaベースで書かれた本なので、新しいバージョンに…

Playframework pac4jを使用したTwitter、GitHubソーシャルログイン

pac4jとは? pac4jはrubyでのOmniAuthのようなJavaで書かれた横断的なソーシャルログインライブラリ。 pac4j: security for Java https://github.com/pac4j/play-pac4j Scala + Playframeworkでも利用できるので、TwitterとGitHubのソーシャルログインを試し…

Playframework フォームバリデーションと表示整形、ユニットテストについて

バリデーションの定義 Formオブジェクト生成の定義に記述する。 Form{ mapping( "password" -> nonEmptyText.verifying(passwordCheckConstraint), "mail" -> email, "tel" -> nonEmptyText(maxLength = 13, minLength = 10).verifying(error="不正な番号で…

Scala PlayframeworkのController、Actionとは?

PlayframeworkのControllerのメソッド、Action{}とはなんぞや?の整理。 def index() = Action{ implicit request => Ok("Hello World") } 自分なりの解釈なので、間違ってたらごめんなさい。 Actionの定義 Action.scalaのActionBuildertraitのapplyメソッド…