データが主食

データエンジニアの備忘録。分析だったり、読んだ本のメモだったり。

Scala

coder.comでscala環境を整える

Android タブレットでコーディングしてみた - データが主食 ソフトウェアエンジニアが休日に勉強するための環境 - データが主食 Coursera課題用EC2インスタンスのセットアップ - データが主食 などで、勉強環境を述べてきましたが、最近ではcoder.comが流行…

ScalaでMeCabを使うためのセットアップメモ

Amazon Linux2上のScalaでMeCabを使うためのセットアップメモです。 Scalaセットアップ $ sudo yum erase java-1.7.0-openjdk $ sudo yum install java-1.8.0-openjdk $ curl https://bintray.com/sbt/rpm/rpm | sudo tee /etc/yum.repos.d/bintray-sbt-rpm.…

データ構造「Conc Tree」を調べた

Scalaで並列プログラミングを勉強している中で、今まで知らなかったデータ構造「Conc Tree」に出会ったので整理してみました。 原著 最初に紹介されたは2015年の論文のようです。 Conc-Trees for Functional and Parallel Programming Oracle従業員のAleksan…

URL前方一致クエリを高速に実行するためにhttp://を除外してみた(Spark編)

ktr89.hateblo.jp をSparkでも実験してみた件。URLの前方一致検索をするときに、http://とかhttps://を排除して保存しておいた方が速いんじゃないの?という仮説の検証です。今回はSpark(Scala)を使ってみます。

URL前方一致クエリを高速に実行するためにhttp://を除外してみた

アクセスログを分析していると、URLを条件とするクエリを書くことが多いと思います。特に、計測用のパラメータを使った分析などでは、前方一致を使ったクエリが多くなると思います。 SQLで書くとこんな感じですね。 select uid, url from accesslog where re…

Coursera「Functional Program Design in Scala」修了

はじめに ktr89.hateblo.jp の続編講座Functional Program Design in Scalaを修了したので、内容のメモです。

Coursera課題用EC2インスタンスのセットアップ

勉強用環境について ソフトウェアエンジニアが休日に勉強するための環境 - データが主食 で書きましたが、Android TabletのSSHアプリからEC2インスタンスにSSHしてコーディングをしています。 その際のセットアップの備忘録です。CourseraでScalaを勉強する…

Coursera「Functional Programming Principles in Scala」修了

Functional Programming Principles in Scalaとは 最近、仕事でMapreduceやSparkなどを扱うことがおおく、関数プログラミングをちゃんと勉強したいなと思っていました。関数プログラミング由来の概念を実務で使うことがあり全然問題はないのですが、原理原則…