データが主食

データエンジニアの備忘録。分析だったり、読んだ本のメモだったり。

論文

ICSE2019 "Software Engineering for Machine Learning: A Case Study"を読んだ

Microsoft Researchの研究員の方々が、社内のAI関連開発者への聞き取りを通じて、機械学習関連システムのためのソフトウェア工学知見を整理した論文です。 International Conference on Software Engineering(ICSE2019)というソフトウェア工学の国際学会で発…

Junhao Li et al. 「Blaze: Simplified High Performance Cluster Computing」

arxiv.org 著者 Junhao Liさんはコーネル大学の博士課程の学生のようです。 Hang ZhangさんはAmazon AIチームの方のようです。 背景 多くのMapReduceはdata-intensiveなタスクにフォーカスしている。 実世界には、compute-intensiveなタスクもたくさんあるが…

Youngbin Kim et al. 「Serverless Data Analytics with Flint」

ktr89.hateblo.jp に関連して、サーバーレスでビッグデータ処理しているような事例を調べたら、他にも論文が出てきたので読んでみました。 Hadoopクラスターを自前で用意する時代は終わりを迎えていて、AWS LambdaやGoogle Cloud FunctionなどのFunction as …

Ecri Jonas et al.「Occupy the Cloud: Distributed Computing for the 99%」

面白そうな論文があったので、読んでみました。 とは言っても2017年の論文であまり新しくはないです。 Occupy the Cloud: Distributed Computing for the 99% UC BerkeleyのEcri Jonasらによる論文です。 arxiv.org Ecri Jonasは http://ericjonas.com/ によ…