Take Your Time

仕事や研究、コンピューターとの付き合い方

AWS

amazon redshiftでdrop tableが永遠に終わらないとき

ハマったのでメモ。 mediumの記事に書いてあるとおりだが、日本語で出てこなかったし、mediumが消えるかもなので書いておく。 症状 drop table hogehoge;というクエリを発行したところ、永久にdropできない。 定石であるselect pid, user_name, starttime, q…

GPUインスタンスの環境構築

AMI Ubuntu18.04 LT Deep Learning 用(元からnvidia driverが入っている) EC2 G4インスタンス 困ったこと インスタンス起動時はnvidia-smiするとしっかりドライバーが表示されるのだが、一旦停止して再起動するとドライバーが見つからなくなってしまう。 …

クラウドでjupyterを触る時のTips

前提 AWS EC2 (ubuntu) Python3.6.3 バックグラウンドで動かす ssh接続が結構切れるので基本バックグラウンドで動かすべし nohup jupyter notebook > /dev/null 2>&1 & Elastic IPにすべし EC2はデフォルトだとインスタンスを停止するたびにIPが変わる。いち…

モバイルデータサイエンス

クラウドの効用のひとつとしてスマホ1つあれば操作できるというのがある。 AWSにせよGCPにせよアプリをインストールすれば片手でインスタンスをストップしたり開始したりできる。 インスタンスの消し忘れが多いので非常に助かっている。 aws.amazon.com Goo…

AERが入らない

AERパッケージを入れようとしたら入らなかった。 エラーメッセージを読めばわかることだが、libcurl4-openssl-devがないため、AERと依存関係のあるcurlパッケージが入らないのが理由だった。 ターミナルでこれでおk。 sudo apt-get install libcurl4-openss…

AWS上でRStudioを動かす

R AWS

環境 Ubuntu 16.04.4 LTS (GNU/Linux 4.4.0-1061-aws x86_64) Rのインストール 普通にapt-getすると古いやつが入る。Rの公式 The Comprehensive R Archive Network に書いている通り/etc/apt/sources.listにdeb https://cloud.r-project.org/bin/linux/ubunt…

QGIS

QGISデビューしてみた。思った以上に使える。 macosだと、matplotlibが入ってないって怒られたけど、ポチポチいれたら許してもらえた。 PC(win10)でRDS(postgres)インスタンスを立ててQGISでつないでみた。コマンドラインでpostgisを入れなきゃかなと思った…

aginity workbench

AWS

Redshift専用のGUIツールaginity workbenchを使ってみた。 無料のSQLミドルウェアは、Sequel ProとかpgAdminとかPosticoとかいろいろ使ってみたが、その中でも一番出来がいい気がする。