大規模なデータセットを分析していると、得てして勿体無い精神でできる限りたくさんデータを使おうとしてしまうのが人間の性である。しかし実際は簡単な分析に何ギガものデータセットは不要で、サンプル抽出して分析すれば事足りることも多い。大規模データ…

厚労省の局長クラスのOBの出版が相次いでいる。まだ読み始めたばかりだが正直言って本当に上から目線だなと感じる。同じ職場にいて彼らがどれだけ時間がないかよくわかっているし、議論の相手も学者ではなくて知識のない相手としかやってないことも知ってい…

苦手だったクローラー（python, selenium）をようやくできたので、備忘録。 headlessよりheadありの方が楽。phantomjs使っていたが、動きがわかるchromedriverの方が楽だった。 要素検証でxpathをコピーしてfind_element_by_xpathで楽勝。

甘さに香りの芳醇さが病みつきになる感じ。うまかった。

まろやかであまーい香りが心地いいバーボン。山崎とかもうまいけどやっぱバーボンだなと思った。

ドイツジン。タンカレーが好きなのでそこからの比較になるが、妥協を許さないドイツ人の気性なのか甘さや爽やかさがなく強烈な香草の香りが伝わってくる。あんまりロックで飲むものじゃないかも。

かれこれ10年以上も企画やら分析に携わってきた中で明確に自分の中ではTIPSだと言えることがある。それは表題の通り計画と作業を分けることだ。 組織で働いていると、分析を計画し指示する人と作業する人が分かれているので、計画者は作業の工数や難易度など…

今週はイベントもなく作業に没頭できた。機械学習は予測系の問題には強いが、データからなんらかのインプリケーションを引き出すには人間の力がまだ必要。世界を叙述するモデルを描いてデータとの対応関係を想像する。とても面白い。

概要 Pythonでイテレーションしてみた。クソむずかった。 やりたかったこと ある特定の日付からの秒数が入ったカラムを実際の日時時刻にしたい。 手順 まず、起点となる日時をstart_pointにdatetime型で入れる。この場合、2017年8月26日0時0分0秒。 次にデー…

さて1週間。今週は勤務日三日だったので進捗は少なめ、と思いきや結構苦手なエンジニアリング方面で進捗あり。 来週は社内のハッカソンに出ることに。しばらく独り身生活になることもあるし、ギアを一段入れて良い年を越したい。

久々に長いコードを書いたので。 概要 国土地理院の国土数値情報は豊富な位置情報があって楽しい。しかし、GISとか詳しくないと超使いづらいのでcsvファイルにしてしまいたい。 試行錯誤したが、名前空間とかめんどくさいのでエンジニアリング力低めの人間に…

5年前こんな記事を書いた。 delma.hatenablog.com 当時はまだRとかSTATAとかプログラミングというよりコマンドラインベースの統計ソフトウェアを四苦八苦して使っていたが、今はpython, SQL, Rという感じで少しエンジニア度が強まった。 我ながら当時の自分…

powershellで7-zipをインストールしてgzファイルを解凍。 choco install 7zip 7z e hoge.gz

このブログは就職してから不定期に１０年以上も書き綴っているのだけど、最近暇になって見返してみると、昔は賢かったんだなあと思うことは少なくて（よくそんな非効率なことやってたなと思うことは多いが）、いろいろあほなこと考えてたんだなあと思うこと…

戯れにwin10環境にjuoyter環境を構築してみた。 powershell でwindowsのパッケージマネジメントツールchocolateyをインストール。 Set-ExecutionPolicy AllSigned Set-ExecutionPolicy Bypass -Scope Process -Force; iex ((New-Object System.Net.WebClient…

もはや週報とかしているこのブログ。 今週は前半は風邪、後半は復活してきて少し仕事ができた感じ。やはり寝不足は良くない。 無駄にネットを見ない、その代わりしっかり本を読む時間を取る。習慣を変えていく。あと良く寝る。

ひたすら風邪の1週間。娘にうつされるってでも一回はいってみたい。とりあえず休みとっておいてよかった。来週挽回しよう。

文化の日なので今日で1週間終わり。 なんとなく仕事は回っているような感じ。さらにブーストしていきたい。 あとなんか表彰された。なんとなくそんな感じはしていたが。。 34歳最後の週だった。 去年はこんな感じ。 delma.hatenablog.com 一年前から転職は考…

また木曜に1週間の振り返り。今週はイマイチ。なんか寝不足のせいかまともに進んだものがなし。どちらかというと人とのコミュニケーションが多かった。 あとタスクが増えた。これは良いこと。ただ、発散しそうになっていたので、全てスケジュールベースで管…

組織で仕事していく上で情報をどう回すかというのはとても重要だ。前の職場では、情報の流通は各担当ごとに窓口が存在して、窓口からチームの必要な人間に一通一通ち密に宛先をわけたメールが飛んでいた。これをするためには24時間体制で適切に情報を受け渡…

子供の頃エッセイが好きだった。朝日新聞に載ってた中島らもの世の中を茶化したお悩み相談、週刊誌に載ってたナンシー関の毒しかない芸能人評、読み人知らずの新聞のリレーコラム、すてきなあなたに、なんかも愛読書だった。 最近ちょっと余裕ができて新聞の…

GISとかQGISについて書かれた本。Githubに転がってた。 QGIS_book/all.md at master · Arctictern265/QGIS_book · GitHub

QGISデビューしてみた。思った以上に使える。 macosだと、matplotlibが入ってないって怒られたけど、ポチポチいれたら許してもらえた。 PC(win10)でRDS(postgres)インスタンスを立ててQGISでつないでみた。コマンドラインでpostgisを入れなきゃかなと思った…

Redshift専用のGUIツールaginity workbenchを使ってみた。 無料のSQLミドルウェアは、Sequel ProとかpgAdminとかPosticoとかいろいろ使ってみたが、その中でも一番出来がいい気がする。

昔から悩んでることとしてコンピュータの計算待ちをどう過ごすかということがある。最近特に１０－２０分かかる計算をよくしているので何をするか悩む。あまりにも本格的に他のタスクに取り組むとやろうとしていたことを忘れるし、ただネットサーフィンする…

転職三ヶ月が経ってから↓の本を読んだ。耳の痛い本だが読んでよかったと思える本だ。自然にやってることもあった。最初は気に入られることを最優先にしろとか、社内用語を覚えて使うとか、交流を深めよとか。 ただ、大きな成果を目指すなっていうのは、企業…

なんだか仕事術のことしか書いてない気がするが転職して軌道にのるまでは仕方ない。 突発事案とかがなく、自分のペースで仕事できる環境にある以上は効率性を追求すべきだし、維持しなければならない。 長期計画を日々確認微修正しつつ、週単位のスケジュー…

まだ一週間終わってないが雑感。 - やっぱ転職って難しい。今の会社はほぼみんな中途だからいいものの、出来上がった組織や人間関係に入っていくだけの気合がないと活躍は難しそう。 - 三ヶ月、嫌われないことにプライオリティ置いてきたけどそろそろ攻めて…

飲み会が続いて常に睡魔と戦う毎日だったが、それなりに収穫はあり。毎日朝スケジュール組んでこなすというスタイルは定着させたい。

vivaldi使って見た印象 いい点 ウェブパネルは使いやすい。スケジューラーとかスラックとかそういうのを入れておけば気になった時に作業止めずに確認できる。 ウェブパネルは更新されなかったりログインできなかったりするトラブルがあるがキャッシュを消し…