この記事はあくまで著者本人が独断と偏見で、最近データサイエンティストに入門した人、入門しそうな人向け今後データサイエンティストとしてやっていく上で最低限読んでおいてもらいたい情報について雑多にまとめたものになります。もちろん、実践をやっていく上ではこれらを軸にさらにここから数倍以上の内容を勉強していく必要はあります。ある程度専門性によっても変わる部分ではあると思うので、ここではまずは押さえておきたい項目に絞っています。
これは著者が読んだものでしかないので、必ずしもこれらの情報を読めという意図ではなく、ここに上がった項目を一度はちゃんと勉強しておいてもらいたいという意味になります。皆様はこの項目を元に他の書籍、Webページ、動画、LLM、有識者などに教わるなどしてもらえれば良いと思います。
もちろん、これらを読んだだけでは実際にはわかったつもりの状態でしかなくて、今後実践していく中で実感をもって理解できるようになっていきます。それでもやっぱり知識として知ることが最初の段階
基本的に最初はテーブルデータ系を想定して列挙しています。追々画像認識とかの他の技術要素は追加していきたいです。
列挙した情報に賛否両論はあろうかと思いますので、皆様の方で他におススメがあれば、是非コメントで教えてくださいまし。
気が向いたら、時々更新はかけていきます。
ここからはデータサイエンスプロジェクトにおける代表的なフェーズ別に列挙していきます。
正しい解釈は正しい道筋を示してくれます。
一般に機械学習の損失関数とビジネス上の評価関数は異なることがあるということを理解しましょう。何をもって精度を良しとするのかを正しく設計できれば、そのプロジェクトの勝ち筋に乗っかれますが、これを中途半端にすると悲しい結末に向かう可能性が高まるので、かなり重要です。
読んでたら、あるあるばかりで色々フラッシュバックしてきて胃が痛くなりました。
正しい統計学的理解は良い分析に繋がります。個人的には統計検定２級程度で出題されるレベルの知識量と理解があれば業務を始める上では十分だと思います。
可視化することで見えてくることがあります。分析の基本ですから、怠らずに頑張らないといけない部分です。
思い込みをしていると思わぬ落とし穴に嵌ることになります。バイアスをしっかり理解して進めないと、実用に耐えないものを作ってしまいかねません。
データ分析全般のコーディングの流れをある程度網羅されていて、自習的に練習できます。後続の何冊かがシリーズになっているので、それもトライしてみると良いでしょう。
基本的なデータの取り出し、加工の処理が書かれていて、最初にこれだけ押さえておきたいことが網羅されています。
欠損値を安易に平均値で埋めてはいけません・・・。ちゃんと欠損値の意味を解くほぐして、適切な処置をする（もしくはあえてしない）判断ができるようになりましょう。
外れ値も欠損値と同じです。データの意味や分布に合わせて扱えば、安易に除去しないでも有効に使える場合があります。
Kaggleでのテクニックとありますが、しっかりと実践的な内容が含まれていて、特徴量エンジニアリングの色々な手法の使い方のポイントがしっかりと網羅されています。
ざっくりとした全体感が書かれています。経験的に、データの質を担保できた状態であれば、まずはドメイン知識に基づく特徴量の仮説をしっかりと立てて分析し、それをモデルに組み込んで評価の繰り返しが最も有効な手段でした。
最近は精度の観点からはあまりScikit-learnのモデルを学習させることは少なくなってきていますが、シンプルなアルゴリズムで理論が確立しているので、高速に動いて説明力とかの観点では使い勝手が良い場面もあるにはあります。
テーブルデータ系では最近のデファクトです。雑に使ってもそこそこの精度が出しつつ高速に動くので、実用性の高さが人気です。似たような勾配ブースティング決定木モデルとしてXGBoost、CatBoostというのもあり、使い勝手は似ています。
中級以上を想定している本ですが、痒い所に手が届いく内容になっていて、個人的にも非常に好きな本です。一通りながら作業の流れが見えてから読んでも良いと思います。
実践の場で依頼主に説明する場合には、精度がある程度担保できるとその次にはモデルの解釈性を要求される場面があります。
モデルの精度を追及して、いざすごい精度のモデルを作れたとしても、それがビジネス価値を生むかは別の話だったりします。現場でどう使うのかをイメージしておくことは非常に重要です。要件定義～設計フェーズにおける適切な評価指標の設計と併せて進めていくことが真の価値を生むために重要になります。
PoCやっている時には意識しないでも、それが成功していけば実運用に向かいます。ここの作業スコープは必ずしもデータサイエンティストの範疇ではないかもしれないですが、適切な運用の繋げ方は意識しておけると非常に良いと思います。特に時間と共にデータの分布が変わることによるモデルの陳腐化を理解して、汎用性をモデル開発時点で考慮しておけると良いかと思います。
ここに列挙されたものがすぐに全部必要かというと、フェーズや状況によっても必要なものが変わってくるので、すぐに勉強はしなくても良いかもしれません。ただし、実践をして一連の流れを進めていくと必ず遭遇することばかりであり、その時の指針となる情報源があると良いと思います。実際にプロジェクトを進める中で読み返したものや、読んだときはすぐにはわからなかったけど書いてあったことが現場でやってみて腑に落ちたことも何度かあります。日頃から、各自読みやすい本や情報源を見つけてストックしておくようにしたいものです。
Be the first to comment
