著者紹介

内容

目次

はじめに 3 ■第1章　DS検定とは 13 データサイエンティスト検定リテラシーレベルとは 14 データサイエンティスト協会とデータサイエンティストスキルチェックリストとは 15 データサイエンティスト検定リテラシーレベル試験概要 17 出題範囲①　スキルチェックリスト 18 出題範囲②　数理・データサイエンス・AI（リテラシーレベル）モデルカリキュラム 19 本検定と、全てのビジネスパーソンが持つべきデジタル時代の共通リテラシー「Di-Lite」 20 本書の構成 21 ■第2章　データサイエンス力 23 DS1 順列や組合せの式nPr, nCrを理解し、適切に使い分けることができる 24 DS2 確率に関する基本的な概念の意味を説明できる（確率、条件付き確率、期待値、独立など） 25 DS3 平均、中央値、最頻値の算出方法の違いを説明できる 27 DS4 与えられたデータにおける分散、標準偏差、四分位、パーセンタイルを理解し、目的に応じて適切に使い分けることができる 29 DS5 母（集団）平均と標本平均、不偏分散と標本分散がそれぞれ異なることを説明できる 31 DS6 標準正規分布の平均と分散の値を知っている 32 DS7 相関関係と因果関係の違いを説明できる 34 DS8 名義尺度、順序尺度、間隔尺度、比例尺度の違いを説明できる 35 DS9 ピアソンの相関係数の分母と分子を説明できる 36 DS10 ５つ以上の代表的な確率分布を説明できる 38 DS11 二項分布は試行回数が増えていくとどのような分布に近似されるかを知っている 39 DS12 変数が量的、質的どちらの場合でも関係の強さを算出できる 40 DS13 指数関数とlog関数の関係を理解し、片対数グラフ、両対数グラフ、対数化されていないグラフを適切に使いわけることができる 41 DS14 ベイズの定理を説明できる 44 DS19 ベクトルの内積に関する計算方法を理解し、線形式をベクトルの内積で表現できる 45 DS20 行列同士、および行列とベクトルの計算方法を正しく理解し、複数の線形式を行列の積で表現できる 47 DS21 逆行列の定義、および逆行列を求めることにより行列表記された連立方程式が解けることを理解している 49 DS22 固有ベクトルおよび固有値の意味を理解している 51 DS23 微分により計算する導関数が傾きを求めるための式であることを理解している 53 DS24 2変数以上の関数における偏微分の計算方法を理解している 55 DS25 積分と面積の関係を理解し、確率密度関数を定積分することで確率が得られることを説明できる 57 DS26 和集合、積集合、差集合、対称差集合、補集合についてベン図を用いて説明できる 59 DS27 論理演算と集合演算の対応を理解している（ANDが積集合に対応するなど） 61 DS28 単なるローデータとしての実数だけを見ても判断出来ない事象が大多数であり、母集団に占める割合などの比率的な指標でなければ数字の比較に意味がないことがわかっている 62 DS29 ニュース記事などで統計情報に接したときに、数字やグラフの持つメッセージを理解できる 64 DS32 単独のグラフに対して、集計ミスや記載ミスなどがないかチェックできる 65 DS33 データ項目やデータの量・質について、指示のもと正しく検証し、結果を説明できる 67 DS38 データが生み出された背景を考え、鵜呑みにはしないことの重要性を理解している 68 DS41 どのような知見を得たいのか、目的に即して集計し、データから事実を把握できる 69 DS42 データから事実を正しく浮き彫りにするために、集計の切り口や比較対象の設定が重要であることを理解している 70 DS43 普段業務で扱っているデータの発生トリガー・タイミング・頻度などを説明でき、また基本統計量や分布の形状を把握している 71 DS44 時系列データとは何か、その基礎的な扱いについて説明できる（時系列グラフによる周期性やトレンドの確認、移動平均の計算など） 72 DS53 分析、図表から直接的な意味合いを抽出できる（バラツキ、有意性、分布傾向、特異性、関連性、変曲点、関連度の高低など） 73 DS54 想定に影響されず、分析結果の数値を客観的に解釈できる 74 DS56 単回帰分析において最小二乗法、回帰係数、標準誤差、決定係数を理解し、モデルを構築できる 75 DS57 重回帰分析において偏回帰係数と標準偏回帰係数、重相関係数について説明できる 76 DS60 線形回帰分析は量的な変数を予測し、ロジスティック回帰分析は二値の質的な変数を予測する手法であることを説明できる 77 DS70 ROC曲線、AUC（Area under the curve）、を用いてモデルの精度を評価できる 79 DS71 混同行列（正誤分布のクロス表）、Accuracy、Precision、Recall、F値、macro平均、micro平均、重み付き平均といった評価尺度を理解し、精度を評価できる 80 DS72 RMSE（Root Mean Square Error）、MAE（Mean Absolute Error）、MAPE（Mean Absolute Percentage Error）、決定係数といった評価尺度を理解し、精度を評価できる 82 DS76 点推定と区間推定の違いを説明できる 84 DS77 統計的仮説検定において帰無仮説と対立仮説の違いを説明できる 85 DS78 第1種の過誤、第2種の過誤、p値、有意水準の意味を説明できる 86 DS79 片側検定と両側検定の違いを説明できる 87 DS80 検定する対象となるデータの対応の有無を考慮した上で適切な検定手法（t検定, z検定など）を選択し、適用できる 88 DS83 教師なし学習のグループ化（クラスター分析）と教師あり学習の分類（判別）モデルの違いを説明できる 90 DS84 階層クラスター分析と非階層クラスター分析の違いを説明できる 91 DS85 階層クラスター分析において、デンドログラムの見方を理解し、適切に解釈できる 93 DS95 適切なデータ区間設定でヒストグラムを作成し、データのバラつき方を把握できる 94 DS96 適切な軸設定でクロス集計表を作成し、属性間のデータの偏りを把握できる 95 DS97 量的変数の散布図を描き、2変数の関係性を把握できる 96 DS112 ある変数が他の変数に与える影響（因果効果）を推定したい場合、その双方に影響を与える共変量（交絡因子）の考慮が重要であると理解している（喫煙の有無と疾病発症の双方に年齢が影響している場合など） 97 DS113 分析の対象を定める段階で選択バイアスが生じる可能性があることを理解している（途中離脱者の除外時、欠損データの除外時など） 99 DS117 標本誤差およびサンプリングバイアス、およびそれぞれの違いについて説明できる 100 DS118 実験計画法の基本的な3原則（局所管理化、反復、無作為化）について説明できる 102 DS122 外れ値・異常値・欠損値とは何かを理解し、指示のもと適切に検出と除去・変換などの対応ができる 104 DS124 標準化とは何かを理解し、適切に標準化が行える 105 DS125 名義尺度の変数をダミー変数に変換できる 106 DS128 数値データの特徴量化（二値化／離散化、対数変換、スケーリング／正規化、交互作用特徴量の作成など）を行うことができる 107 DS136 データの性質を理解するために、データを可視化し眺めて考えることの重要性を理解している 108 DS137 可視化における目的の広がりについて概略を説明できる（単に現場の作業支援する場合から、ビッグデータ中の要素間の関連性をダイナミックに表示する場合など） 109 DS140 散布図などの軸出しにおいて、目的やデータに応じて縦軸・横軸の候補を適切に洗い出せる 110 DS141 積み上げ縦棒グラフでの属性の選択など、目的やデータに応じて適切な層化（比較軸）の候補を出せる 111 DS145 サンプリングやアンサンブル平均によって適量にデータ量を減らすことができる 112 DS146 読み取りたい特徴を効果的に可視化するために、統計量を使ってデータを加工できる 113 DS153 データ解析部門以外の方に、データの意味を伝えるサインとしての可視化ができる 115 DS154 適切な情報濃度を判断できる（データインク比など） 116 DS155 不必要な誇張をしないための軸表現の基礎を理解できている（コラムチャートのY軸の基準点は「0」からを原則とし軸を切らないなど） 117 DS156 強調表現がもたらす効果と、明らかに不適切な強調表現を理解している（計量データに対しては位置やサイズ表現が色表現よりも効果的など） 118 DS157 1～3次元の比較において目的（比較、構成、分布、変化など）に応じ、BIツール、スプレッドシートなどを用いて図表化できる 119 DS158 端的に図表の変化をアニメーションで可視化できる（人口動態のヒストグラムが経年変化する様子を表現するなど） 120 DS159 1～3次元の図表を拡張した多変量の比較を適切に可視化できる（平行座標、散布図行列、テーブルレンズ、ヒートマップなど） 121 DS168 外れ値を見出すための適切な表現手法を選択できる 123 DS169 データの可視化における基本的な視点を挙げることができる（特異点、相違性、傾向性、関連性を見出すなど） 124 DS174 時系列分析を行う際にもつべき視点を理解している（長期トレンド、季節成分、周期性、ノイズ、定常性など） 125 DS182 機械学習にあたる解析手法の名称を3つ以上知っており、手法の概要を説明できる 128 DS183 機械学習のモデルを使用したことがあり、どのような問題を解決できるか理解している（回帰・分類、クラスター分析の用途など） 129 DS184 「教師あり学習」「教師なし学習」の違いを理解している 130 DS185 過学習とは何か、それがもたらす問題について説明できる 131 DS186 次元の呪いとは何か、その問題について説明できる 132 DS187 教師あり学習におけるアノテーションの必要性を説明できる 133 DS188 観測されたデータにバイアスが含まれる場合や、学習した予測モデルが少数派のデータをノイズと認識してしまった場合などに、モデルの出力が差別的な振る舞いをしてしまうリスクを理解している 134 DS189 機械学習における大域的(global)な説明（モデル単位の各変数の寄与度など）と局所的(local)な説明（予測するレコード単位の各変数の寄与度など）の違いを理解している 135 DS190 ホールドアウト法、交差検証（クロスバリデーション）法の仕組みを理解し、学習データ、パラメータチューニング用の検証データ、テストデータを作成できる 136 DS191 時系列データの場合は、時間軸で学習データとテストデータに分割する理由を理解している 137 DS192 機械学習モデルは、データ構成の変化(データドリフト)により学習完了後から精度が劣化していくため、運用時は精度をモニタリングする必要があることを理解している 138 DS201 ニューラルネットワークの基本的な考え方を理解し、出力される「ダイアグラム」の入力層、隠れ層、出力層の概要と、活性化関数の重要性を理解している 139 DS202 ライブラリを使ってサポートベクターマシンによる分析を実行・評価できる 141 DS203 決定木をベースとしたアンサンブル学習（Random Forest、勾配ブースティング[Gradient Boosting Decision Tree：GBDT]、その派生形であるXGBoost、LightGBMなど）による分析を、ライブラリを使って実行でき、その結果を正しく解釈できる 143 DS216 深層学習（ディープラーニング）モデルの活用による主なメリットを理解している（特徴量抽出が可能になるなど） 144 DS231 テキストデータに対する代表的なクリーニング処理（小文字化、数値置換、半角変換、記号除去、ステミングなど）を目的に応じて適切に実施できる 145 DS232 形態素解析や係り受け解析のライブラリを適切に使い、基本的な文書構造解析を行うことができる 146 DS233 自然言語処理を用いて解けるタスクを理解し、各タスクの入出力を説明できる（GLUEタスクや固有表現抽出、機械翻訳など） 147 DS247 画像のデジタル表現の仕組みと代表的な画像フォーマットを知っている 149 DS248 画像に対して、目的に応じた適切な色変換や簡単なフィルタ処理などを行うことができる 150 DS249 画像データに対する代表的なクリーニング処理（リサイズ、パディング、正規化など）を目的に応じて適切に実施できる 151 DS256 動画のデジタル表現の仕組みと代表的な動画フォーマットを理解しており、動画から画像を抽出する既存方法を使うことができる 152 DS259 WAVやMP3などの代表的な音声フォーマットの特徴や用途、基本的な変換処理について説明できる（サンプリングレート、符号化、量子化など） 153 DS260 目的に応じ音声認識関連のAPIを選択し、適用できる（Speech to Text など） 154 DS265 条件Xと事象Yの関係性を信頼度、支持度、リフト値を用いて評価できる 155 ■第3章　データエンジニアリング力 157 DE1 オープンデータを収集して活用する分析システムの要件を整理できる 158 DE8 サーバー1～10台規模のシステム構築、システム運用を設計書を元に実行できる 159 DE9 数十万レコードを持つデータベースのバックアップ・アーカイブ作成など定常運用ができる 160 DE18 ノーコード・ローコードツールを組み合わせ、要件に応じたアプリやツールを設計できる 161 DE19 コンテナ技術の概要を理解しており、既存のDockerイメージを活用して効率的に分析環境を構築できる 162 DE20 分析環境を提供するクラウド上のマネージドサービス（Amazon SageMaker、Azure Machine Learning、Google Cloud AI Platform、IBM Watson Studioなど）を利用し、機械学習モデルの開発機能を利用することができる 163 DE31 対象プラットフォームが提供する機能（SDKやAPIなど）の概要を説明できる 164 DE32 Webクローラー・スクレイピングツールを用いてWebサイト上の静的コンテンツを分析