中川碧– Author –
-
データ分析 ナレッジ精度が良すぎるとき、テストの情報はどこから混ざったのか:データリークの整理
はじめに 検証で、予想よりずっと高い精度が出た。うれしい反面、少し不安になる。そんな経験はないでしょうか。精度が良すぎ...#データ分析 #データ活用 #分析 #機械学習 -
ナレッジ正解ラベルがまちがっていると、モデルはどこまで耐えられるか
はじめに 目的と背景 機械学習では「正解ラベルは正しい」という前提でモデルを学習します。しかし実際のデータでは、この前...#AI #データ分析 #機械学習 -
ナレッジ木モデルは外挿できない:RandomForestとLightGBMは、みたことのない範囲で頭打ちになる
はじめに RandomForestやLightGBMは、表形式のデータの予測で強力です。では、訓練データより大きい値を予測させると、どうな...#データ分析 #データ活用 #分析 -
ナレッジ特徴量重要度は信用していいのか:RandomForestは、無関係なランダム列を「最重要」と答える
はじめに RandomForestには、feature_importances_という、特徴量の重要度を返す機能があります。「どの列が予測に効いている...#データ分析 #分析 #機械学習 -
ナレッジ薬を飲んだら血圧が下がった。それでも『効いた』と言えない理由
はじめに 血圧が高い人を集めて、ある薬を二週間飲んでもらったところ、平均血圧が下がっていました。この薬は効いたといえる...#データ分析 #分析 #統計 -
ナレッジ調整すればいいとは限らないー合流点バイアスとは何か
はじめに 以前交絡について書きました。AとBに相関が見えても裏で両方に影響している第3の変数Cがあるならその相関は見かけ...#データ分析 #合流点バイアス #知識 #統計 -
ナレッジ欠損値の補完方法を6種類比較してみた
はじめに 目的と背景 データ分析やコンペに取り組んでいると、欠損値の処理は避けて通れません。「とりあえず平均で埋める」...#データ分析 #分析 #欠損値 -
ナレッジモデルの確率、信じていいの?ー確率キャリブレーション入門
はじめに 機械学習モデルが「このデータはクラスAである確率80%」と出力したとき、その「80%」を素直に信じていいのでしょう...#キャリブレーション #機械学習 #知識 -
ナレッジ交絡が見つかったらどうする?対処法を徹底比較
1. 導入 前回は初学者でも分かりやすく行楽とは何かについて解説しました。今回は実際に行楽と気づいた際にどのように対処す...#データ分析 #分析 #機械学習 #知識 -
ナレッジ交絡とは、データ分析で必ず出会う落とし穴について詳しく解説
導入 データ分析をしていると、「相関があるのに予測が外れる」という経験はありませんか? その原因は、もしかしたら交絡か...#データ分析 #交絡 #知識
12
