データ分析– tag –
-
データ分析データにだまされないために ― 分析で陥りやすい5つの落とし穴
はじめに 「データがそう示している」と言われると、つい納得してしまいます。しかし、数字そのものは正しくても、読み方を間... -
データ分析 ナレッジBERTテキスト分類 ― 英語の映画レビューを「肯定・否定」に分けてみる
1.はじめに 「このメールは迷惑メールか」「このレビューは褒めているか、けなしているか」「このニュースはスポーツか、経済... -
ナレッジ暴風警報が出ていなくても台風の影響は捉えられる？ 位置情報を使った来店客数の分析
1. イントロダクション 小売店の来店客数を予測するうえで、天候は重要な要素の一つです。雨の日には外出を控える人もいれば... -
ナレッジPrediction-Powered Inference（PPI）：AIの予測を、統計的に正しく使う方法
1. 概要 Prediction-Powered Inference（PPI） は、機械学習モデルやLLMの予測を大量に使いつつ、少量の正解データでそ... -
ナレッジAIDMA でファネル分析 ― シミュレーションデータで、感度分析とブートストラップ法を使いボトルネックを探す
1. はじめに AIDMA は、人が商品を知ってから買うまでを「認知 → 興味 → 欲求 → 記憶 → 購買」の5段階で表すモデルです。段階... -
ナレッジ多重共線性とは回帰係数の解釈が壊れる理由について解説
はじめに 重回帰分析で、相関の高い説明変数を一緒に入れたことはありませんか。係数の符号が想定と逆になったり、重要そうな... -
データ分析 ナレッジLightGBM・XGBoostのパラメータを徹底解説 ― 数値を変えるとどうなる？
はじめに LightGBM や XGBoost でモデルを作るとき、learning_rate や num_leaves などのパラメータを「よく使われる値」のま... -
データ分析LightGBM・XGBoost・CatBoostをオープンデータで比較してみた
はじめに テーブルデータの予測では、XGBoost・LightGBM・CatBoost の3つが定番です。それぞれ「LightGBM は速い」「CatBoost... -
データ分析負例のデータがなくても分類器は作れる？──Positive-confidence分類
イントロダクション 購入の予測モデルを作りたいとします。自社の顧客のデータ（購入した人）は簡単に集められます。しかし、... -
データ分析レビューの項目ごとの感情を取り出す──ABSA（アスペクトベース感情分析）
イントロダクション スマートフォンのレビューが星4つだったとします。本文には、「バッテリーは長持ちするが、画面が暗くて...