{
"cells": [
{
"cell_type": "markdown",
"metadata": {},
"source": [
"# 相関・散布図"
]
},
{
"cell_type": "markdown",
"metadata": {},
"source": [
"\n",
"相関は、２つの量が関連して変動するかどうかを確かめるための１つの方法です。\n",
"\n",
"---\n",
"\n",
"分散は、\n",
"\n",
"$$\\frac{\\sum_i(x_i-\\bar{X})^2}{n} $$\n",
"\n",
"でしたが、\n",
"2つの変数の方向性を示す方法として共分散があります。\n",
"共分散 ２つの変数の方向性を示す。\n",
"\n",
"xとyが同じ方向に動くなら正の値、逆の方向に動く場合は負の値になります。\n",
"\n",
"共分散は以下のように求められます。\n",
"\n",
"$$ cov = \\frac{\\sum{(x_i-\\bar{X})(y_i-\\bar{Y})}}{n} $$\n",
"\n",
"もしくは分母は`n-1`\n",
"\n",
"---\n",
"\n",
"\n",
"相関係数\n",
"数値変数が互いに関連する程度を測った指標です（範囲は-1から+1）。\n",
"\n",
"ピアソンの積率相関係数\n",
"\n",
"$ r = \\frac{\\sum(x_i-\\bar{X})(y_i-\\bar{Y})}{\\sqrt{\\sum(x_i-\\bar{X})^2(y_i-\\bar{Y})^2}}$\n",
"\n",
"この式は、共分散（covariance）\n",
"\n",
"$ cov = \\frac{\\sum{(x_i-\\bar{X})(y_i-\\bar{Y})}}{n} $\n",
"\n",
"を、xとyのそれぞれの標準偏差\n",
"\n",
"$ \\sigma_x = \\sqrt{\\frac{\\sum_i(x_i-\\bar{X})^2}{n}} $, \n",
"$ \\sigma_y = \\sqrt{\\frac{\\sum_i(x_i-\\bar{X})^2}{n}} $\n",
"\n",
"の積で割ったもの（$r = \\frac{cov}{\\sigma_x\\sigma_y}$）です。\n",
"\n",
"---\n",
"\n",
"相関行列\n",
"行と列が変数を表し。セル値が変数間の相関関係を表す表。\n",
"\n",
"---\n",
"\n",
"散布図\n",
"x軸に変数の値、y軸に別の変数の値をとる図。\n",
"\n",
"\n",
"---\n",
"\n",
"相関係数と因果関係\n",
"ここで注意が必要なのは、相関係数はあくまで統計的傾向であって、必ずしも因果関係ではないということです。\n",
"xとyに正の相関があるからといって、xを増やせばyが増えるわけではありません。\n",
"\n",
"---\n",
"\n",
"![](\"https://www.yuyashibuya.com/files/studygroup/correlation_scatter_plot.png\")
"
]
},
{
"cell_type": "code",
"execution_count": 1,
"metadata": {
"scrolled": true
},
"outputs": [],
"source": [
"import pandas as pd\n",
"import numpy as np\n",
"from matplotlib import pyplot as plt\n",
"%matplotlib inline\n"
]
},
{
"cell_type": "code",
"execution_count": null,
"metadata": {},
"outputs": [],
"source": [
"df = pd.DataFrame({'x': [10, 12, 14, 20, 25, 26, 19, 21, 17, 11, 14, 13],\n",
" 'y' :[460, 390, 490, 610, 890, 880, 1200, 1300, 840, 620, 450, 560]})"
]
},
{
"cell_type": "code",
"execution_count": 2,
"metadata": {},
"outputs": [
{
"data": {
"text/html": [
"\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" x | \n",
" y | \n",
"
\n",
" \n",
" \n",
" \n",
" | count | \n",
" 12.000000 | \n",
" 12.000000 | \n",
"
\n",
" \n",
" | mean | \n",
" 16.833333 | \n",
" 724.166667 | \n",
"
\n",
" \n",
" | std | \n",
" 5.373899 | \n",
" 299.316140 | \n",
"
\n",
" \n",
" | min | \n",
" 10.000000 | \n",
" 390.000000 | \n",
"
\n",
" \n",
" | 25% | \n",
" 12.750000 | \n",
" 482.500000 | \n",
"
\n",
" \n",
" | 50% | \n",
" 15.500000 | \n",
" 615.000000 | \n",
"
\n",
" \n",
" | 75% | \n",
" 20.250000 | \n",
" 882.500000 | \n",
"
\n",
" \n",
" | max | \n",
" 26.000000 | \n",
" 1300.000000 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" x | \n",
" y | \n",
"
\n",
" \n",
" \n",
" \n",
" | x | \n",
" 1.000000 | \n",
" 0.676428 | \n",
"
\n",
" \n",
" | y | \n",
" 0.676428 | \n",
" 1.000000 | \n",
"
\n",
" \n",
"
\n",
"