# pandasメモ

# データの読み込み

## csvからの読み込み

# headerなし
```python
df_none = pd.read_csv('data/src/sample.csv', header=None)
print(df_none)
#     0   1   2   3
# 0  11  12  13  14
# 1  21  22  23  24
# 2  31  32  33  34

# header 指定
df_names = pd.read_csv('data/src/sample.csv', names=('A', 'B', 'C', 'D'))
print(df_names)
#     A   B   C   D
# 0  11  12  13  14
# 1  21  22  23  24
# 2  31  32  33  34
```
[pandasでcsv/tsvファイル読み込み（read_csv, read_table） | note.nkmk.me](https://note.nkmk.me/python-pandas-read-csv-tsv/)

## sqliteからの読み込み
```python
import sqlite3
from contextlib import closing

with closing(sqlite3.connect("database_path")) as conn:
   df = pd.read_sql_query("query", conn)
```
# データの取得

## column名(header)の取得
```python
df.columns
```
# 書き込み

## sqliteへの書き込み

[https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html](https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_sql.html)  
[pandas で sqlite3 の読み書き - Qiita](https://qiita.com/ekzemplaro/items/8dbf65cad62511854053)

# 変換

## data frame,seriesをlistに変換
```python
df.values.tolist()
ser.values.tolist()
```
## unix timeからdatetime
```python
pd.to_datetimeを使う。  
```
Unit引数でもとがどういう粒度のデータなのか指定する。  
[http://024minion.hatenablog.jp/entry/2017/12/29/021448](http://024minion.hatenablog.jp/entry/2017/12/29/021448)

## ローソク足チャートの作成

**生データからの取得**  
pandas dataframeのresampleを使用する  
[https://note.nkmk.me/python-pandas-resampling-ohlc/](https://note.nkmk.me/python-pandas-resampling-ohlc/)

## columnがMultiIndexになったときの再設定

Resample関数などを使用するとcolumnがネストしたMultiIndexになるときがある。  
Df.columnsに再代入すればネストを削除できる。
```python
aggdf: pd.DataFrame = dataframe.resample(agg_unit).agg({"value": "ohlc", "quantity": "sum", "ts": "size"}).fillna(0)
aggdf.columns = [I[1] for I in aggdf.columns]
```
## 時間ごとの集計

resample関数を作成する。  
_dataframeの各列へのresample_  
[https://stackoverflow.com/a/42938645](https://stackoverflow.com/a/42938645)  
_seriesへのresample_  
[https://financial-it-engineer.hatenablog.com/entry/20161116/1479283739](https://financial-it-engineer.hatenablog.com/entry/20161116/1479283739)

## 例外対応

### TypeError: Only valid with DatetimeIndex, TimedeltaIndex or PeriodIndex, but got an instance of ‘RangeIndex’

- resample関数のときにでた
    - dataframeのindexを DatetimeIndexに変更すれば解決した
    - resampleは日付でしか集計できないっぽい

### DataError: No numeric types to aggregate

- resample関数のときに出た
    - 集計対象のデータをnumericにしたら解決
    - 集計対象がobjectとかだと集計できない
