IT Learning

実践形式でITのお勉強

残差平方和から回帰係数の式を求める

2022/06/05   -統計

データから回帰直線 \( y=\hat{\alpha} + \hat{\beta} x \) を最小二乗法によって求めた場合に、回帰係数 \(\hat{\alpha}, \hat{\beta}\)は次 …

【Python】Command “python setup.py egg_info” failed with error code 1 in pywinptyが出た時の対処法

2022/04/30   -Python

概要 Pythonの3.6.8環境にjupyterlabをpipでインストールした際に、pywinptyのインストール部分で次のようなエラーが発生したため、対処法についてメモします。 発生したエラー …

【TensorFlow】preprocessing.timeseries_dataset_from_arrayの使い方

概要 kerasの時系列予測のチュートリアル(Timeseries forecasting for weather prediction (keras.io))を見ていたところ学習用データセットを作成 …

VSCodeから使える超便利なSQLツール “Database Client”

2022/04/11   -VScode
 ,

概要 データベースのクライアントツールはデータベース毎に様々用意されているものがありますが、VSCodeのようなエディタから複数の種類のDBに使える汎用的なプラグインは非常に便利です。 以前、有名どこ …

【keras】オートエンコーダを用いた時系列データの異常検知を試す

深層学習を簡単に使用することができるkerasを使用して時系列データの異常検知について勉強していきたいと思います。 環境 こちらで構築したkerasの環境を使用します。 Windows10にKeras …

【Python】データから確率密度関数を推定する

2022/03/13   -Python

概要 統計学で連続的な確率変数の値を扱う場合には確率密度関数を用いて確率を定義します。 今回はPythonで実データから確率密度関数を推定する方法について簡単に紹介していきます。 環境 Python …

【Python】dateutil relativedeltaで年月の相対変化値を取得する場合の注意点

2022/03/07   -Python

概要 Pythonで過去のデータに対する集計などを行う際に昨年、先月などの単位で集計したい時があると思います。このような時にはdateutilライブラリを使うと楽に実現できておすすめなのですが、コード …

【Python】pandasで数値値データを日時型へ変換する方法

2022/02/23   -Python
 

概要 Pythonのpandasにはto_datetimeというメソッドが用意されており文字列型を日時型に一発で変換することができます。 しかし、数値→日時型への変換については数値の型にも気を配らない …

【Python】データフレームで1が入っている列を判定して結果を一列に集約する

2022/02/19   -Python
 ,

概要 Pythonのデータフレームのget_dummiesの結果のような横持のデータがあった場合に、どの列に1が入っているかを判定して結果を一列にまとめる方法について考えてみました。 検証データ 以下 …

【Python】pandas のresampleで”TypeError: Only valid with DatetimeIndex, TimedeltaIndex or PeriodIndex, but got an instance of ‘RangeIndex'”が出た時の対処法

2022/01/31   -Python

概要 pythonのpandasで日付などでグループ化して集計した場合に使用できるresampleメソッドがあります。週単位、日単位、時間単位などでグループ化して集計する場合に非常に便利ですが、res …