Python PythonでExcelファイルを簡単に結合する方法
毎月、報告用などで同じ形式で保存しているExcelファイルがあってそのファイルをまとめて一つのファイルにしたい要件がありました。1件ずつコピペして貼り付けていくのは、精神的にきついのでPythonでさくっと結合できないか調べたところ結構簡単だったので紹介したいと思います。
Python 
Azure DataFactoryパイプラインの結果をメール通知する方法
AzureFunctionsをDataFactoryでパイプライン化し、処理結果をOutlook365でメール通知してみます。処理結果を判断してメール通知する機能は,AzureのLogic appsというサービスを使います。
Azure Microsoft Fablicの機能と利点まとめ
Microsoft Fablicは、2023年11月から一般提供されるSaaS型データ分析ツールで、従来の複数サービスを統合し、データ変換や分析が単一プラットフォームで実現可能となります。AI Copilotの搭載により、効率的な環境構築が可能で、コスト削減も期待できます。
Azure 【Azure】コンテナー内のBlob(ファイル)を定期的に削除するライフサイクル管理
ログファイルを自動削除するAzureの設定手順をAzure Blobストレージのライフサイクル管理で設定してみたいと思います。
Python 【Python】100万件のテストデータを作成する(DataFrame)
簡単にテストデータを作成できるPythonプログラムを書いてみました。下記コードをJupyterなどにコピーして実行すれば簡単に100万規模のDataFrameが作れます。
ブログ作成 【アドセンス】シンガポールの税務情報を提出する
Googleアドセンスでシンガポールの税務情報に対応するには、税務署で居住者証明書を取得する必要があります。また、税務情報が審査中に収益の振り込みとなった場合はどうなるのかも体験しました。
Azure ビッグデータに最適なParquetファイル形式
Parquet(パーケットは、効率的なデータの保存と検索のために設計されたオープンソースのファイル形式です。
Azure Azureの資格情報(サービスプリンシパルとマネージドID)
Azure DataFactoryでAzure DataExploreとの接続を確立したかったので、リンクサービスの設定を実施していたところ、資格情報の選択で何を設定してよいかさっぱりわからず、途方にくれました。そこでAzureの資格情報に...
Python 【Python】Pandasのread_sqlにパラメータを渡すには?
pandas.read_sql(sql,con,params=[パラメーターの値])でSQLに対してパラメータを渡して、SQL側は?で受け取ることができます。
Azure いきなりAzure Data Factoryを使ってみた
会社内のいろいろな部署で使用されているシステムに蓄積されているデーターを一元管理できるように、データの抽出・加工・格納の処理を自動化するためにマクロソフトが提供しているAZureのサービスです。このようなサービスは一般的にETLツールと呼ばれています。
Azure DataFactoryパイプラインの結果をメール通知する方法
AzureFunctionsをDataFactoryでパイプライン化し、処理結果をOutlook365でメール通知してみます。処理結果を判断してメール通知する機能は,AzureのLogic appsというサービスを使います。
Azure Microsoft Fablicの機能と利点まとめ
Microsoft Fablicは、2023年11月から一般提供されるSaaS型データ分析ツールで、従来の複数サービスを統合し、データ変換や分析が単一プラットフォームで実現可能となります。AI Copilotの搭載により、効率的な環境構築が可能で、コスト削減も期待できます。
Azure 【Azure】コンテナー内のBlob(ファイル)を定期的に削除するライフサイクル管理
ログファイルを自動削除するAzureの設定手順をAzure Blobストレージのライフサイクル管理で設定してみたいと思います。
Azure ビッグデータに最適なParquetファイル形式
Parquet(パーケットは、効率的なデータの保存と検索のために設計されたオープンソースのファイル形式です。
Azure Azureの資格情報(サービスプリンシパルとマネージドID)
Azure DataFactoryでAzure DataExploreとの接続を確立したかったので、リンクサービスの設定を実施していたところ、資格情報の選択で何を設定してよいかさっぱりわからず、途方にくれました。そこでAzureの資格情報に...
Azure いきなりAzure Data Factoryを使ってみた
会社内のいろいろな部署で使用されているシステムに蓄積されているデーターを一元管理できるように、データの抽出・加工・格納の処理を自動化するためにマクロソフトが提供しているAZureのサービスです。このようなサービスは一般的にETLツールと呼ばれています。
Python PythonでExcelファイルを簡単に結合する方法
毎月、報告用などで同じ形式で保存しているExcelファイルがあってそのファイルをまとめて一つのファイルにしたい要件がありました。1件ずつコピペして貼り付けていくのは、精神的にきついのでPythonでさくっと結合できないか調べたところ結構簡単だったので紹介したいと思います。
Python 【Python】100万件のテストデータを作成する(DataFrame)
簡単にテストデータを作成できるPythonプログラムを書いてみました。下記コードをJupyterなどにコピーして実行すれば簡単に100万規模のDataFrameが作れます。
Python 【Python】Pandasのread_sqlにパラメータを渡すには?
pandas.read_sql(sql,con,params=[パラメーターの値])でSQLに対してパラメータを渡して、SQL側は?で受け取ることができます。
Python 【Streamlit】Vscodeでstreamlitのアプリケーションをデバッグする
streamlitのアプリケーションにブレークポイントを張って処理を途中で止めるなどのデバッグがしたいので色々調べてみたらできることが分かったのでやってみたいと思います。今回はVscodeでstreamlitを開発しているを想定してデバッグの設定方法を紹介したいと思います。
Python 【streamlit】アプリケーションをGitHubでソース管理する
今回は簡単なアプリケーションを作成してそのソースコードをGitHubに登録してみたいと思います。
Python 【Streamlit】VSCodeで ローカル開発環境の構築
一度基礎から勉強したいと思い、チュートリアル的なものがないか探していたところ30 Days of Streamlitというstreamlitで作られたチュートリアルがあったのでやってみようと思います。
FastAPI 【Python】FastAPIのORMはSQLModelがおすすめ
FastAPIを使っている人にとっては、お馴染みの型ヒントによる型チェックを行ってくれるPydanticとSQLを操作するORMライブラリSQLAlchemyを組み合わせたライブラリです。
Python Python3.11でStreamlitのインストールが失敗
エラー内容：ERROR: Could not build wheels for pyarrow, which is required to install pyproject.toml-based projects
Python Streamlit 1.13.0だとst.dataframeがきれいに表示される
以前の記事でstreamlitのst.dataframeを使って、テーブル(表)を表示させたいときに、ヘッダーが日本語だとヘッダーが切れてしまう対策でstreamlit-aggridを使うと切れずに表示できると紹介しました。この記事を見てい...
Python 【Python】unittestモジュールで単体テストを実行する
unittestモジュールは、Pythonの標準ライブラリとして提供されている単体テスト用のモジュールです。以下の構文にもある通りPythonに最初から同梱されているモジュールなのでimportすれば使えるようになります。
Python 【Streamlit】Vscodeでstreamlitのアプリケーションをデバッグする
streamlitのアプリケーションにブレークポイントを張って処理を途中で止めるなどのデバッグがしたいので色々調べてみたらできることが分かったのでやってみたいと思います。今回はVscodeでstreamlitを開発しているを想定してデバッグの設定方法を紹介したいと思います。
Python 【streamlit】アプリケーションをGitHubでソース管理する
今回は簡単なアプリケーションを作成してそのソースコードをGitHubに登録してみたいと思います。
Python 【Streamlit】VSCodeで ローカル開発環境の構築
一度基礎から勉強したいと思い、チュートリアル的なものがないか探していたところ30 Days of Streamlitというstreamlitで作られたチュートリアルがあったのでやってみようと思います。
Python Python3.11でStreamlitのインストールが失敗
エラー内容：ERROR: Could not build wheels for pyarrow, which is required to install pyproject.toml-based projects
Python Streamlit 1.13.0だとst.dataframeがきれいに表示される
以前の記事でstreamlitのst.dataframeを使って、テーブル(表)を表示させたいときに、ヘッダーが日本語だとヘッダーが切れてしまう対策でstreamlit-aggridを使うと切れずに表示できると紹介しました。この記事を見てい...
Python Streamlitでの一番簡単なグラフ作成
今回紹介するのは、streamlitが標準で備えているチャート作成機能を使ってグラフを作成してみたいと思います。細かい設定はできませんがさくっとグラフを作成するときには非常に便利なのでこれからstreamlitを始める人はぜひ使ってみてください。
Python Streamlitがtabデザインに対応していたので使ってみた
そんなStreamlitは、2022年7月時点でも月に1回程度のペースで新機能が追加された新しいバージョンをリリースしています。今回は7/14にリリースされたVersion 1.11.0でタブデザインに対応しました。
Python 【Streamlit】st.codeの便利な使い方
Pythonでのデータサイエンス分野で人気のStreamlithtmlやJavaScriptの知識がなくても、簡単にWEBページが作れるので、チーム内で共有するようなWEBシステムを簡単に作れて非常に便利です。今回は正直あまり使いどころが分...
Python ついにStreamlitがマルチページ(Multipage)に対応した模様
Streamlitがついに「マルチページ」(multipage)に対応しましたという案内でした。そこでさっそく試してみました。結論から言うと、マルチページを作るのがめちゃくちゃ簡単になりました。Streamlit使っている人は絶対にうれしい機能だと思います。
Python streamlitでのページ切替方法(st.sidebar)
StreamlitのようなSPAで複数のページを切り替えながら表示させる方法は、サイドバーにセレクトボックスやラジオボックスなどを設置して切り替えるのが一般的です。当記事はStreamlitのサイドバーの機能を使って、ページを切り替え複数のページが表示できる方法を紹介したいと思います。