Python

PythonでExcelファイルを簡単に結合する方法

毎月、報告用などで同じ形式で保存しているExcelファイルがあってそのファイルをまとめて一つのファイルにしたい要件がありました。1件ずつコピペして貼り付けていくのは、精神的にきついのでPythonでさくっと結合できないか調べたところ結構簡単だったので紹介したいと思います。
Azure

DataFactoryパイプラインの結果をメール通知する方法

AzureFunctionsをDataFactoryでパイプライン化し、処理結果をOutlook365でメール通知してみます。処理結果を判断してメール通知する機能は,AzureのLogic appsというサービスを使います。
Azure

Microsoft Fablicの機能と利点まとめ

Microsoft Fablicは、2023年11月から一般提供されるSaaS型データ分析ツールで、従来の複数サービスを統合し、データ変換や分析が単一プラットフォームで実現可能となります。AI Copilotの搭載により、効率的な環境構築が可能で、コスト削減も期待できます。
Azure

【Azure】コンテナー内のBlob(ファイル)を定期的に削除するライフサイクル管理

ログファイルを自動削除するAzureの設定手順をAzure Blobストレージのライフサイクル管理で設定してみたいと思います。
Python

【Python】100万件のテストデータを作成する(DataFrame)

簡単にテストデータを作成できるPythonプログラムを書いてみました。下記コードをJupyterなどにコピーして実行すれば簡単に100万規模のDataFrameが作れます。
ブログ作成

【アドセンス】シンガポールの税務情報を提出する

Googleアドセンスでシンガポールの税務情報に対応するには、税務署で居住者証明書を取得する必要があります。また、税務情報が審査中に収益の振り込みとなった場合はどうなるのかも体験しました。
Azure

ビッグデータに最適なParquetファイル形式

Parquet(パーケットは、効率的なデータの保存と検索のために設計されたオープンソースのファイル形式です。
Azure

Azureの資格情報(サービスプリンシパルとマネージドID)

Azure DataFactoryでAzure DataExploreとの接続を確立したかったので、リンクサービスの設定を実施していたところ、資格情報の選択で何を設定してよいかさっぱりわからず、途方にくれました。そこでAzureの資格情報に...
Python

【Python】Pandasのread_sqlにパラメータを渡すには?

pandas.read_sql(sql,con,params=[パラメーターの値])でSQLに対してパラメータを渡して、SQL側は?で受け取ることができます。
Azure

いきなりAzure Data Factoryを使ってみた

会社内のいろいろな部署で使用されているシステムに蓄積されているデーターを一元管理できるように、データの抽出・加工・格納の処理を自動化するためにマクロソフトが提供しているAZureのサービスです。このようなサービスは一般的にETLツールと呼ばれています。
Azure

DataFactoryパイプラインの結果をメール通知する方法

AzureFunctionsをDataFactoryでパイプライン化し、処理結果をOutlook365でメール通知してみます。処理結果を判断してメール通知する機能は,AzureのLogic appsというサービスを使います。
Azure

Microsoft Fablicの機能と利点まとめ

Microsoft Fablicは、2023年11月から一般提供されるSaaS型データ分析ツールで、従来の複数サービスを統合し、データ変換や分析が単一プラットフォームで実現可能となります。AI Copilotの搭載により、効率的な環境構築が可能で、コスト削減も期待できます。
Azure

【Azure】コンテナー内のBlob(ファイル)を定期的に削除するライフサイクル管理

ログファイルを自動削除するAzureの設定手順をAzure Blobストレージのライフサイクル管理で設定してみたいと思います。
Azure

ビッグデータに最適なParquetファイル形式

Parquet(パーケットは、効率的なデータの保存と検索のために設計されたオープンソースのファイル形式です。
Azure

Azureの資格情報(サービスプリンシパルとマネージドID)

Azure DataFactoryでAzure DataExploreとの接続を確立したかったので、リンクサービスの設定を実施していたところ、資格情報の選択で何を設定してよいかさっぱりわからず、途方にくれました。そこでAzureの資格情報に...
Azure

いきなりAzure Data Factoryを使ってみた

会社内のいろいろな部署で使用されているシステムに蓄積されているデーターを一元管理できるように、データの抽出・加工・格納の処理を自動化するためにマクロソフトが提供しているAZureのサービスです。このようなサービスは一般的にETLツールと呼ばれています。
Python

PythonでExcelファイルを簡単に結合する方法

毎月、報告用などで同じ形式で保存しているExcelファイルがあってそのファイルをまとめて一つのファイルにしたい要件がありました。1件ずつコピペして貼り付けていくのは、精神的にきついのでPythonでさくっと結合できないか調べたところ結構簡単だったので紹介したいと思います。
Python

【Python】100万件のテストデータを作成する(DataFrame)

簡単にテストデータを作成できるPythonプログラムを書いてみました。下記コードをJupyterなどにコピーして実行すれば簡単に100万規模のDataFrameが作れます。
Python

【Python】Pandasのread_sqlにパラメータを渡すには?

pandas.read_sql(sql,con,params=[パラメーターの値])でSQLに対してパラメータを渡して、SQL側は?で受け取ることができます。
Python

【Streamlit】Vscodeでstreamlitのアプリケーションをデバッグする

streamlitのアプリケーションにブレークポイントを張って処理を途中で止めるなどのデバッグがしたいので色々調べてみたらできることが分かったのでやってみたいと思います。今回はVscodeでstreamlitを開発しているを想定してデバッグの設定方法を紹介したいと思います。
Python

【streamlit】アプリケーションをGitHubでソース管理する

今回は簡単なアプリケーションを作成してそのソースコードをGitHubに登録してみたいと思います。
Python

【Streamlit】VSCodeで ローカル開発環境の構築

一度基礎から勉強したいと思い、チュートリアル的なものがないか探していたところ30 Days of Streamlitというstreamlitで作られたチュートリアルがあったのでやってみようと思います。
FastAPI

【Python】FastAPIのORMはSQLModelがおすすめ

FastAPIを使っている人にとっては、お馴染みの型ヒントによる型チェックを行ってくれるPydanticとSQLを操作するORMライブラリSQLAlchemyを組み合わせたライブラリです。
Python

Python3.11でStreamlitのインストールが失敗

エラー内容:ERROR: Could not build wheels for pyarrow, which is required to install pyproject.toml-based projects
Python

Streamlit 1.13.0だとst.dataframeがきれいに表示される

以前の記事でstreamlitのst.dataframeを使って、テーブル(表)を表示させたいときに、ヘッダーが日本語だとヘッダーが切れてしまう対策でstreamlit-aggridを使うと切れずに表示できると紹介しました。この記事を見てい...
Python

【Python】unittestモジュールで単体テストを実行する

unittestモジュールは、Pythonの標準ライブラリとして提供されている単体テスト用のモジュールです。以下の構文にもある通りPythonに最初から同梱されているモジュールなのでimportすれば使えるようになります。
Python

【Streamlit】Vscodeでstreamlitのアプリケーションをデバッグする

streamlitのアプリケーションにブレークポイントを張って処理を途中で止めるなどのデバッグがしたいので色々調べてみたらできることが分かったのでやってみたいと思います。今回はVscodeでstreamlitを開発しているを想定してデバッグの設定方法を紹介したいと思います。
Python

【streamlit】アプリケーションをGitHubでソース管理する

今回は簡単なアプリケーションを作成してそのソースコードをGitHubに登録してみたいと思います。
Python

【Streamlit】VSCodeで ローカル開発環境の構築

一度基礎から勉強したいと思い、チュートリアル的なものがないか探していたところ30 Days of Streamlitというstreamlitで作られたチュートリアルがあったのでやってみようと思います。
Python

Python3.11でStreamlitのインストールが失敗

エラー内容:ERROR: Could not build wheels for pyarrow, which is required to install pyproject.toml-based projects
Python

Streamlit 1.13.0だとst.dataframeがきれいに表示される

以前の記事でstreamlitのst.dataframeを使って、テーブル(表)を表示させたいときに、ヘッダーが日本語だとヘッダーが切れてしまう対策でstreamlit-aggridを使うと切れずに表示できると紹介しました。この記事を見てい...
Python

Streamlitでの一番簡単なグラフ作成

今回紹介するのは、streamlitが標準で備えているチャート作成機能を使ってグラフを作成してみたいと思います。細かい設定はできませんがさくっとグラフを作成するときには非常に便利なのでこれからstreamlitを始める人はぜひ使ってみてください。
Python

Streamlitがtabデザインに対応していたので使ってみた

そんなStreamlitは、2022年7月時点でも月に1回程度のペースで新機能が追加された新しいバージョンをリリースしています。今回は7/14にリリースされたVersion 1.11.0でタブデザインに対応しました。
Python

【Streamlit】st.codeの便利な使い方

Pythonでのデータサイエンス分野で人気のStreamlithtmlやJavaScriptの知識がなくても、簡単にWEBページが作れるので、チーム内で共有するようなWEBシステムを簡単に作れて非常に便利です。今回は正直あまり使いどころが分...
Python

ついにStreamlitがマルチページ(Multipage)に対応した模様

Streamlitがついに「マルチページ」(multipage)に対応しましたという案内でした。そこでさっそく試してみました。結論から言うと、マルチページを作るのがめちゃくちゃ簡単になりました。Streamlit使っている人は絶対にうれしい機能だと思います。
Python

streamlitでのページ切替方法(st.sidebar)

StreamlitのようなSPAで複数のページを切り替えながら表示させる方法は、サイドバーにセレクトボックスやラジオボックスなどを設置して切り替えるのが一般的です。当記事はStreamlitのサイドバーの機能を使って、ページを切り替え複数のページが表示できる方法を紹介したいと思います。
スポンサーリンク