はじめに ChromeのDevToolsなどで見るように、ブラウザ上で読み込んだファイルを読み込む方法を紹介します。 seleniumから直接読み込むことで、 リクエスト数を減らせる 適切な方法でリクエストできる (ヘッダ、Cookieなど) といったメリットがあります。 特にリクエスト方法が複雑なサイトの場合、その条件をjsファイルなどから解析せずに自動化できるため便利です。 ※スクレイピングが禁止されているサイトでの利用は控えてください 方法 以下の2つの方法があります。 selenium-wire を使う メリット 簡単に使える デメリット 実行中にエラーが出ることがある 読み込んだデータが取得できないことがある 「保護されていない通信」になる 自力で実装する メリット 自分の使い方に合ったように作成できる デメリット エラーなどには自分で対応する必要がある (私は最初 seleni
換気チェックのために購入した二酸化炭素濃度（CO2）センサー VSON WP6003（安心宝）のデータをBLE経由で読み出してみました。まだ解析できていないところもありますが、メモ残しておきます。 二酸化炭素濃度（CO2）センサーを2種類買ってみた | ず＠沖縄二酸化炭素濃度（CO2）センサー VSON WP6003（安心宝）のデータをBLEで読み出す(2) | ず＠沖縄二酸化炭素濃度（CO2）センサー VSON WP6003（安心宝）のデータをBLEで読み出す(3) – ESP32(M5atom)編 | ず＠沖縄 Carbon Dioxide CO2 Detector Air Quality Tester Formaldehyde Detector High Sensitive Detector Indoor Formaldehyde Testing Machine（VSON WP600
Pythonで半角を1文字、全角を2文字として文字列の文字数（文字幅）をカウントしたい場合、標準モジュールunicodedataの関数east_asian_width()を使う。 6.5. unicodedata — Unicode データベース — Python 3.6.3 ドキュメント このunicodedata.east_asian_width()を使うことでUnicode文字に割り当てられたEast Asian Widthの値が取得できる。この値を使うと、その文字が半角か全角かを判定できる。 ここでは、以下の内容について説明する。 East Asian Widthとは unicodedata.east_asian_width()の使用例 半角を1文字、全角2を文字としてカウントするコード例 注意点 なお、半角も全角も1文字として文字数をカウントしたい場合は組み込み関数len()を使
はじめに 言うまでもありませんがここでいう「完全に理解」はダニング＝クルーガー的な意味で申し上げております。ご了承下さい。 今回の内容を3行でいうと Pythonのロギング(loggingパッケージ）の公式ドキュメントがどうも読みづらくてとっつきにくい とは言え実用的なものを作るにはロギングの理解は必須 そこで調べてみました。その内容。 と言うものになります。これを読めばとりあえずPythonのロギングについて何も知らない状態から、必要な最低限のことはわかったというところまで行けるものを目指しました。丁寧にやったので少し長くなりましたが内容は難しくありません。Pythonの実行環境がある方は実際にソースをコピペして動かしてみると理解が深まると思います。 今回使用したPythonのバージョン なぜ import logging をしてはいけないのか。 Pythonと言う言語はよくできた言語で
前回までのあらすじ 前回記事はこちらになります。 ＞ Windows上のWSLでコンテナによる開発環境を作ってみる（前準備編） Pythonの開発環境をコンテナ上に作成してみたくなった そのためにWindows上にDockerを入れたい そのためにはWSL2のセットアップが必要だったのでそこからやってみた ということで前回はWSL2のセットアップとDocker for Desktopが動くところまで行きました。これによりWindows上にPythonを導入する際のインストール形態として、仮想環境という観点で３つの方針がありうることになります。 WindowsへのPythonインストール形態の３パターン Windows上にWindows用のPythonをインストールする。実環境へのインストール。 Windows上のWSL上にLinux用のPythonをインストールする。WSL環境へのインスト
Lubuntu 19.10 Eoan Ermine 来たれり。 今回のポイントは chromium-browser の提供方法が deb パッケージから snap に変わったこと。 手順 基本的には do-relase-upgrade で事足りる。途中で「snap に設定を移行するから起動中の chromium-browser があればすべて終了させてね」といったメッセージが出てくるのでおとなしく従う。 実行内容は、実行ファイルのラッパーを作成したり設定ファイルを ~/.config/chromium から ~/snap/chromium/current/.config/chromium/ にコピーしたり。 snap の chromium パッケージには driver が同梱されており、上記の移行スクリプトで作られるラッパーは /usr/bin/chromedriver と /usr/bi
TwitterにPythonからログインして投稿する方法のメモ。 AlmaLinux, Chrom で確認。 Python 3.6.8 Google Chrome 98.0.4758.102, 96.0.4664.110 selenium 3.141.0 起動 from selenium import webdriver from selenium.webdriver.chrome.options import Options from selenium.webdriver.common.keys import Keys import chromedriver_binary import time # seleniumを起動 options=Options() options.add_argument('--headless') options.add_argument('--no-san
はじめに この記事を読み進める前に、先にこちらを読み終えてから再度この記事を読んでみてください。 SeleniumとChromeDriver SeleniumはWebブラウザで行うクリック操作やキーボード入力をプログラム上からできるようにしたもので、 ChromeDriverはChromeブラウザをプログラムで動かす為のドライバーです。 この2つを使うことで、SeleniumでChromeブラウザを操作してログインすることが可能です。 またこの2つを組み合わせて使うことで、 ブラウザ画面のスクリーンショット 非同期サイトのスクレイピング 同期サイトのスクレイピング などが可能になります。 Chrome Driverのインストールは下記リンクから飛べます。 Chrome Driver インストールリンク その後、『Latest Release: ChromeDriver 2.42』と書かれた
Ubuntu + Python3 + Selenium + GoogleChrome でスクレイピング投稿者: はるこち 投稿日: 2021年1月28日2021年1月28日 表題の通り、Ubuntu でスクレイピングすべく Selenium と Google Chrome をインストールしてやってみました。 まずは環境の確認です。Python3 は最初からインストールされていました。 $ cat /etc/issue Ubuntu 20.04.1 LTS $ python3 --version Python 3.8.5 インストール pipをインストール pipはインストールされていなかったので、インストールします。 $ sudo apt update $ sudo apt install python3-pip $ pip3 --version pip 20.0.2 from /usr/
Seleniumで毎回ログオンが聞かれる理由 普通にユーザがChromeを利用していると初回はログオン認証を行いますが、２回目以降はログオン認証することなくそのままログオンした状態でアクセスができるようになるかと思います。 これは「ユーザプロファイル」というアクセス時に利用するユーザ情報を使ってアクセスしているためです。 ただし、今回のようなSeleniumを使ってのアクセスでは「ユーザプロファイル」を毎回リセットした状態でアクセスしているため毎回ログオン認証が必要になるということです。 対応方法 では、本題の対応方法についてですが、Seleniumでアクセスするときもこの「ユーザプロファイル」を持った状態でアクセスすればよいのです。 やり方は簡単です。Chromeを立ち上げる際のオプションに「user-data-dir」を付けて、ユーザプロファイルのフォルダを指定します。 例としてこのブ
4. 日本の休日¶ Thunderbirdなどのカレンダーに日本の休日を表示したいと思った。 Thunderbirdのwebサイト には各国の休日の情報がiCalenderファイル(.ics)の形式で収められている。 しかし、日本の情報は2007年以降更新されていないが、2020-2021は東京オリンピックの影響で、 休日が臨時に変更されている。(その他の休日にも2007以降の変更がある。） 日本の休日については、内閣府がそのホームページ で公式なアナウンスを出している。特に、“昭和30年（1955年）から令和4年（2022年）国民の祝日”をcsv形式のファイル として公開している。 このプログラムの目的はこのcsv形式のファイルからThunderbirdなどのCalendarプログラムで利用可能なiCal形式のファイル(.ics)を生成することです。 4.1. 利用するモジュール¶ この
この記事はFOSS4G Advent Calendar 2017の23日目の投稿です。 みなさまこんにちは。 今年は、Pythonなどで空間処理を行うのにmod_spatialite使ってみたらいかがでしょうか、というオハナシです。 全然新しくない（むしろ古いか…）ものの紹介ですすみません。（検索したらホイホイ出てくるよね…） はじめに ローカル環境で利用できる軽量のRDBMSであるSQLiteの地理空間拡張がSpatiaLiteです。 名だたるPostGISと同じような処理がお手軽に利用できますよ、というメリットがあるわけですが、SQLiteでは変数を使用したSQLを認識できない（他のRDBMSはどうだかわかりません…）ため、バッチ処理などのために変数を使用してSQLを生成するには外部言語からSpatiaLiteへアクセスしたいということになります。 （ちなみに、次期バージョンのSpat
作業手順 今回の作業手順を以下に示します。 1.シェープファイルの入手 国土数値情報のサイト、統計GISのサイトからシェープファイルを入手します。 2.シェープファイルのインポート 今回は、”spatialite_tool”（CLI）を使ってシェープファイルをSpatiaLiteデータベースへインポートします。 3.SpatiaLiteの環境構築 前回の記事を参考に、SpatiaLiteの環境を構築します。 4.Pythonプログラムによる検索 PythonプログラムからSpatiaLiteへ接続して検索を行います。 シェープファイルの入手 以下の国土数値情報ダウンロードサービスからバス停留所（点）のシェープファイルを入手します。 [blogcard url=”http://nlftp.mlit.go.jp/ksj/”] ダウンロードするファイルの情報は、以下となります。 分類：4.交通＞
はじめに マイクロWEBアプリケーションフレームワークのFlaskを使用すると、WEBサーバ上で動かすことのできるWEBアプリが作成できます。 Python部分の作りこみ部分はおいおいとして、FlaskとApcheでHelloWorldまで表示させるところまでやってみます。 本記事のゴール Apache+mod_wsgi+Flaskで、Flaskで書いたHelloWordを表示させる。 動作環境 Windows Server 2019 Standard(1809) Python 3.8.5 Flask 1.1.2 目次 Flask単体でHelloWorld Apacheのインストールと設定 ApacheとFlaskをつなぐ設定 1．Flask単体でHelloWorld まずはFlaskのライブラリをインストールします。
この組み合わせがたぶん安牌、てゆか他に候補がない。 その他のサーバ候補 uwsgi with cygwin linuxではuwsgi使ってるので魅力的だったが、 cygwinでトラブりたくなかった。 iis + wfastcgi wfastcgiはMicrosoft製のライブラリ。 WSGIをFastCGIしてくれる。 python3.4までしかサポートしていないっぽいのと、エラーメッセージ系が全然だったので中止。 環境のインストール mod_wsgiを起点にインストールするライブラリを決める。 公式ではwindows向けライブラリの最新版は止まっているので、こちらを使わせていただきました。 Unofficial Windows Binaries for Python Extension Packages 今回はpython3.6 + amd64は決まっていたので、 mod_wsgi‑4.
SQLAlchemy1.2の基本的なクエリをまとめました！ python初心者以上向けの記事です。 改めて読み返してみると、直した方が良さそうな箇所や、この機能書かないんかいってのがあるので修正予定です。 記述内容 ORMについて、動かしてみるところまで、select, limit, orderby, distinct, join, leftjoin, in, insert, update, delete, union, unionAll, sql吐き出し, sqlを直接実行について また、flask-sqlalchemyでは実行を試していません。 SQLAlchemyとは pythonのORMモジュール。 session.query(User).all() このようにSQL操作ができる。 ORM SQLをクラスとして扱えるようにしたもの。 使用する理由は、 ・SQLインジェクション対策が
pybabelとJinja2で多言語対応のwebapp2アプリケーションを作ってGAEへデプロイする手順。 webapp2: Python製Webアプリフレームワーク。 https://webapp2.readthedocs.io/en/latest/ Jinja2: Python製テンプレートエンジン。 http://jinja.pocoo.org/docs/2.9/ pybabel(Babel): 翻訳箇所のロケール別カタログを管理するツール。紛らわしいが、JSコンパイラのBabelではない。 http://babel.pocoo.org/en/latest/cmdline.html 環境 OS X 10.12.3 python 2.7.12 pip 9.0.1 pybabel 2.3.4 デプロイ環境: GAE ディレクトリ構成 最終的にはこうなる。 $ tree . ├── app
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
