最近クローラーを作成する機会が多く、その時にXPathが改めて便利だと思ったので XPathについてまとめてみました！ XPathを学ぶ方の役に立てれば幸いです。 初級編 XPathとは XPathはXML文章中の要素、属性値などを指定するための言語です。 XPathではXML文章をツリーとして捉えることで、要素や属性の位置を指定することができます。 HTMLもXMLの一種とみなすことができるため、XPathを使ってHTML文章中の要素を指定することができます。 例えば、 <html> ... <body> <h1>ワンピース</h1> <div class="item"> <span class="brand">iQON</span> <span class="regular_price">1,200円</span> <span class="sale_price">1,000円</sp
式の評価コンテキストのコンテキスト サイズに等しい数を返します。 number last() 解説 次の関数では、個々の <book> 要素の最後の子である <author> を検索します。 book/author[last()] 使用例 この例では、last() 関数を使用して、次の XML ドキュメントの各 x 要素に含まれている y 要素のうち、最後のものを選択する方法を示します。 XML ファイル (test.xml) <?xml version="1.0"?> <!DOCTYPE test [ <!ELEMENT test (x+)> <!ELEMENT x (x+| y+)> <!ATTLIST x a ID #REQUIRED> <!ELEMENT y ANY> ]> <test> <x a="a11"> <x a="a21"> <x a="a31"> <y>y31</y>
xpathとは、HTMLのような木構造のノードを表現するときの記述方法。pタグの2番目の要素、などの指定ができる。 要素の指定パターン 以下のHTMLファイルで、<p class="outline">にアクセスする方法を列挙。 ※ブラウザのコンソールからアクセスするには、$x(xpath)を実行する。 <html> <body> <div id="container"> まとめ <p class="header">Xpathについて</p> <p class="outline">Xpathとは、XML Path Languageの略で...</p> <p class="footer">© ... Co., Ltd. ALL Rights Reserved.</p> </div> </body> </html> $x('/html/body/div/p[2]') # 先頭からきちんと書いた場
DOM(Document Object Model)を使用して、XPathを指定して属性の値を取得する手順は以下の通りです。 XPathFactoryクラス、XPathクラスを使用して、XPathを作成します。 XPathクラスのevaluateメソッドで、XPathを指定して属性の値を取得します。 パース処理するXMLドキュメントは以下の通りです。 <?xml version="1.0" encoding="UTF-8"?> <root> <child1 attr1="要素１の属性１" attr2="要素１の属性２">要素１</child1> <child2 attr1="要素２の属性１" attr2="要素２の属性２">要素２</child2> <child3 attr1="要素３の属性１" attr2="要素３の属性２">要素３</child3> </root> package ne
windowsでC++からxpathが利用したいんですよ。 どうするべきか。 1.ビルのOSの機能を利用する ビルのOSだったら、 ActiveXだろうって感じだけど、 msxmlで xpathが利用できるけど、こいつはxml専用でhtmlを読み込むことはできない。 ちょっと前にやって挫折した。。。 →達成された方がいらっしゃいました。すごい!!。 WSH で HTML を XPath したいんじゃあああぁぁ 別途、JavaScript-XPathが必要になります。 2.libxml2 を利用する phpも内部でlibxmlを利用しているので、この前の phpのルーチンをそのまま移植すればいけそうです。 ただし、libxml は utf8しか扱えないので、 sjis←→utf8変換をしまくる必要があるようです。 http://xmlsoft.org/ ↓macosでの例だけどライブラリを使
例えば、Webに掲載する一連のドキュメントをXHTMLでまとめ、Webサーバーでそれを読み込んでページを組み立てる。こんな風にすれば、下書きしたドキュメントをHTMLに書き直す手間が少なくなるかな、と思った。 XHTMLならXMLの一種だから、XmlDocumentクラスで読み込んで、ごにょごにょと必要箇所を取り出すようにしてみたり・・・。しようと思ったら、まず読み込みがめちゃ遅い！その上、SelectSingleNodeメソッドやSelectNodesメソッドがノードを返してくれない！ 一体その原因はっ・・・！ 原因がわからず右往左往すること数十分。 とりあえずLoadメソッドによるXHTMLの読み込みがやたらと遅い点をなんとかしよう、と調べてみた。 読み込む対象のXHTMLは約50KB。テキストの量としては多いが、それほど無茶苦茶なサイズではない。なのに、XmlDocumentクラスの
少しでも高く車を売りたい。そして申込みをスムーズに行うためにも 車買取の一括査定サービスはとても便利です。 複数の業者へ一斉に中古車査定を依頼するのですが、交渉には少し注意が必要です。 一括査定からの申込みなので、業者も始めから競争相手がいることは知っています。 業者としては少しでも低い査定額で早く決めてしまいたいもの。 他の業者が来る前に、決断させるような交渉を進めます。 「今決めるなら、プラス１０万円上げます」というような上乗せした査定額を 提示することもあります。思わず決めたくなりますが、冷静に考えてみると 最初からプラス１０万円の提示ができたはずです。このやり方に誠意を感じますか？ それでも決めてしまうか、他の業者を待つかはご自身次第になりますが、 このような交渉術はよくあることです。頭に入れておくと良いですね。 高額な査定額を探すためには、査定を依頼した車買取業者の金額がすべて
XMLツリーからXPath 1.0式を抽出するための小さなフットプリントのC++ライブラリ。XMLツリーおよびストアの中間結果を解析するためにTinyXMLプロジェクト使用する。任意のプラットフォーム上で実行されます。 オプションでSTLを使用。TinyXMLを含むオーバーヘッドは100KB以下。 ダウンロード 最新ダウンロードファイル tinyxpath_1_3_1.tgz (日付: 2007-06-25, サイズ: 80.80 KB) tinyxpath_1_3_1.zip (日付: 2007-06-25, サイズ: 108.47 KB) tinyxpath_1_3_0.tgz (日付: 2007-05-08, サイズ: 76.35 KB) tinyxpath_1_3_0.zip (日付: 2007-04-30, サイズ: 96.90 KB) tinyxpath_1_2_4.zip (
XPath（XML Path Language）とは、XMLで記述されたデータの問い合わせ言語です。SQLのSELECTのように、条件を指定してXMLデータを取得することができます。この記事では、XPathの使い方をご紹介します。 XPathとは XMLデータはツリーとしてモデル化でき、また、要素や属性などXMLデータを構成する各パーツは、ツリーを構成するノードとしてモデル化できます。XPathのデータモデルでは、XMLデータを以下の7種類のノードから構成されるツリーと考えます。 ルートノード（最上位ノード） 要素ノード（XMLの要素を表すノード） テキストノード（開始タグと終了タグで挟まれた文字列データ） 属性ノード（要素内で指定された属性をあらわすノード） 名前空間ノード（名前空間を表すノード） 処理命令ノード（処理命令を表すノード） コメントノード（コメントを表すノード） XMLの取
XML文書に XPath の式を適用したイメージ XML変換におけるXPathの位置付け XML Path Language （XPath（エックスパス）） は、マークアップ言語 XML に準拠した文書の特定の部分を指定する言語構文である。XPath自体は簡潔な構文 （式言語） であり、XMLベースのマークアップ言語ではない。標準化団体 W3C (World Wide Web Consortium) で開発され、1999年11月16日に XML Path Language (XPath) 1.0 が XSL Transformations (XSLT) 1.0 と同時に勧告として公表された[1][2]。XPathは、XSLT と XSL-FO とともに XSL の構成要素である。2007年1月23日、W3C で XPath 1.0 の次期バージョンが制定され、XPath 2.0 が XSL
結局HTML Scrapingですか？ Amazon ECSのシークレットキー(だっけ？うろおぼえ)を入れたままだと、アプリが完成しても公開できない。どうしよう？ いろいろ考えたのだけど、当面はHTMLからガシガシデータを抜きだしていく泥臭いアプローチで行く事に決めました。 一応検討したのは… Hashを作る部分をObjective-Cにしてその部分はソースを公開しない。ソースは公開するけど、ソースからビルドしたい人は自分でECSのアカウント作ってくださいというスタンス APIプロシキを使わせてもらう(and/or 自分でも立てる) という代替案。 1の方は、リバースエンジニアリングされたら簡単にキーをひっこぬかれるだろう、という事でやめた。キーを知られてしまう事がどの程度問題なのかがよくわからないので。前にも書いたな。オープンソースのライセンス的な事は別に問題にならないと思われる。その気
2009/12/23 追記 最下段に参考文献として、ここで紹介した以外の方法へのリンクが有ります。 C#でHTMLを読み込んで、HTMLから有益な情報を取り出したいときってありますよね。 でも正規表現とかで抜き出すのってカッコ悪い、と思います。 そこで、「InfoPath SDKについてるHTMLtoXHTMLというCOMコンポーネント」を使ってXPath式で情報を取得します。 インストール方法は↓のURLを参照してください。 C#でスクレイピング - DENKEN 以下に実際に動くソースコードを貼っておきます。LINQとか使わない.Net Framework 2.0対応です。 using System.Xml; using HTML2XHTMLLib; namespace hogehoge { public class Hoge { /// <summary>コンストラクタ</summa
マッシュアップで欠かせない技術の一つにスクレイピングが挙げられる。 WebAPIが提供されていないサイトに対して、HTMLから直接情報を取り出す技術だ。 これには大きく分けて２つの方法がある。 HTMLをテキストとみなし、正規表現で処理する方法と、 HTMLをXHTMLに変換し、そのDOMに対してXPathで処理する方法だ。 こういう分野に強いのはPHPやPerlなどの軽量スクリプト言語だろう。 しかしC#使いだってスクレイピングやってみたい。 というわけで、 http://d.hatena.ne.jp/todesking/20061027/1161879777を参考にやってみた。 ちなみにここでやってるのは上記２つの方法のうちの後者。 ・・・うまくいかない。 つかTidyマンドクセー！ HTMLをXHTMLに変換したいだけなのに、オプションがありすぎて意味不明です。 もっと手軽なコンバー
■ 1. まず php-xml のインストール yum install php-xml ■ 2. 実際のサイトからスクレイピングを行って Xpath で要素を取得のPHPコード test.server.com から WEBページを取得してきて＜div id="myid"＞の要素を取得します。 $url='http://test.server.com'; // file_get_contents を使うより高速、ただしメモリは食う require_once 'HTTP/Client.php'; $client =& new HTTP_Client(); $client->get($url); $response = $client->currentResponse(); $dom = @DOMDocument::loadHTML( $response['body']); $xml = sim
ページ情報 制作日 2004-02-14 最終更新日 2004-02-14 参照用URI http://www.arielworks.net/articles/2004/0214a 分野 PHP XSLT関数に慣れていると名前空間の仕様に混乱するかもしれないので簡単な説明を書いておく。PHPのバージョンは4.3.4だ。 デフォルトの名前空間 まずはXHTML文章の名前空間を思い出す。 <?xml version="1.0" encoding="UTF-8"?> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <title>テストページ</title> </head> <body> <h1>見出し</h1> <p>本文</p> </body> </html> このXHTML文章（のようなXML文章）はxmlns="http://www.w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
