C#（.NET Framework）に限ったことではありませんが、汎用的にテキストファイルを扱うようなアプリケーションを作っていると、よく 特定の文字コードのファイルしか読み出せないのでは困る ⇒文字コードを自動判別し、テキストの内容を取り出したい 読み出したファイルと同じ文字コードでファイルを書き出したい ⇒読み出したファイルの文字コードを知りたい といった場面に出くわします。 ですが、C#（.NET Framework）標準のライブラリではそのような機能は提供されていないため、文字コードを判定するには、 自前で文字コード判定のロジックを実装する 出来合いの外部ライブラリ、Windows版NKF32.dll、ICU4Cなどを利用する IE用の文字コード判別ライブラリ（mlang.dll）を利用する ※COMコンポーネント呼び出し要 のいずれかの方法を取ることになります。 HNXgrepと
HandBrake is a open-source tool, built by volunteers, for converting video from nearly any format to a selection of modern, widely supported codecs. Reasons you’ll love HandBrake: Convert video from nearly any format Free and Open Source Multi-Platform (Windows, Mac and Linux) Download HandBrake 1.7.3
Windows Phone は 8 が出てから触り始めたという新参者なので、 PCL の話をしてお茶を濁しちゃえ、 と思ってました。 ところが、 月曜日にこんなのを見つけちゃったんですねぇ f(^^; えっ!! (＠＠; MultiByteToWideChar が入ってるぞ! CP 932が実装されてるといーなーf(^^; #wp8dev_jp/Supported Win32 APIs for Windows Phone 8 msdn.microsoft.com/ja-jp/library/… — 山本康彦＠BluewaterSoftさん (@biac) 12月 3, 2012 てことで、 Shift-JIS をエンコードする話をするです♪ ● Shift-JIS の困ったちゃん (--; WP7.x では、 みなさん苦労してきました。 JpEncoding っていうライブラリが使いやすそ
昨日まで知らなかったのですが Windows Phone 7 というか Silverlight には シフトJIS のエンコーディングが無いそうです。 MSDN にはこんな風に書かれていました。()は適当に意訳 The Encoding class is primarily intended to convert between these three different Unicode encodings. In addition, you can derive from the Encoding class to create a custom encoding that is not supported by the .NET Framework for Silverlight. (Encoding クラスってのは異なるエンコーディング同士の変換してるだけだから、サポートされてないエ
WP7というかSilverlightだとUTF8とUTF16しかサポートされていませんが、日本語環境においてはJIS,SJIS,EUCJP,UTF8,UTF16などしねばいいのにと思うほどの様々なエンコーディングが使用されているうえに、Webではみんな好き勝手つかっててしねばいいのに困ったものです。 対応してないエンコーディングはSystem.Text.Encodingを継承したカスタムエンコーディングクラスを作って自分でどうにかしてね（はーと）というのがMSの見解らしいです。 そんでもって、お昼間にid:iseebiにISO2022JP用のカスタムエンコーディングクラス作ってよ！とそそのかされたのでさっくり作ったら、id:iseebiに@kazuakix のSJISと一緒にしてNuGetしてよ！といわれたので、じゃーやるかーとしていると@oota_ken についでにEUCJPも対応してよ
補足 この記事は旧徳丸浩の日記からの転載です（元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2）。 備忘のため転載いたしますが、この記事は2010年9月27日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり PHPカンファレンス2010にて「文字コードに起因する脆弱性とその対策」というタイトルで喋らせていただきました。プレゼンテーション資料をPDF形式とslideshare.netで公開しています。 文字コードのセキュリティというと、ややこしいイメージが強くて、スピーカーの前夜祭でも「聴衆の半分は置いてきぼりになるかもね」みたいな話をしていたのですが、意外にも「分かりやすかった」等の好意的な反応をtwitter等でいただき、驚くと共に喜んでいます。土曜にPHPカンファレンスに来られるような方は意識が高いというの
4. 徳丸浩の自己紹介 • 経歴 – 1985年 京セラ株式会社入社 – 1995年 京セラコミュニケーションシステム株式会社(KCCS)に出向・転籍 – 2008年 KCCS退職、HASHコンサルティング株式会社設立 • 経験したこと – 京セラ入社当時はCAD、計算幾何学、数値シミュレーションなどを担当 – その後、企業向けパッケージソフトの企画・開発・事業化を担当 – 1999年から、携帯電話向けインフラ、プラットフォームの企画・開発を担当 Webアプリケーションのセキュリティ問題に直面、研究、社内展開、寄稿などを開始 – 2004年にKCCS社内ベンチャーとしてWebアプリケーションセキュリティ事業を立ち上げ • その他 – 1990年にPascalコンパイラをCabezonを開発、オープンソースで公開 「大学時代のPascal演習がCabezonでした」という方にお目にかかること
「プログラマのための文字コード技術入門」を読んで自分なりに理解した点をザックリとまとめてみる。 それほど正確性を求めて書いているわけではないので、間違ってる可能性大です。 間違いなどあればコメントなど頂けるとありがたいです。 それぞれの文字コードはどう違うのか？ 日本語の文字コードは大きく以下の２つに分けられる JIS X 0208 文字集合をベースにしたもの Unicode文字集合をベースにしたもの JIS X 0208 文字集合をベースにした文字コードには、EUC-JP, Shift_JIS, ISO-2022-JP がある。 Unicode文字集合をベースにした文字コードには、UTF-8, UTF-16 などがある。 上で挙げた「文字コード」とは正確には「エンコーディング（文字符号化方式）」の事を指す。 文字符号化方式 文字集合って？ 読んでそのまんま”文字の種類の集まり”。「キャラ
SHA-256 e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 SHA-384 38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b SHA-512 cf83e1357eefb8bdf1542850d66d8007d620e4050b5715dc83f4a921d36ce9ce47d0d13c5d85f2b0ff8318d2877eec2f63b931bd47417a81a538327af927da3e
さて、前回記事「PHPでメモリ上に一時ファイルを作る」では、file_get_contents関数でCSVファイル全体を取得して文字エンコーディングの変換を行い、変換結果に対してfgetcsv関数を利用しました。しかし、CSVファイルが巨大な場合にはfile_get_contentsを使うとメモリ上限に引っかかってPHPが停止してしまいます。 もちろん、UTF-8のCSVファイルに対してfgetcsvを利用するのであれば、どんな大きなCSVファイルだろうと処理することが可能です。なぜなら、fgetcsvはファイルを1行単位で読み込む関数ですから、1行分のメモリ消費だけでファイル全体を読み込み続けられるからです（正確にはストリーム上のデータはバッファリングされるので、バッファサイズ分のメモリは消費しますが）。 それでは、巨大なSJISのCSVファイルをfgetcsvで処理したい場合はどうすれ
Komodo EditでSJISファイルをSJISファイルとして開くマクロだが、試してみたらプロジェクトマクロじゃなくてToolboxマクロでも動いた。当然ちゃ当然だが。 ほんでついでに推奨されないkomodoオブジェクトの使用をやめて、こんな風に手を入れてみた。 if( ! ko.views.manager.currentView.document ) return; var doc = ko.views.manager.currentView.document; if( doc.encoding.short_encoding_name == "Latin-1" ) { try { doc.setEncodingFromEncodingName( "CP932" ); } catch(e) { ko.dialogs.alert( e ); } } ま、「komodo.document」の
KomodoでHTAを書いてみようと思ったわけだが 仕事でちょっとしたツールが必要になったので、久々にHTAを書くことにした。 単純なJSやHTAなんかは大体サクラエディタでしこしこと書くのだが、バッチやら参照ディレクトリやらでちくっと複雑になりそうだったのでKomodoを使ってみることにした。 が、ちと困ったことが。Shift_JISのソースをKomodoで開くとなぜか「Latin-1」として検出されてしまい、こんな具合で表示されるのだ。 ほんとはこうなんだけど。 開くたび変更するのは面倒くさい ドキュメントのプロパティでCP932に変更すればちゃんと表示されるんだけども恒久的に覚えてくれるわけじゃないので、ファイルを開くたびにちくちくと設定する必要があり、すごく面倒くさい。 なので、なにか手はないかと思って調べたら、どうやらKomodoのマクロはファイルを開くタイミングで起動することが
文字コード変換ツール「KanjiTranslator 1.6」 ツール概要 このツールは、大量のファイルの文字コード（及び改行コード）を一括して変換するツールです。 フリーソフトウェア・無保証です。 個人の方だけでなく、営利/非営利問わずどのような団体・機関でも無料でご利用頂けます。 対応している文字コードは、ShiftJIS, ISO-2022-JP, EUC-JP, UTF-8（日本語のみ)です。 テキストエディタ Crescent Eveの文字コードエンジンにより、 変換元の文字コードは高精度で自動認識します。 ファイルを直接置き換える為、必ず事前にバックアップを行ってください。 変換エラーとなった場合、エラー理由が表示され、元のファイルがそのまま残されます。 （変換エラーとなる原因は「画像等のバイナリファイルを変換対象とした場合」もしくは 「対応していない文字コードだった」のどちら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
