Go言語の配列宣言は、数値を書き込み配列要素数を定義する。 CSVを構造体に格納する方法がわからないのでCopilotに尋ねました。 CSVからはいったん文字として読み込まれる…らしい。 スライスと構造体は異なる概念…らしい。 爺はGo言語の鬱蒼とした森に迷い込んだままになっているようです。暴走を続けるにもパワーが低下気味…。本日は、CSVをGo言語の「構造体」として読み込む方法を、Microsoft：Copilotに教えてもらいましたので、そのなかで気づいたことを短期記憶喪失前に備忘録で残します。

はじめに 最近 bash で簡単なシェルを組むことが多くなりました。コードジェネレーターやテストコードの一括登録など、CSV を入力として何らかの処理を行うことは頻繁にあります。Windows 環境でも WSL や Git for Windows をインストールしていれば bash が手軽に使えます。そのような時のサンプルを、以下に記します。 アズールレーン ラフィー ウサウサブライド 1/7スケール PVC製 塗装済み 完成品 フィギュア AMU-FNX700FuryuAmazon

はじめに パフォーマンス上の悩み ストリーム処理について ストリーム処理を使用する目的 Node.js / PapaParseにおけるStream 実例 今回改善した処理 おまけ (PapaParseのStreamだからできたパフォーマンス改善) まとめ We’re hiring! はじめに CSVって便利ですよね ある程度の量のデータをユーザも扱いやすい形で一度に入出力しようとする場合、実質CSVが選択肢の筆頭になるかと思います。 一方で、データが巨大になりやすく、パフォーマンスの課題が出やすい箇所でもあります。 今回は、DIGGLEでCSVを扱っている処理で実際に起きているパフォーマンスの…

7-1.件数、合計を合わせる 最近はPCでExcelによる計算、集計、分析、投入データ作成やアプリとのCSVファイルによるデータのやり取りが事務系の作業の主流となり、以前にくらべて入力や計算、データ更新などの作業スピードと正確性が格段によくなりました。 一方でこれらExcelを使用したデータ取扱いとアプリとのデータのやり取りについては、その結果が目に見えないだけに、これまでとは違ったチェックの方法を用いていく必要があります。 このような作業における基本は、 「ダウンロード、アップロード前後でデータの件数や合計値を確認する」 ということです。 ダウンロードについては、アプリで対象データの件数、合…

grandseacrow.hatenablog.com 表題は直訳すると「カンマ区切りの文字列」 保存で有名な、いわゆる.csvのことです。 Snap.SVGはクセがあるというかバグの多いｊｓエンジンで、それ故に作るプログラムのトライ＆エラーが欠かせなかったりするわけですが。 その影響で後回しにしていた保存データのｃｓｖ化が急務となりました。 というのも。 今までGrmのデータ保存にはcolors.txtというのを使い Orange Green Blue Red Gray の様に色情報を直接保存したのを読み出して表示させていたのですが どうもこれが外部SVG表示とすこぶる相性が悪く＃FFFのよ…

データクリーニング・前処理におけるピットフォールとして 『CSVファイルをExcelで開くと文字化けする』 があります。 これスモールデータならExcelでCSVファイルの中身を眺めることが気が付くことができるかもしれませんが、大きなデータでは文字化けしていることに気が付けない可能性があります。（そもそも大きなデータをExcelで開くこと自体が重さ・効率の面で好ましいとは言えなさそうなのですが） なので以下の問題が発生することに注意が必要です： CSVファイルをExcelで開く→文字化けする→気が付かずに上書き保存する→文字化けしたデータで解析を進めてしまう やはりデータは統計ソフト（RやST…

pythonのpandasでcsvを開いて、条件を満たす行に加工をする + ある行をファイル末尾にコピーして追記したいpandasというのを使うのは初めてだった ・勝手にindexという列ができていたり、そのindexは加工不可だったりで色々と大変だった・・・ ・astropyの単位みたいに、printしたら勝手にヘッダーにあるkeyも表示されてたりしてその対処が必要 ・ある列、ある行の要素を取り出すのに、リストみたいに通し番号で指定できるのかと思ったらそれはできなかった・・・ ilocといかいうのを使う必要がある import pandas as pd df = pd.read_csv('h…