Content-Length: 244242 | pFad | http://b.hatena.ne.jp/agx/ML/
ニューラルネットワークの量子化についての最近の研究の進展と、その重要性 - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、ニューラルネットワークの量子化の話をします。 TL;DR パラメータだけを量子化するのであれば、ほぼ精度を落とさずに、パラメータのデータ容量は1/16程度にまで削減できる パラメータ、アクティベーション、勾配のすべてを量子化し、推論だけでなく学習までもビット演算だけで実現する研究が進んできている 現在は深層学習 = GPU必須というぐらいの勢いがあるけど、量子化の研究が進むと、今後はどうなるかわからないよ はじめに 情報理論における量子化とは、アナログな量を離散的な値で近似的に表現することを指しますが、本稿における量子化は厳密に言うとちょっと意味が違い、十分な（=32bitもしくは16bit）精度で表現されていた量を、ずっと少ないビット数で表現することを言います。 ニュ
Objective Caml 入門
Objective Caml 入門五十嵐 淳 京都大学 工学部情報学科計算機科学コース 大学院情報学研究科知能情報学専攻 e-mail: igarashi@kuis.kyoto-u.ac.jp September�24, 2007 Contents Chapter�1�� 1.1��関数型言語 ML と Objective Camlについて 1.1.1��ML・Objective Caml の特徴 1.2��参考書，資料，マニュアル 1.3��環境設定 Chapter�2�� 2.1��インタラクティブコンパイラを使う 2.1.1��簡単な使い方 2.1.2��その他: ファイルからのプログラムの読み込み・コメント 2.2��基本データ型とその演算 2.2.1��unit型 2.2.2��int型 2.2.3��float型 2.2.4��char型 2.2.5��string型 2
17.4 プログラミングの基本 - Ocaml編 (HWB)
プログラムはコンピュータに行わせる情報処理の手順を記述したものです. 人間がプログラムを作る場合は， 人間が読み書きできる文字列でプログラムを表現します． これをプログラムのソースコードあるいは原始プログラム(source program)と呼びます． 原始プログラムをコンピュータに実行させるにはプログラミング言語処理系(これもまたプログラムです)を使います. コンピュータのCPUが直接実行できるのは機械語プログラムだけであり, 原始プログラムを直接実行できないためです. プログラミング言語処理系は, 人間が読み書きできる原始プログラムに書かれた指示を, CPUに実行させます. 実行のさせ方にはいろいろありますが, ここではキーボードから入力した原始プログラムを即座にCPUに実行させる対話的なプログラミング言語処理系を使って説明します. 以下では原始プログラムのことを単にプログラムと呼ぶこ
OCaml プログラミング入門
OCaml のすすめ OCaml とはフランスの 情報技術系の研究機関の INRIA で開発されている関数型言語 ML (の方言) です。ML には多相型、型推論、ガーベージコレクション (GC)、 データ構造のパターンマッチング等、プログラミング言語理論の研究の 成果 (すごく最新のものと言うわけでは無いそうですが) が詰め込まれ ています。これらの目的・効用は、 コードの再利用の範囲が大きい (多相型) コードの記述量が短かくなる (型推論・データ構造のパターンマッチング) バグの入り込む余地が少なくなる (GC、関数的(副作用の少ない)プログラミング) 等です。私は OCaml を研究でのデータ処理をはじめ、作成するプログラムほとんど 全てにおいて日常的に使っているのですが、 とにかく開発効率が良いです。 コンパイル時の型チェックの厳しさには慣れないとちょっと面倒に感じる かもしれま
なぜ関数プログラミングは重要か
John Hughes, Institutionen för Datavetenskap, Chalmers Tekniska Högskola, 41296 Göteborg, SWEDEN. rjmh@cs.chalmers.se この日本語訳は原著者の承諾を得て山下がここに公開するものです。 この訳文についての、御指摘などは山下伸夫(nobsun .at. sampou.org)までおねがい いたします。 翻訳最終更新日 : 2011-09-17 原文 "Why Functional Programming Matters" 日本語訳PostScript この論文は1984年以来何年ものあいだChalmers大学のメモとして回覧された。 1989年と1990年に幾分か改訂をしたのが[Hug89]と [Hug90]である。この版はもとのChalmer大学のメモ のnroff原稿をもとに
Functional Programming
あ、さて、LispやSchemeに嵌っている現状を少し。 関数型の言語はそれ自体で新たな自分だけの言語が作れる らしい。（ー＞Macroのことです。）と聞きまして Lisp本家Alegro最新版6.2Trialをダウンロードして使っております。 新日鉄ソフトが日本のエージェントですが日本語版はありません。 マニュアルはOnLisp,Successful Lispを読みながら、ポチポチ 試しております。 使った感じでは少なくともDelphi3.1頃のGUIコンポーネントは 揃っているようです。 何がLispの面白いところか？ そのコードの異様さ、言語構造の特殊性です。 これまでPerlの暗号っぽいのは除き、勿論、桐の一括処理の 日本語スクリプトを除き、ワタクシ、一貫してエレガンスをコードと 言語構造に求めて参りました。 それに反してLispってカッコだらけでなんとも…。 と食わず嫌いでおりま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fetched URL: http://b.hatena.ne.jp/agx/ML/
Alternative Proxies:
プログラミングの基礎 ((Computer Science Library)) | 浅井 健一 |本 | 通販 | Amazon
サービス終了のお知らせ
人力検索 - 関数型言語（プログラミング言語Scheme, Haskellなど）を勉強しようと思っています。 関数型言語の勉強方法
Objective Caml 入門
超特急: 一時間でわかるML超入門