ABEJAでデータサイエンス部の部長をしながら色々やっている大谷です。 今回は2024年12月19日に公開された待望のQwen2.5 Technical Reportについて日本語に翻訳しつつ、適宜コメントを入れていく記事を書いていこうと思います。コメントはですます口調で記述しています。 先にネタバレですが、Qwen2.5は特別新しい技術を導入しているわけではなく、これまで積み重ねてきた知見を着実に活かして精度を向上させています。この記事では、新しい観点の発見というよりも、これまでの有効な知見を再確認するきっかけにしていただければ嬉しいです。 ちなみにこちらの記事はABEJAアドベントカレンダー2024年の12/23分です。 裏話ですが、12月の頭にラスベガスで開催された「AWS re:Invent 2024」（re:Invent)にABEJAも参加していたので、本記事はそちらをテーマにす

はじめに ABEJAでデータサイエンティストをしている真鍋です。本日はアドベントカレンダー22日目の記事になります。 今回も生成AI、特にLLM (大規模言語モデル) 系のネタです。前回のネタに比べると箸休め記事感がありますが、お付き合いいただけますと幸いです。 タイトルの通りですが、本日はM-1グランプリなので、お笑いにちなんだ企画です。 はじめに 「お笑い」とLLM 準備 環境準備 漫才のプロンプト設計 「漫才」の生成結果 審査員のプロンプト設計 結果発表 ファイナルステージ まとめ We are hiring!! 「お笑い」とLLM 前提として、LLMを活用される場面は、仕事や日常のお困りごとを壁打ち的に聞いたり、何かやりたいことをどう実現する？といった、調査に近い使い方が多いかと思います。 クリエイティビティが求められるような音楽や画像は、例えば音楽生成AIであったりがありますが、

こんにちは。ABEJAでエンジニアをしている山下です。 こちらはABEJAアドベントカレンダー2024 20日目の記事です。 はじめに 最近、衛星データx LLMハッカソンというイベントに参加しました。 宇宙ビジネスの観点に染まりきっていないフレッシュなアイデアが多くあり、非常に刺激的なイベントでした。 その中でも特に感銘を受けた実装があり、自分でも試してみたいと考えました。 そこで今回、自分なりの解釈で再発明したいと思います！ 今回開発する実装 LLMを使った実装二本立てになります。 衛星画像からある家をピックアップし、その家に住んでいる人物のプロフィールをLLMに妄想してもらう。 プロフィールを出店計画のペルソナとして利用する。LLMにはプロフィールの人物になりきってもらい、出店した店にどれくらい行きたいと思うか、お気持ちを述べてもらう。 (株式会社Tech Funの鈴木様、チームの皆

これはABEJAアドベントカレンダー2024年の記事である。普段プロダクトマネージャーを務める筆者が、2024年10月のSpaceXの衝撃的な垂直着陸成功を見てこの記事を書くに至った。 筆者の過去記事一覧 🏃 小型かつ安価なセンサーを使って人の行動推定を行ってみる 🛩 ドローンに使用される姿勢推定システムの作り方 🧹 掃除ロボットをかゆいところまで手の届く仕様に改造する 🎇 会社のVRワールドを1ヶ月で開発して忘年会を開催する方法 本日はSpaceXのロケットについて語るために、自作のシミュレーターを開発した。 ロケット開発やその制御技術は言葉だけで表現するには限界がある。 実際にブラウザで動くので、ぜひロケットの奥深さや面白さを触ってためしていただきたい。上空から地上の一点を目指すのがいかに難しいか、操作してみるとよりリアルにわかるはずだ。 シミュレーターはこちら：https:/

この記事は ABEJA アドベントカレンダー 2024 の19日目の記事です。 こんにちは。システム開発部の鈴木（@szpshota）です。 3年くらい前にエンジニアとして入社して、去年の暮れくらいからマネージャーをやっています。 今でも業務含めてコードは書いてますが、組織力や生産性を高めるための仕組みづくりや組織運営が主な仕事になってきました。 今回は組織マネジメントの話・・・ではなく、怖ーい Azure OpenAI Service の高額請求の話と Terraform の話をしようと思います！ 目次は以下の通りです。 Azure OpenAI Service の高額請求について Provisioned-Managed なデプロイ Provisioned-Managed の利用料 高額請求の防止策 予算アラートを設定する ペア体制で設定値を指差し確認する IaC で設定値を管理し、コー

ABEJA でエンジニアをしている石川です。これは ABEJA アドベントカレンダー 2024 の 18 日目の記事です。 CoreML で機械学習モデルを動かす swift-transformers を試す Mistral 7B モデルを動かす swift-transformers で推論を実装する Python で動かしてみる CoreML モデルに変換 Swift で動かす パフォーマンス We Are Hiring! macOS/iOS で機械学習モデルを動かすにはいくつかの方法がありますが、Apple シリコンの能力を十分に引き出すためには CoreML を使うのが最適です。 Python 向け機械学習フレームワークである PyTorch も MPS バックエンドによって、Apple シリコンの GPU を利用することはできます。しかし、Apple の NPU (Neural P

はじめに こちらはABEJAアドベントカレンダー2024 12日目の記事です。 こんにちは、ABEJAでデータサイエンティストをしている坂元です。最近はLLMでアプローチしようとしていたことがよくよく検証してみるとLLMでは難しいことが分かり急遽CVのあらゆるモデルとレガシーな画像処理をこれでもかというくらい詰め込んだパイプラインを実装することになった案件を経験して、LLMでは難しそうなことをLLM以外のアプローチでこなせるだけの引き出しとスキルはDSとしてやはり身に付けておくべきだなと思うなどしています（LLMにやらせようとしていることは大抵難しいことなので切り替えはそこそこ大変）。 とはいうものの、Agentの普及によってより複雑かつ高度な推論も出来るようになってきています。弊社の社内外のプロジェクト状況を見ていても最近では単純なRAG案件は減りつつあり、計画からアクションの実行、結果

こんにちは！ABEJAでデータサイエンティストをしている藤原です。ABEJAアドベントカレンダー2024 の11日目のブログになります！ キーフレーズ抽出を簡単に試すという機会がよくあるのですが、簡単に検証する範囲だといつも同じツール・モデルを使っているため、他の方法でも上手くキーフレーズ抽出ができないか？ということで今回いくつか検証してみました。やることとしては、まず Embedding Model を使って日本語の長めの文章からキーフレーズを上手く抽出できるか？というのを検証します。その上で、色々な Embedding Model 間で抽出されるフレーズがどのように違うか？も比較してみます。 目次 目次 はじめに キーワード抽出・キーフレーズ抽出とは？ キーフレーズ抽出の手法 1. グラフベース・統計ベース 2. LLM ベースのアプローチ 3. Embedding ベースのアプローチ

こんにちは、今年の4月に新卒入社でABEJAに入社しました島倉と申します。 現在はプロジェクトマネージャーとして働いています。 これはABEJAアドベントカレンダー2024の9日目の記事です。 なぜFirecrackerが開発されたのか 従来の仮想化技術の課題 Firecrackerの設計要件 Firecrackerとは何か Firecrackerのアーキテクチャ Firecrackerのコード解説とその仕組み microVMの仕組み MicroVMはなぜ軽量なのか 1. 起動プロセスでカーネルを直接ロード 2. mmap による効率的なメモリ管理 3. KVMを利用したvCPU管理 4. Seccompで不要なシステムコールを制限 5. 最小限のVirtIOデバイス まとめ We Are Hiring! 今回は、生成AIの発展が注目されている中あえて、「地味だけど重要な技術」にフォーカス

はじめに こんにちは。 ABEJAのシステム開発部でエンジニアをしている中島です。 こちらはABEJAアドベントカレンダー2024 8日目の記事です。 本記事では、英語のスピーチが苦手な中島がAIの力で英語を話すことに挑戦 そして挫折 する話をします。 今回の記事の対象者はソースコードをある程度読むことができる方を想定しています。 大枠として下記の構成で進行します。 先に結論 OpenAI Realtime API とは アプリケーション方針 リファレンス読解 アプリケーションの実装 まとめ 先に結論 OpenAIのRealtime APIのリファレンス実装を見ながら、リアルタイム翻訳機能を実装しました。 リファレンスのUtilityを使えば、簡単に実装することができます。 出来たものは下記のようなアプリケーションです。 youtu.be OpenAI Realtime API とは まず

ABEJAのCTO室の村主です。ABEJAアドベントカレンダー2024 6日目のブログになります。 本日は、「新技術・サービス検証支援」という支援施策の内容と狙いを書いていきます。 ABEJAに興味ある方や、AI系ツールの支援設計を行う方に参考になればと思います。 「課題」と「狙い」に想いが詰まっているのでそこだけ見ていただくでもOKです。それ以降は施策の工夫点になります。 「新技術・サービス検証支援」の特徴 課題 元々ABEJAではご多分に漏れずChatGPT Plusの利用を支援する施策を行なっていました。しかし昨今、2週間単位くらいで色々なAIツールがバズります。Gemini ProやClaude3.5 sonnetやArtifactsもさることながらPerplexityやGitHub Copilot、Google Colab Pro+、Cursor（AIエディタ）、Tactiq（会

突然の通知 なぜ気付けなかったのか？ 応急対応：まずは火を消す このアプリでのGoogle Places Detail APIの呼び出し方法 アプリの価値を見つめ直す 写真アップロードを促す仕掛け アプリを広めるのは簡単じゃない まだ、課題が… We Are Hiring! インターンシップ生としてABEJAで活動している和田です。こちらは、ABEJAアドベントカレンダー2024の2日目の記事です。 大学院で研究やインターンをこなす傍ら、同級生3人と自分たちのレベルアップのため「気分や好きな場所に合わせて、お出かけを提案するアプリ」の開発に取り組んでいます。 今回は、そんな私たちが直面した 高額請求事件 と、それを乗り越えた経験についてお話しします。 突然の通知 ある朝、三井住友銀行アプリから届いた通知が目に入りました。 「高額な請求がありました」 寝ぼけていた私は「また詐欺メールか」と軽

こんにちは、ABEJAでプロジェクトマネージャーをしている都倉と申します。これはABEJAアドベントカレンダー2024の1日目の記事です。AI技術が急速に進化する中で、私たちは日々新たな挑戦と向き合っています。 AI時代における不確実性マネジメントというテーマで、非エンジニアの仮説検証のスピードと質がこの2年で全然違うものになってきましたねというお話しができればと思います。 1. 不確実性について 不確実性と聞くと、どのような印象をお持ちでしょうか？仕事の場面ではリスクと捉えられ、あまり良い印象を持たないかもしれません。しかし、少し思い出してみてください。子どもの頃、友達と一緒にあてもなく自転車で遠出をしたことはありませんか？見知らぬ道を探検したり、秘密基地を作ったり、新しい遊びを考えたりしたことはありませんか？そのどれもが計画通りにはいかない不確実なものでしたが、その分ワクワクしたのでは

ABEJAでデータサイエンティストをしている服部です。 ABEJAは経産省主催のGENIACプロジェクト1期に採択され、その中で大規模言語モデルの開発を行っていました。 その際にモデルの開発と同時に日本語用の学習コーパスを構築しました。 www.abejainc.com そして、この構築した日本語用の大規模言語コーパス、すなわち言語モデル用の学習データセット ABEJA-CC-JA を公開しました！ 商用利用も可能です。 ここでは、公開したデータセットについてご紹介します。 構築したデータセット ABEJA-CC-JAについて 元データ: Common Crawl 2019年から2023年までを対象に、計41のtimestamp データセットのサイズ : 約430Bトークン Mixtral8x7bのtokenizerでのtoken数 約407B (4070億)文字 日本語公開コーパスとして

はじめに ハードウェアの準備 Arduino の準備 Switch -> PC 環境の実装 stepメソッド 状態の遷移 報酬 を計算する 終了判定 reset メソッド ゲームのリトライ 自動プレイのテスト はじめに ABEJAでデータサイエンティストをしている清田です。今回は強化学習で何かゲームの学習をやってみたいと考え、その題材としてスイカゲームを扱えるようにしました。「強化学習で攻略したい」と銘打っているのですが、この記事で扱うのはその準備までです。 スイカゲームは Nintendo Switch （以下 Switch）用ゲームとして発売された落ち物パズルゲームです。箱の中に果物を落としていき、同じ種類の果物同士を接触させると合わさって一段階上の果物に変化します。より上位の果物を作るほど高い点数が得られます。箱から果物が飛び出してしまうとゲームオーバーです。2048 パズル + 落

はじめに Looker Studioについて (参考) Cloud Identityについて(参考) アーキテクチャ 最後に はじめに ABEJA大田黒です。皆様、Looker Studioはお使いでしょうか？無料で使えて便利ですよね！私もよく使っています。ちなみに、 Looker Studioで作成したレポートをGoogle Workspaceの組織を超えて組織外（社外等）にシェアするとき、権限設定で困った経験はございませんでしょうか？ 社外ユーザーがそもそもGoogleアカウントを持っていない 自社のGoogle Workspaceに社外ユーザーを作りたくない 社外ユーザーが個人で持っているGoogleアカウントを連携させるのは論外... 共有先の社外ユーザーが1人2人じゃなくて、何人か増えていきそう... 社外ユーザーの異動・退職時のユーザーマネジメントを誰がやるのか... Look

ABEJAでデータサイエンティストをしている服部です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」に採択されたことを受け、LLMの事前学習を実施しました。 その中でモデルの学習だけでなく、学習に欠かせない大規模日本語言語コーパスを作りました。データセットのサイズとしては、語彙拡張前のMixtral Tokenizerで約400Bほどのものです。 特にその中で大部分を占めるCommon Crawlをベースとしてデータセットを作った過程について解説します。 データセットの概要 Common Crawlについて warcとwet データセット作成方針 前処理の流れ 1. 日本語の簡易判定、w

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。 LangChain を使用すれば、RAG [Retrieval Augment Generation] を使用した LLM アプリケーションを簡単に作成できるので便利ですよね。 今回 LangChain での RAG を使用して、LLM が学習に使用していない特定ドメインでの用語を応答する Slack ボットをさくっと作ってみたので共有します。 本コード一式は、以下の GitHub レポジトリに保管しています。 github.com 使い方 コード解説 アーキテクチャ RAG の仕組み ヒューマンインザループによる継続的品質改善 まとめ We Are Hiring! 使い方 事前準備として｛用語集スプレッドシートの作成・Slack アプリの初期設定・各種

こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（GitHub : @Yagami360）です。LangChain 使えば、RAG [Retrieval Augment Generation] などを活用した LLM アプリケーションも簡単に作成できるので大変便利ですよね。そんな LangChain を開発している LangChain 社から LLMOps ツール（*1）である LangSmith が登場しているので調査してみました。昨今 ChatGPT 等の LLM 技術の発展に伴い、LLM を実際のアプリケーション開発や運用に適用する際に MLOps から派生した LLMOps という概念が有益になってきています。LangSmith はそのような LLMOps において、LLM アプリケーションの運用向け LLMOps 機能に焦点を絞っており、ま

ABEJA でプロダクト開発を行っている平原です。 先日、バックエンドで使っているGo言語のお勉強しようと「go言語 100Tips ありがちなミスを把握し、実装を最適化する」を読んでいました。その中でinterfaceは（パッケージを公開する側ではなく）受け側で定義するべきという記述を見つけてPythonでも同じことできないかと調べていると（PythonではProtocolを使うとうまくいきそうです。）、どうやら型ヒント機能がかなりアップデートされていることに気づき慌てて再入門しました。（3.7, 3.8あたりで止まってました。。） この記事では、公式ドキュメントを見ながら適当にコードを書き散らし、どの機能はどこまで使えるのか試してみたことをまとめてみました。 docs.python.org 環境 Python: 3.12.1 エディタ: Visual Studio Code Pylan

ABEJAでデータサイエンティストをしている服部です。 「EDAって結局何したらいいの？」っていう声をよく聞く気がするので、無謀にも今回はEDAについて記事を書いてみました。 本記事はABEJAアドベントカレンダー2023 25日目の記事です。 EDAとは EDAは「Exploratory Data Analysis」の略で「探索的データ分析」と日本語では言います。 データの特性だったりデータから何が言えるかを把握するための分析であり、JohnTukey氏により1960~70年頃に統計学の分野で提唱されたようです。 今では機械学習の分野でも、「まずEDAをしてからモデルを作ろう」と言われる場面をよく見かけ、EDAをすることは当たり前になってきています。 en.wikipedia.org 本記事のモチベーション EDAに関する情報もたくさん調べると出てきますが、EDAのためのPythonライ

はじめに こんにちは、ABEJAでプロジェクトマネジメントをしている服部です。ABEJAアドベントカレンダー2023の24日目の記事です。皆さん日々の思い出はどういった形で残されていますか？写真？動画？それとも3Dスキャン？今回はドローンにiPhoneを載せることで広がる可能性をご紹介しようと思います。 注意点 ドローン運用の際には、機体の登録や飛行区域の確認などが求められます。本記事では、その点の説明を省きますので、詳細は国土交通省のページをご確認ください。 航空安全：無人航空機（ドローン・ラジコン機等）の飛行ルール - 国土交通省 前振り iPhoneで「12以降の"Pro"」に搭載のLiDARスキャン機能ですが、これは距離センサー（LiDAR）とカメラの合わせ技で3Dモデルを生成するものです。 下記のリンクからScaniverseで撮った自然や人工物をご覧ください。 材質にもよります

ABEJA でプロダクト開発を行っている森永です。ABEJAアドベントカレンダー2023の22日目の記事です。普段の業務ではフロントエンドからバックエンドやインフラまで幅広く扱っています。今回は、一般的な Web 開発のスタックを飛び越えてより低レイヤーの領域に触れてみたくなり、以前から興味があった FPGA デバイスを触ってみましたのでこちらの記事にやったことをまとめてみました。 注: 筆者 FPGA は超初心者なため、あくまでも私のような初心者の方の参考となる記事に仕立ております。 1. FPGA とは？ 1.1 概要 1.2 FPGA が身近に使われているところ 2. FPGA を使うと何が良いのか？ 3. FPGA を始めるには何の言語を学べばいいのか？ 4. 実際に簡単な回路を FPGA 上で動作させてみる 4.1 環境構築手順 4.1.1 Xilinx ISE Design S

切っ掛けと問題の認識 AWS Config のカウント数の監視 対象外にしたいリソースが見つかったら AWS Config 側で除外する 実際のコスト削減効果 なぜもともとコストが高かったのか まとめ こんにちは、ABEJAの村主です。ABEJAアドベントカレンダー2023の18日目の記事です。今回は、意外にも高額になりがちなAWS Configのコスト削減について、どのように対応したかをご紹介します。特に、AWS Configのコストを大幅に減らすためのアプローチについてお話しします。また、CloudWatch で AWS Config のカウント量を可視化する方法はあまり見かけなかったのでブログにしておきました。 切っ掛けと問題の認識 最初に気づいたのは、AWS Cost Explorer を確認していたときです。そこで見たAWS Configのコストは、1日あたり約$15、月間では約

こんにちは、ラボで研究開発をしたりプロトタイプを作っている藤本(X(Twitter))です。ABEJAアドベントカレンダー2023の21日目の記事です。ここ近年、生成AIの勢いが凄いです。最近は一夜明けたら世界が変わっているみたいなことがしょっちゅう起きています。そんな状況なので、なかなか世の中についていくのが難しいのではないかと思います。そこで今回は、これまでに色々と出てきた生成モデルを振り返りつつ、ひたすら思いつく限りColabで動かしまくってみる企画をやってみようかと思います。流石に全部Colabで動かすのは大変でした・・・。 まずは言語を対象として日本語モデルを含む様々なモデルを対象に推論実験を行います。続いて高速化の実験、更にSFTによるInstructionチューニングや、RLHFもやってみます。最後に、ソースコード生成もやってみましょう。次に、画像を対象として、言語同様に色々

はじめに こんにちは、ABEJAでデータサイエンスグループに所属している今井です。ABEJAアドベントカレンダー2023の20日目の記事です。 OpenAIのAPIには、チャットアプリケーションを作る際に役立つfunction callingという機能がありますが、かねてから「どれくらいfunction callingは精度良く呼び出されるのだろうか？」と思っていました。 今回の記事では、上記の疑問に答えるべくfunction callingの呼び出し精度をレストラン予約のシナリオを題材に定量的に評価してみたので、その内容についてご紹介したいと思います。 以下の順序で内容を説明していきます。 はじめに Function callingについて Function callingの使用イメージ Function calling評価のモチベーション 評価用データセット データセットの概要 レスト

本記事はABEJAアドベントカレンダー2023 19日目の記事です。 こんにちは！データサイエンティストの安倍（あんばい）です。 最近の趣味は競馬布教です。 社内のNotionページに毎週予想を記載し、それを信じて馬券を購入する同僚が徐々に増えてきています。残念ながら、全体収支はマイナスのようです。 さて、今回のテーマですが、昨年投稿した「競走馬骨格推定」の続き話となります。嬉しいことに、読者の方から講演依頼を頂き、実際に発表、議論をしてきましたので、その内容についてご紹介したいと思います。 tech-blog.abeja.asia 目次 目次 競走馬骨格推定について 講演依頼 発表してきた 議論の様子 終わりに We Are Hiring! 競走馬骨格推定について まず初めに、昨年執筆した競走馬骨格推定について、簡単に説明をします。 競走馬骨格推定 鼻の時系列プロット こんなものを作りま