ARM/GPU/FPGA/RISC-Vで作る
AIカメラ&IoTエッジ開発 100の要点
LLMの実装から高速画像/グラフィック処理,カスタムCPU設計まで(講義275分/217頁)
- 著者・講師:井上 祐寛(株式会社クレスコ) / 後閑 哲也(有限会社マイクロチップ・デザインラボ) / 圓山 宗智 / 森岡 澄夫(インターステラテクノロジズ株式会社) / 石川 知一(東洋大学) / 大森 寛康(ダッソー・システムズ株式会社)
- 企画編集・制作: ZEPエンジニアリング
- 本製品は,1人当たり1ライセンスです
- 関連製品:[VOD/KIT] ラズベリー・パイで学ぶエッジAIプログラミング入門
- 関連製品:[VOD/KIT]人工知能カメラM5StickVで作って学ぶ画像解析AI開発入門
- 関連製品:[VOD/KIT]PICマイコン オールイン1日学習キット
- 関連製品:[VOD/Pi KIT]ラズベリー・パイで学ぶLinux&Pythonプログラミング超入門
- 関連製品:[VOD]カメラ×ラズパイで一緒に!初めての画像処理プログラミング
- 関連製品:[VOD/KIT/data]強度128ビット! AES暗号セキュリティ・プログラミング入門
- 関連製品:[VOD/KIT]実習キットで一緒に作る!オープンソースCPU RISC-V入門
- 関連記事:Efinix社製 FPGAスタータキット“Xyloni”入門[RISC-V 編]
お申し込み
下記のボタンを押して,必要事項の入力をお願いいたします.
内容 | テキスト | 視聴期間 | 税込価格 | 申し込み |
---|---|---|---|---|
[録画] ARM/GPU/FPGA/RISC-Vで作る AIカメラ&IoTエッジ開発 100の要点 |
× | 1日 | \7,500 | |
[VOD] ARM/GPU/FPGA/RISC-Vで作る AIカメラ&IoTエッジ開発 100の要点 |
〇 | 無制限 | \9,900 |
お申込み前にご理解いただきたいこと
- 本VODは,2024年7月26日に開催したオンライン・セミナ「ARM/GPU/FPGA/RISC-Vで作る AIカメラ&IoTエッジ開発 100の要点」を録画して編集した動画です.繰り返し再生,一時停止,巻き戻しが可能です.
- すべての映像,画像,文書テキスト,ソースコードは,著作権法によって厳格に守られています.無許可の転載,複製,転用は法律により罰せられます.
【セッション1】
ラズパイで実演!大規模言語AIモデル“LLM”のIoTマイコン実装
要点10
深層ニューラル・ネットワークが人の言葉もプログラミング言語もしゃべり出す
![](/before_after_pcb/web_seminar/aicamera_edge/picture/rasp5.png)
講演内容従来の自然言語処理(NLP)と現在の大規模言語モデル(LLM,Large Language Models)の違いは,使用される手法にあります.従来のNLPでは,特定のタスクを解決するためにルールや統計に基づいた方法が使われていました.例えば,文章を細かく分解したり,単語の種類を判断したりするモデルです.しかし,これらの従来のモデルは長い文章の全体的な意味を捉えるのが難しく,タスクごとに別々のモデルが必要で.異なるタスク間での知識の共有も困難でした. 現在のLLMは,新しい仕組み(Transformer)を使い,文章全体の意味を一度に理解することができます.これにより,長い文章の中で関連する部分を効果的に処理し,高精度な結果を提供します.LLMは大量のデータで事前に学習され,多様なタスクを高精度に実行できるようになりました.さらに,LLMは文章の生成,翻訳,要約,質問応答など,幅広いタスクに対応できます.従来のモデルでは難しかった創造的なタスクにも対応可能です.従来のNLPは特定のタスクに特化していましたが,現在のLLMは多様なタスクに対応できる汎用性を持ち,NLP分野の大きな進化を促しています. AI分野において特にLLMの急速な発展が目覚ましいです.これらのモデルは「学習データ量」,「パラメータ数」,「計算量」が大幅に増加しており,それに伴い計算リソースの需要も急増しています.その結果,これらの学習済みモデルは主に高性能サーバやクラウド環境での運用が一般的です.しかし,これらのリソースを必要とする環境が常に利用可能であるわけではなく,多くのデバイスでは計算能力やメモリの制約により,これらのモデルをそのまま適用することができません. この問題に対処するため,モデルの軽量化が重要な解決策として注目されています.エッジ・デバイスや限られたリソースを持つ環境でも高度なAI機能を提供できるよう,軽量化技術が積極的に開発されています.特に,モデルの軽量化によりデバイス上で動作させることができれば,新しいサービスの検討やプロトタイピングが可能となります. 本セッションでは,このような背景を踏まえ,ChatGPTに代表されるLLMの最新動向およびモデル軽量化技術にフォーカスします.具体的には,「蒸留」,「枝刈り」,「量子化」という3つの主要な軽量化技術について解説します.また,モデル軽量化を行ったLLMをラズパイ上で動作させるデモも紹介します. 受講対象
講師紹介略歴株式会社クレスコ入社後,銀行向けシステムなど数多の開発にリードエンジニアとして従事.後に自社ソリューションとなる統合認証システムの基礎を独力で開発するなど,アイデアと技術でクレスコを牽引する.技術研究所での機械学習研究を経て,人工知能を強みとする部門に異動.現在はテクニカルエバンジェリストとして企業が持つ業務課題へのAI適用に関するコンサルティング,機械学習に関する技術支援を行う一方,自ら研究テーマを持ち共同研究,実験システムの構築も担当.「SoftwareDesign」「やってみよう!機械学習」(技術評論社),「日経ソフトウェア」「AIプログラマになれる本」(日経BP)への記事寄稿,金沢工業大学 客員准教授 主な著書
|
【セッション2】
1000円ラズパイで実演!ChatGPT APIプログラミングで作る
M2M IoTエッジ 要点10
地球上のInternet of Things達が会話を始めた
![](/before_after_pcb/web_seminar/aicamera_edge/picture/mtom.jpg)
講演内容ChatGPTの登場により,世の中が大きく変化し始めました.プログラミングの世界も例外ではなく,コードの大部分が自動生成される勢いです.本セッションでは,このChatGPTのAPIを利用し,マイコン・ボード「ラズベリー・パイPico W」とChatGPTとの間で会話をしながら機能を実行してみます.いわばMtoMの世界を体験します.さらに,ChatGPTだけでなく,他のクラウド・サービスからもデータを取得しながら,次の機能を実行していきます.
本セッションでは,このようにChatGPTにいくつかの自動生成を依頼しながら,その結果をマイコンで活用するプログラミング手順を解説していきます. 受講対象
関連セミナキット付きセミナ開催: [Webinar/KIT/Book]ラズパイPico W×ChatGPT APIで学ぶ 会話型IoTエッジ開発 超入門 (LIVE配信:8月10日,録画受講:8月11日~13日) 講師紹介略歴
主な著書
|
【セッション3】
FPGAキットで実演!実用RISC-V CPUコアの設計とその要点
アーキテクチャの基本から論理設計のノウハウ,チップへの実装,インテル4004の再現まで
![](/before_after_pcb/web_seminar/aicamera_edge/picture/riscv.png)
- 講師:圓山 宗智
講演内容本セミナの全体テーマは,「ARM/GPU/FPGA/RISC-Vで作るAIカメラ&IoTエッジ開発 要点100」ですが,本セッションではそれに逆らって,実用RISC-V CPUコアを自作した経験とその論理設計のコツについて解説します. RISC-V(リスク・ファイブ)はカリフォルニア大学バークレー校で開発された,オープン・ソースの命令セットアーキテクチャ(ISA:Instruction Set Architecture)です.このISAに従って,誰もが自由にCPUコアを開発できるようになりました.ISAを共通のインタフェースとして,ソフトウェア開発環境などのエコ・システムの開発も活発であり,CPUコアを外部から購入することなく自分で開発すれば,広大なエコ・システムを手にすることができるのです.こうなったら,RISC-Vは自作するしかありません. 本セッションでは,RISC-Vのアーキテクチャの概要を説明したのち,論理設計の心得,CPU設計の難しい部分,実用RISC-Vを設計し検証していく手順,FPGAや実シリコンへの実装,などについて,要点を解説します. 最後に,RISC-Vと対極をなす,世界最初のプロセサであるインテル社の4004をFPGAの上で再現した経験と,そこから得られた先人の教えについて解説します.皆さんが仕事や趣味でやっておられる論理設計への参考になればと思います. 受講対象
講師紹介略歴
主な著書●VOD教材と読みもの
●雑誌記事(約100本)
●書籍
|
【セッション4】
MIPI×2搭載ラズパイ5で実演!デュアル・カメラ画像処理 要点10
超広角見守り,VR撮影,3Dセンシング,リアルタイム処理の実現
![](/before_after_pcb/web_seminar/aicamera_edge/picture/stereo_distance.jpg)
- 講師: 森岡 澄夫(インターステラテクノロジズ株式会社)
講演内容ラズベリー・パイ5ではカメラ接続用MIPIコネクタが2つに増加したため,ステレオ視が容易に行えるようになりました.また,プロセッサ速度が大きく向上し,カメラ操作・画像加工・AI処理などを行うソフトウェア・ライブラリ(libcamera2やopencv)の整備も進んだため,従来のラズベリー・パイは難しかった高速認識処理を手軽に作成できるようになりました. とくに,従来必要であった下位レイヤでのプログラミングやカスタマイズした開発環境の構築などが,ほぼ不要になってきたのが素晴らしい点です.本セッションでは,それらの各種メリットの総合デモンストレーションとして,ステレオ・カメラによるセミリアルタイム距離測定を取り上げます.ただし,プログラミングなどにおいて気をつけたほうが良い細部の留意点は残っているため,それについても言及します. 受講対象
講師紹介略歴1997年よりNTT,IBM,Sony,NECの各研究所において高性能回路やセキュリティの研究,プレイステーションなどの製品開発に従事した後,2016年から現職にて宇宙機の研究開発に従事.著作多数.第9回ものづくり日本大賞経済産業大臣賞. 主な著書
|
【セッション5】
ハイスペックGPUと画像生成AIによる次世代カメラ研究
GANによる再焦点化からViTによる高精度追跡,NeRFによる3D復元まで
![](/before_after_pcb/web_seminar/aicamera_edge/picture/imageproc.png)
- 講師:石川 知一(東洋大学)※招待講演
講演内容近年,人工知能を用いた技術が頻繁に取り上げられるようになっており,従来の画像処理の問題が解決されたり,画像認識タスクのアプローチが見直されたりしています.機械学習においてGPUを利用して並列計算による学習は不可欠になっています.期待した結果を得るためにはデータ量を増やしたり学習時間を長く取ったりしますが,これらはGPUのスペックによって実用可能な範囲で扱えるかが左右されます. 本セッションでは画像を用いたAI技術の利用例について,GPUの活用事例にも触れて紹介します. 講義で取り上げる画像処理や画像認識の技術アプローチは,次のとおりです.
これらの技術を取り上げる理由は,GANベースは軽量なのでエッジ・コンピューティングやスマホ・アプリとしても活用できる点,物体追跡は監視用カメラ動画への実用化が期待できる点,そして写真から3DCGモデルを作成する技術はiPhoneでも実現可能であり,メタバースへの応用も考えられる点にあります. また,これらの画像処理・画像認識における学習時間やデータ量,GPU性能についても事例を交えて解説します. 受講対象
講師紹介略歴
主な論文
http://www2.toyo.ac.jp/~ishikawa015/ |
【セッション6】
GPUによるローカル5Gフェーズト・アレイ・アンテナの高速電磁界解析
障害物による電波死角「ブラインド・スポット」をシミュレーション検出
![](/before_after_pcb/web_seminar/aicamera_edge/picture/gpusim.png)
- 講師:大森 寛康(ダッソー・システムズ株式会社)
講演内容近年,ハードウェアの進化にともない,解析の高速化や大規模化が構造,電磁界,流体などあらゆる物理現象のシミュレーション領域で進んでいます.本セッションでは,現状,GPUを使った高速化・大規模解析が最も進んでいると考えられる電磁界解析を例に,GPUが得意とするシミュレーション条件と不得意とするシミュレーション条件について紹介します.また,GPUを使用した場合の高速化による効果についても解説します 主なテーマとして,5G用フェーズト・アレイ・アンテナの設計・解析におけるGPUの活用法を取り上げます.さらに,工場における電波死角「ブラインド・スポット」のシミュレーション手法を紹介し,障害物が電波伝搬に与える影響を解説します. また,Machine LearningやAIがシミュレーションに与える効果やGPUがどのように使われ,どのような結果をもたらすかについて簡単に紹介します. 受講対象
講師紹介略歴
主な著書
|