ARM/GPU/FPGA/RISC-Vで作る
AIカメラ＆IoTエッジ開発 100の要点

講演内容

従来の自然言語処理（NLP）と現在の大規模言語モデル（LLM，Large Language Models）の違いは，使用される手法にあります．従来のNLPでは，特定のタスクを解決するためにルールや統計に基づいた方法が使われていました．例えば，文章を細かく分解したり，単語の種類を判断したりするモデルです．しかし，これらの従来のモデルは長い文章の全体的な意味を捉えるのが難しく，タスクごとに別々のモデルが必要で．異なるタスク間での知識の共有も困難でした．

現在のLLMは，新しい仕組み（Transformer）を使い，文章全体の意味を一度に理解することができます．これにより，長い文章の中で関連する部分を効果的に処理し，高精度な結果を提供します．LLMは大量のデータで事前に学習され，多様なタスクを高精度に実行できるようになりました．さらに，LLMは文章の生成，翻訳，要約，質問応答など，幅広いタスクに対応できます．従来のモデルでは難しかった創造的なタスクにも対応可能です．従来のNLPは特定のタスクに特化していましたが，現在のLLMは多様なタスクに対応できる汎用性を持ち，NLP分野の大きな進化を促しています．

AI分野において特にLLMの急速な発展が目覚ましいです．これらのモデルは「学習データ量」，「パラメータ数」，「計算量」が大幅に増加しており，それに伴い計算リソースの需要も急増しています．その結果，これらの学習済みモデルは主に高性能サーバやクラウド環境での運用が一般的です．しかし，これらのリソースを必要とする環境が常に利用可能であるわけではなく，多くのデバイスでは計算能力やメモリの制約により，これらのモデルをそのまま適用することができません．

この問題に対処するため，モデルの軽量化が重要な解決策として注目されています．エッジ・デバイスや限られたリソースを持つ環境でも高度なAI機能を提供できるよう，軽量化技術が積極的に開発されています．特に，モデルの軽量化によりデバイス上で動作させることができれば，新しいサービスの検討やプロトタイピングが可能となります．

本セッションでは，このような背景を踏まえ，ChatGPTに代表されるLLMの最新動向およびモデル軽量化技術にフォーカスします．具体的には，「蒸留」，「枝刈り」，「量子化」という3つの主要な軽量化技術について解説します．また，モデル軽量化を行ったLLMをラズパイ上で動作させるデモも紹介します．

受講対象

• 産業用ロボットやIoTデバイスにおけるモデル軽量化の応用に興味がある方
• モバイル・アプリケーションを開発している方
• 自動運転や車載システムを研究・開発している方

講師紹介

略歴

株式会社クレスコ入社後，銀行向けシステムなど数多の開発にリードエンジニアとして従事．後に自社ソリューションとなる統合認証システムの基礎を独力で開発するなど，アイデアと技術でクレスコを牽引する．技術研究所での機械学習研究を経て，人工知能を強みとする部門に異動．現在はテクニカルエバンジェリストとして企業が持つ業務課題へのAI適用に関するコンサルティング，機械学習に関する技術支援を行う一方，自ら研究テーマを持ち共同研究，実験システムの構築も担当．「SoftwareDesign」「やってみよう！機械学習」（技術評論社），「日経ソフトウェア」「AIプログラマになれる本」（日経BP）への記事寄稿，金沢工業大学 客員准教授

主な著書

1. ［VOD/KIT］ラズベリー・パイで学ぶエッジAIプログラミング入門，ZEPエンジニアリング株式会社．
2. ［VOD/KIT］世界の航空機を同時追跡！Flightradar24 ラズパイ・キット，ZEPエンジニアリング株式会社．
3. ［VOD/KIT］人工知能カメラM5StickVで作って学ぶ画像解析AI開発入門，ZEPエンジニアリング株式会社．
4. ラズパイ+USB SDRで作るFlightradar24 Businessアカウント・フィーダ，ZEPエンジニアリング株式会社．
5. いろんなことを試して学ぶ！ Pythonプログラミング，2021年，日経BP．
6. エッジAIプログラミング M5StickV 活用編，日経ソフトウェア2020年11月号，日経BP．
7. エッジAIプログラミング M5StickV 準備編，日経ソフトウェア2020年7月号，日経BP．
8. Kaggleに参戦しよう(連載)，日経ソフトウェア2020年1月号，日経BP．
9. Kaggleに参戦しよう(連載)，日経ソフトウェア2019年9月号，日経BP．
10. Kaggleに参戦しよう(連載)，日経ソフトウェア2019年7月号，日経BP．
11. AIプログラマになれる本，2019年，日経BP．
12. やってみよう！ 機械学習 第2章 機械学習の始め方，2019年，技術評論社．
13. 人工知能で画像生成 応用編，日経ソフトウェア2019年1月号，日経BP．
14. 人工知能で画像生成 基本編，日経ソフトウェア2018年11月号，日経BP．
15. 自分で構築するか，APIで機能を使うか 機械学習の始め方，Software Design2018年4月号，技術評論社．

講演内容

ChatGPTの登場により，世の中が大きく変化し始めました．プログラミングの世界も例外ではなく，コードの大部分が自動生成される勢いです．本セッションでは，このChatGPTのAPIを利用し，マイコン・ボード「ラズベリー・パイPico W」とChatGPTとの間で会話をしながら機能を実行してみます．いわばMtoMの世界を体験します．さらに，ChatGPTだけでなく，他のクラウド・サービスからもデータを取得しながら，次の機能を実行していきます．

1. NTP（Network Time Protocol）で日時を取得し，OpenWeatherMapから現在の気象情報を取得して環境情報を整えます．
2. ChatGPTにこの環境下でイメージされる作詞を依頼し，生成された詩を液晶表示器に表示します．
3. さらに同じ詩をローマ字で出力するようにChatGPTに依頼し，音声合成ICで音声として詩を朗読します
4. 別途一定間隔で，ChatGPTに環境情報からイメージされる複数の色の出力をRGB値で依頼し，それらの色の変化をフルカラーLEDでゆっくりと表現します．

本セッションでは，このようにChatGPTにいくつかの自動生成を依頼しながら，その結果をマイコンで活用するプログラミング手順を解説していきます．

受講対象

• IoTデバイスと人工知能を組み合わせたプロジェクトに興味を持っている方
• マイコンとクラウドを統合し，リアルタイムでデータを処理するアプリケーションを開発したい方
• プログラミング初心者

関連セミナ

キット付きセミナ開催： ［Webinar/KIT/Book］ラズパイPico W×ChatGPT APIで学ぶ 会話型IoTエッジ開発 超入門 （LIVE配信：8月10日，録画受講：8月11日～13日）

講師紹介

略歴

• 1971年　東北大学　工学部卒　大手通信機メーカにて制御機器開発に従事
• 1996年　ホームページ「電子工作の実験室」を開設
• 2003年　有限会社マイクロチップ・デザインラボ設立　代表取締役 計測制御システムコンサルタント，書籍執筆　セミナ講師
• 2012年　神奈川工科大学　工学部　非常勤講師

主な著書

1. ［VOD/KIT/Book］PICマイコン オールイン1日学習キット，ZEPエンジニアリング株式会社．
2. ［VOD/Pi KIT］ラズベリー・パイで学ぶLinux＆Pythonプログラミング超入門，ZEPエンジニアリング株式会社．
3. ［VOD/KIT］ラズベリー・パイで学ぶLinux＆Pythonプログラミング超入門，ZEPエンジニアリング株式会社．
4. ［VOD/Pi KIT］ラズパイ×Node-REDで作ろう！IoTアプリ開発入門，ZEPエンジニアリング株式会社．
5. IoT電子工作 やりたいこと事典［Arduino，M5Stack，Raspberry Pi，Raspberry Pi Pico，PICマイコン対応］，技術評論社．
6. C言語＆MCCによる PICプログラミング大全，技術評論社．
7. 改訂新版 8ピンPICマイコンの使い方がよくわかる本 (基礎入門) ，技術評論社．
8. 電子工作のためのNode-RED活用ガイドブック，技術評論社．
9. 電子工作のための PIC16F1ファミリ活用ガイドブック，技術評論社．
10. 作る・できる/基礎入門 電子工作の素，技術評論社．
11. ARMマイコンで電子工作 SAMファミリ活用ガイドブック，技術評論社．
12. PICと楽しむ Raspberry Pi活用ガイドブック，技術評論社．

講演内容

本セミナの全体テーマは，「ARM/GPU/FPGA/RISC-Vで作るAIカメラ＆IoTエッジ開発 要点100」ですが，本セッションではそれに逆らって，実用RISC-V CPUコアを自作した経験とその論理設計のコツについて解説します．

RISC-V（リスク・ファイブ）はカリフォルニア大学バークレー校で開発された，オープン・ソースの命令セットアーキテクチャ（ISA：Instruction Set Architecture）です．このISAに従って，誰もが自由にCPUコアを開発できるようになりました．ISAを共通のインタフェースとして，ソフトウェア開発環境などのエコ・システムの開発も活発であり，CPUコアを外部から購入することなく自分で開発すれば，広大なエコ・システムを手にすることができるのです．こうなったら，RISC-Vは自作するしかありません．

本セッションでは，RISC-Vのアーキテクチャの概要を説明したのち，論理設計の心得，CPU設計の難しい部分，実用RISC-Vを設計し検証していく手順，FPGAや実シリコンへの実装，などについて，要点を解説します． 最後に，RISC-Vと対極をなす，世界最初のプロセサであるインテル社の4004をFPGAの上で再現した経験と，そこから得られた先人の教えについて解説します．皆さんが仕事や趣味でやっておられる論理設計への参考になればと思います．

受講対象

• CPUコアを含むマイコン・システムをSoCやFPGAに実装する方法を学びたい電子技術者や学生
• コンピュータ・アーキテクチャやCPU設計に興味をお持ちの方
• ハードウェアとソフトウェアの両面からRISC-V開発を理解したい方

講師紹介

略歴

• 出身地　：京都市左京区
• 仕事　　：1986年，日立製作所に入社し，SHマイコンの開発に従事．以降，ルネサステクノロジ，ベンチャー企業，大手半導体メーカにて，画像処理用SoCや各種マイコンおよび関連半導体デバイスの開発を統括．現在もマイコン製品設計に取り組んでいる．
• 趣味　　：1978年からマイコン・FPGA・GPUと戯れ
• 執筆活動：2000年からマイコンを絡めた雑誌記事と書籍を執筆

主な著書

●VOD教材と読みもの

1. ［VOD/KIT］実習キットで一緒に作る！オープンソースCPU RISC-V入門，ZEPエンジニアリング株式会社．
2. Efinix社製 FPGAスタータキット“Xyloni”入門［RISC-V 編］，ZEPエンジニアリング株式会社．
3. 米国 Efinix 社製 FPGA スタータキット“ Xyloni ”入門［導入編］ 開発ツールのセットアップと LED 点滅回路の RTL 論理設計 ＜前編＞，コアスタッフ株式会社．
4. 米国 Efinix 社製 FPGA スタータキット“ Xyloni ”入門［導入編］ 開発ツールのセットアップと LED 点滅回路の RTL 論理設計 ＜後編＞，コアスタッフ株式会社．

●雑誌記事（約100本）

1. ARMベース・システムLSI開発の事例研究，Design Wave Magazine 2006年5月号，CQ出版社．
2. ARM汎用プロセッサで使える汎用JTAGデバッガを自作する，Design Wave Magazine 2008年6月号，CQ出版社．
3. 並列処理プロセッサxCORE徹底研究，インターフェース 2014年11月号～2015年6月号（連載),CQ出版社．
4. Cで直叩き！超並列コンピュータGPU全速力，トランジスタ技術　2019年9月号（特集），CQ出版社．
ほか

●書籍

1. 今すぐ使えるH8マイコン基板　初版2010年，増補版2011年，CQ出版社．
2. 2枚入り小型ARMマイコン基板　2011年，CQ出版社.
3. ARM PSoCで作るMyスペシャル・マイコン　基板付き　2013年，CQ出版社．
4. ARM PSoCで作るMyスペシャル・マイコン　開発編　　2013年，CQ出版社．
5. SHマイコン活用記事全集　2014年，CQ出版社．
6. FPGA電子工作スーパキット　2016年，CQ出版社．
7. MAX10実験キットで学ぶFPGA＆コンピュータ　2016年，CQ出版社．
8. 完全版FPGA電子工作オールインワン・キット　2016年，CQ出版社．

講演内容

ラズベリー・パイ5ではカメラ接続用MIPIコネクタが2つに増加したため，ステレオ視が容易に行えるようになりました．また，プロセッサ速度が大きく向上し，カメラ操作・画像加工・AI処理などを行うソフトウェア・ライブラリ（libcamera2やopencv）の整備も進んだため，従来のラズベリー・パイは難しかった高速認識処理を手軽に作成できるようになりました．

とくに，従来必要であった下位レイヤでのプログラミングやカスタマイズした開発環境の構築などが，ほぼ不要になってきたのが素晴らしい点です．本セッションでは，それらの各種メリットの総合デモンストレーションとして，ステレオ・カメラによるセミリアルタイム距離測定を取り上げます．ただし，プログラミングなどにおいて気をつけたほうが良い細部の留意点は残っているため，それについても言及します．

受講対象

• ラズベリー・パイを利用し，ステレオ・カメラやAI処理を取り入れたい方
• エッジ・デバイス上での高速認識処理やリアルタイムデータ処理に興味がある方
• ロボットに視覚認識機能を搭載してみたい方

講師紹介

略歴

1997年よりNTT，IBM，Sony，NECの各研究所において高性能回路やセキュリティの研究，プレイステーションなどの製品開発に従事した後，2016年から現職にて宇宙機の研究開発に従事．著作多数．第9回ものづくり日本大賞経済産業大臣賞．

主な著書

1. ［VOD/Pi KIT］カメラ×ラズパイで一緒に！初めての画像処理プログラミング，ZEPエンジニアリング株式会社．
2. ［VOD/KIT］一緒に動かそう！Lチカから始めるFPGA開発【基礎編＆実践編】，ZEPエンジニアリング株式会社．
3. ［VOD/KIT］Xilinx製FPGAで始めるHDL回路設計入門，ZEPエンジニアリング株式会社．
4. ［VOD/KIT］一緒に動かそう！Lチカから始めるFPGA開発【基礎編】，ZEPエンジニアリング株式会社．
5. ［VOD/KIT］Zynqで初めてのFPGA×Linux I/O搭載カスタムSoC製作，ZEPエンジニアリング株式会社．
6. ［VOD/KIT］Tiny FPGA実習！高校生から始めるHDLプログラミング，ZEPエンジニアリング株式会社．
7. スパコンでも破れない！高セキュリティ・マイコン・プログラミング，ZEPエンジニアリング株式会社．
8. FPGA/Zynqで作るカスタム・コンピュータ・チップ，ZEPエンジニアリング株式会社．
9. Lチカ入門！ソフトウェア屋のためのHDL事はじめ，ZEPエンジニアリング株式会社．
10. USBカメラの動画キャプチャ＆描画用 Pythonプログラム，ZEPエンジニアリング株式会社．
11. ライブラリ完備！組立式ラズパイI/O増設ボード MCC DAQ HATSファミリ誕生，ZEPエンジニアリング株式会社．
12. HDLによる高性能ディジタル回路設計，CQ出版社．
13. LSI/FPGAの回路アーキテクチャ設計法，CQ出版社．
14. 月刊 トランジスタ技術（CQ出版），月刊 インターフェース（CQ出版）にて著書多数．

講演内容

近年，人工知能を用いた技術が頻繁に取り上げられるようになっており，従来の画像処理の問題が解決されたり，画像認識タスクのアプローチが見直されたりしています．機械学習においてGPUを利用して並列計算による学習は不可欠になっています．期待した結果を得るためにはデータ量を増やしたり学習時間を長く取ったりしますが，これらはGPUのスペックによって実用可能な範囲で扱えるかが左右されます．

本セッションでは画像を用いたAI技術の利用例について，GPUの活用事例にも触れて紹介します．

講義で取り上げる画像処理や画像認識の技術アプローチは，次のとおりです．

• GAN（Generative Adversarial Networks）ベースの高解像度化とリフォーカス
• ViT（Vision Transformer）を利用した物体追跡
• NeRF（Neural Radiance Fields）を利用した3D物体の復元

これらの技術を取り上げる理由は，GANベースは軽量なのでエッジ・コンピューティングやスマホ・アプリとしても活用できる点，物体追跡は監視用カメラ動画への実用化が期待できる点，そして写真から3DCGモデルを作成する技術はiPhoneでも実現可能であり，メタバースへの応用も考えられる点にあります．

また，これらの画像処理・画像認識における学習時間やデータ量，GPU性能についても事例を交えて解説します．

受講対象

• GPUを活用した機械学習技術を利用したい方
• 画像処理や画像認識の開発をしている方
• 画像エンジニアリングに従事している方

講師紹介

略歴

• 2005年　東京大学大学院新領域創成科学研究科複雑理工学専攻修士課程修了．日本アイ・ビー・エム株式会社にてシステムエンジニアとして勤務
• 2012年　同研究科博士課程修了．博士（科学）．同年より東京工科大学メディア学部助手
• 2016年　東京理科大学理工学部電気電子情報工学科助教
• 2018年　東洋大学情報連携学部准教授，現在に至る．ビジュアルシミュレーションをはじめとするコンピュータグラフィックス関係の研究に従事．最近はXRや機械学習を用いた研究も行っている

主な論文

1. T. Ishikawa, Y. Yue, T. Watanabe, K. Iwasaki, Y. Dobashi, M. Kakimoto, K. Kondo, T. Nishita, " Visual Simulation of Glazed Frost Using Hybrid Heat Calculation", IIEEJ Transactions on Image Electronics and Visual Computing, Vol.3, No.2, pp.136-142, 2015-12 (画像電子学会　優秀論文賞)
2. T. Ishikawa, R. Nakazato, I. Matsuda, "Procedural animation of aurora and its optimization for keyframe animation", Proc. of 2019 International Symposium on Computer Graphics, Multimedia and Image Processing (CGMIP), 2019-7 (Best Paper Award)
※詳しくは以下のサイトをご参照ください
http://www2.toyo.ac.jp/~ishikawa015/

講演内容

近年，ハードウェアの進化にともない，解析の高速化や大規模化が構造，電磁界，流体などあらゆる物理現象のシミュレーション領域で進んでいます．本セッションでは，現状，GPUを使った高速化・大規模解析が最も進んでいると考えられる電磁界解析を例に，GPUが得意とするシミュレーション条件と不得意とするシミュレーション条件について紹介します．また，GPUを使用した場合の高速化による効果についても解説します

主なテーマとして，5G用フェーズト・アレイ・アンテナの設計・解析におけるGPUの活用法を取り上げます．さらに，工場における電波死角「ブラインド・スポット」のシミュレーション手法を紹介し，障害物が電波伝搬に与える影響を解説します．

また，Machine LearningやAIがシミュレーションに与える効果やGPUがどのように使われ，どのような結果をもたらすかについて簡単に紹介します．

受講対象

• GPUを活用した高速シミュレーションに興味があるエンジニア
• GPUを活用した機械学習技術を利用したい方
• 5G通信システムやアンテナ設計に関わるエンジニア

講師紹介

略歴

• 1999年　日本大学理工学研究科 電気工学専攻卒
• 1999年　TOPPANホールディングに入社．次世代高速ICパッケージ・小型アンテナの解析・設計に従事
• 2006年　住友電気工業株式会社に入社．2.5G～400Gbit/sの光トランシーバのEMC対策や光電変換デバイスの最適設計に従事
• 2019年 ダッソー・システムズに入社．インダストリー・プロセス・コンサルタントに従事

主な著書

1. 詳解 EMC工学 実践ノイズ低減技法，東京電機大学出版局．
2. ノイズ解決の早道六法，CQ出版．