大規模言語モデルLLMによる生成AIプログラミング入門

モデル軽量化からLLM導入，チャット機能実装，API活用までをローカル環境で実習
(講義240分/73頁)

• 著者・講師：井上 祐寛(株式会社クレスコ)
• 企画編集・主催： ZEPエンジニアリング株式会社


• 関連製品：［VOD］ARM/GPU/FPGA/RISC-Vで作る AIカメラ＆IoTエッジ開発 100の要点
• 関連製品：［VOD/KIT］ ラズベリー・パイで学ぶエッジAIプログラミング入門
• 関連製品：［VOD/KIT］人工知能カメラM5StickVで作って学ぶ画像解析AI開発入門
• 関連製品：［VOD/Pi4 KIT］世界の航空機を同時追跡！Flightradar24 ラズベリー・パイ・キット
• 関連記事：ラズベリー・パイ+USB SDRで作るFlightradar24 Businessアカウント・フィーダ

ご購入

下記の購入するボタンを押して，必要事項の入力をお願いいたします．

本セミナのお申込み前にご理解いただきたいこと

1. Raspberry Pi 5 / 8GBをお持ちの場合は，［VOD/data]がおすすめです．ご質問がありましたら info@zep.co.jp までご連絡ください．
2. 本セミナは，2024年11月21日に開催したウェビナを録画して編集した動画です．繰り返し再生，一時停止，巻き戻しが可能です．
3. 講義テキスト，ソースコード類は1人1ライセンスです．

本セミナで配布する実習キット(はんだ付け不要)

1. Raspberry Pi 5 / 8GB
2. microHDMI-HDMI変換ケーブル
3. 5.1V 5A ACアダプタ
4. ケース＆ヒートシンク＆ファン
5. マイクロSDカード(32GB)

講義内容

あらまし

本セミナでは，通常クラウド環境で動作する大規模言語モデル（LLM，Large Language Models）を，ローカル環境であるPCやラズベリー・パイで実際に動かすための具体的な手順と知識を学びます．従来の自然言語処理（NLP，PNatural Language Processing）と比較して，LLMはTransformerアーキテクチャを採用し，文章全体の意味を一度に把握できるため，長文の処理や多様なタスクに対応する能力が格段に向上しています．しかし，LLMは膨大な計算リソースを必要とします．

セミナを通じて，限られたリソースの環境でもLLMを利用するための軽量化技術に焦点を当て，軽量製済みモデルを使用して，手軽に自身の環境で動作させる方法を実践的に体験できます．

アジェンダ

1. セミナの概要と目的
   大規模言語モデルのいま，LLMの進化とそのローカル実行の価値，ローカル環境でLLMを動作させる利点
2. 大規模言語モデルの基礎知識
   ChatGPTなどのテキスト生成に関するモデルの基本知識と，そのほかの生成AIについても学ぶ．技術的な詳細情報ではなく，生成AIとはどういうものなのかについて例を示しながら解説する
3. モデル軽量化の技術
   コンピュータ・リソースが限られた環境で，LLMを動作させるためのモデル軽量化手法として蒸留，枝刈り，量子化について解説する
4. LLMの導入方法
   PCとラズベリー・パイの両方にLLMをインストールし，動かすための手順を体験する
5. チャット機能の開発
   PC上でLLMを使ってチャット機能を構築し，ユーザ・インターフェースを通じて対話を行う方法を学ぶ．ラズベリー・パイではコマンド・ラインからの打ち込みによりチャット機能を動作させる
6. Appendix ローカルLLMの用途

受講対象

• 情報漏洩の心配なくLLMを利用したい方
• ラズベリー・パイでのLLM動作を試したい方
• ローカル環境での構築について知りたい方

あると望ましい予備知識

• パソコンの操作(キーボード入力など)に習熟していること
• ラズベリー・パイの基本
  UI操作，コマンド・ラインでの操作，OSコマンドの理解
• Pythonの基礎知識
• ChatGPTの利用経験

講演の目標

• モデル軽量化技術の理解
• 軽量化済みモデルの導入
• LLMのローカル実行
• LLMのローカル・アプリケーション開発(PCが対象です)

実習に必要なパソコンや周辺機器

(1)Googleアカウント

(2)パソコン環境
　Windows10以降，ブラウザはGoogle Chromeが必須．GPUは不要

(2)インターネット接続環境

(3)ラズベリー・パイで使用するパーツ

• 有線キーボード(USB TypeA)
• 有線マウス(USB TypeA)
• モニタ(HDMI接続)

講師紹介

略歴

株式会社クレスコ入社後，銀行向けシステムなど数多の開発にリードエンジニアとして従事．後に自社ソリューションとなる統合認証システムの基礎を独力で開発するなど，アイデアと技術でクレスコを牽引する．技術研究所での機械学習研究を経て，人工知能を強みとする部門に異動．現在はテクニカルエバンジェリストとして企業が持つ業務課題へのAI適用に関するコンサルティング，機械学習に関する技術支援を行う一方，自ら研究テーマを持ち共同研究，実験システムの構築も担当．
「SoftwareDesign」「やってみよう！機械学習」（技術評論社），「日経ソフトウェア」「AIプログラマになれる本」（日経BP）への記事寄稿，会津大学，はこだて未来大学，琉球大学，早稲田大学のほかWatson SummitやMicrosoftでの講演等，社外でも精力的に活動中．
　金沢工業大学 客員教授

主な著書

1. 「ローカルLLM入門」モデルサイズの削減，日経ソフトウェア2024年9月号
2. Pythonで学ぶ「AI・数学・アルゴリズム」2023年6月，日経BP
3. 自分で作る深層学習フレームワーク(連載) 2022年7月号～2023年7月，日経BP
4. いろんなことを試して学ぶ！ Pythonプログラミング，2021年，日経BP
5. エッジAIプログラミング M5StickV 活用編，日経ソフトウェア2020年11月号，日経BP
6. エッジAIプログラミング M5StickV 準備編，日経ソフトウェア2020年7月号，日経BP
7. Kaggleに参戦しよう(連載)，日経ソフトウェア2020年1月号，日経BP
8. Kaggleに参戦しよう(連載)，日経ソフトウェア2019年9月号，日経BP
9. Kaggleに参戦しよう(連載)，日経ソフトウェア2019年7月号，日経BP
10. AIプログラマになれる本，2019年，日経BP
11. やってみよう！ 機械学習 第2章 機械学習の始め方，2019年，技術評論社
12. 人工知能で画像生成 応用編，日経ソフトウェア2019年1月号，日経BP
13. 人工知能で画像生成 基本編，日経ソフトウェア2018年11月号，日経BP
14. 自分で構築するか，APIで機能を使うか 機械学習の始め方，Software Design2018年4月号，技術評論社