FLUX@falでデルタもん準公式LoRAをつくってみた!!

falは開発者向けのメディアプラットフォームです。今日はfalにホストされているFlux.1[dev]のLoRAを使ってデルタもんの漫画向けLoRAをつくる実験を行ってみます。
https://fal.ai/

falは人気の漫画制作ツール「Anifusion」の内部の演算基盤としても使用されているようです。非常に高速で比較的安価なAPIコストで画像生成が実現できます。

https://ja.aicu.ai/introduce-anifusion/

今回はこちらのfalにおいて公開されている「FLUXによるキャラクターLoRA生成」を紹介します。

デルタもんを使った準公式LoRA生成実験

今回の実験はAIキャラクター「デルタもん」を開発・管理するBlendAIさんのご協力により「デルタもん4コマ漫画コンテスト」の提供でお送りします！

https://corp.aicu.ai/ja/deltamon20240821

まずデルタもんには既に公式LoRAが存在します

https://blendai.booth.pm/items/5801621

こちらはSDXLをベースにした追加学習（LoRA）であり、「Anifusion」使ったデルタもん漫画に利用できます。

https://ja.aicu.ai/anifusion20240903/

Anifusionを使ったすべての漫画制作工程を知りたい読者は、現在配信中の「AICUマガジン」最新刊「AICUマガジンVol.4 完全解説Anifusion」を御覧ください。
書籍版、Kindle版があり、Kindle Unlimited加入者は無料で購読可能です。

https://j.aicu.ai/MagV4

【前提】LINEスタンプ画像を使った機械学習は大丈夫なの？

デルタもんはLINEスタンプとしてリリースされています

LINE スタンプ - デルタもんが来た！

https://store.line.me/stickershop/product/28076624/ja

これは可愛いですね！買いました！

Loading tweet component...

BlendAIさんの「かわいい！！みどりちゃんスタンプ」もいいですね！

https://store.line.me/stickershop/product/11304932/ja?from=sticker

このようなキャラクター画像は通常IP（Intellectual Property：インテレクチュアルプロパティ）つまり知的財産として管理されています。
このようなスタンプ画像をソースにして、機械学習や情報分析をすることは「日本の著作権法では可能」ですが、贋作をつくることが目的になったり、実際に偽物・類似品の「デルタもん」つまり、「デルタもの」をリリースして販売することは一般的には許可されていることはあまりないことです。
※「利用規約」によります。

今回の実験にあたり、BlendAIさんに利用規約を確認したところ、ご許諾いただけました。

Q: 商用利用はできますか？
A: 以下に該当する利用であれば、利用規約の範囲内で自由に商用利用ができます（ボイスは除きます。詳細は後述）。
非営利目的の利用
Youtube、Twitter(X)、Facebook、Tiktok、Instagram 等、動画投稿サイトへの投稿目的での利用
pixivリクエスト等のコミッションサイトでの利用
FANBOX や Patreon 等ファン限定作品のデータもしくはそのアクセス権を販売するサイトでの利用
ハッカソンまたはコミケ等の同人イベントでの利用（常設ではない単発のイベントのみ）
同人誌等の同人作品の販売（ダウンロード販売含む）
AIの研究開発の為の利用（ただし、成果物を頒布・公開する場合は、対価を受け取ってはならない）
個人による年間の売上が10万円以下の商品またはサービスを作る際の利用

上記以外の利用を希望する場合、ライセンス申請してください。また、ボイスの利用については、声優の権利保護のため商用利用可能な条件が異なります。ボイスの商用利用を希望する場合は、こちらのページを見てください。

https://blendai.jp/guideline

AICU Inc.が定める
画像生成AIクリエイター仕草（v.1.0）
も参照しておきます。

すべきでないこと
他者の迷惑になること。
技術的な可否と法律上の可否とマナーやモラル、過去の常識やリスクや感情を混ぜて混乱させること。
(スキルがあるからといって)他者の作品を上から目線で批判すること。
画像生成 AI だから安いとか、自動だとか、無償で何かを作れるとか「楽して儲かる」など世間を誤解させるようなこと。
すべきこと
楽しむこと。作品を作る情熱を持ち続けること。
わからないことは自分で調べて、共有し、コミュニティや Issue で共有すること。

あいさつ、返事、お礼、質問を具体化、質問時は「わからない」だけでなく詳細な情報、進行具合を報告するなど誠意、他者に対するリスペクトや理解する姿勢を持つこと。
「ぬくもりティ」だいじ。オープンソースコミュニティの開発者には敬意をもって接しよう。
画像生成AIクリエイター仕草（v.1.0）は、AICU media が提唱するものです。
倫理や法律を大切に、他者を尊重したコミュニティ構築を行っていきましょう。

https://ja.aicu.ai/sbxl/moral/

手順：LoRA生成と公開

fal-aiが公開している flux-lora-general-training を使用して、デルタもん公式が配布している画像を学習させてみます。

https://blendai.jp/resources

実際にかかるコストなどのレポートも行っていきます！

https://ja.aicu.ai/flux20240805/

falアカウントの作成

GitHubアカウントでのみ登録可能です。

プロジェクト「flux-lora-general-training」を開く

https://fal.ai/models/fal-ai/flux-lora-general-training

実は商用利用可能なようです。

クレジットを追加する

今回のLoRAを作成するには5ドル、その後の生成も含めると、まずは10USDぐらい必要です。Stripeで決済できますので、クレジットを追加しておきましょう。

画像の登録

実は4枚ぐらいでもできます。まずは小規模に試してみるのもいいかもしれません。

素材はBlendAIの「素材配布」から「LINEスタンプ画像」を使って登録してみます

https://blendai.jp/resources

PNGファイルの001-040までの40枚を追加してみます。

トリガーワードは「DeltamonStamp」としてみます。キャプションファイルがあるとなお良いかもしれませんが、今回は実験なのでデフォルトのまま進行します。

予算（クレジット）を確認する

このLoRA学習用エンドポイントを実行するには5ドル相当のクレジットが必要です。なお、クレジットが不足しても実行はできることがありますが、その分、マイナスになって、次回以降は何もできなくなってしまいます。

画像生成はメガピクセルあたり0.035ドルかかります。日本円で5円弱、1ドルで約29回実行できますので生成自体の単価は安いのかもしれません。

ちなみにこの実験では1000ステップほどで実行していますが、たとえば複数のLoRAを生成した場合は、どんどんコストが大きくなります。例えば5400ステップですと…27ドルといった具合です。

学習を実行する

枚数にもよりますが10分ぐらいで終わります。速い！

生成したLoRAを試用する

結果の右側にある「▶Run interface」を押すと、TextToImageのプロジェクトが開かれ、すぐに試すことができます。

「chibi manga panels of DeltamonStamp」で生成してみました。

後頭部が描かれているのは尊いですね。

スタンプ画像の雰囲気再現性が高いです

漫画コマを生成してみました

キャラクター紹介シートっぽい

謎文字が可愛い

生成したsafetensorsをHugging Faceで公開する

今回生成したsefetensorsファイルをHugging Faceで公開してみます。

「Hugging Face」ボタンを押します。

Hugging Faceのトークンを取得して、設定します。
リポジトリ名を設定します
説明書きを加えます

デルタもんStampをベースにしたLoRAです。特徴的な日本語の描き文字が化けて可愛いですね。 This LoRA is based on Deltamon Stamp. It is cute with distinctive Japanese drawn characters that have been transformed.