Magpieによるアップスケーリングが神だった件

ご無沙汰しております。
おおよそ一年間動画を投稿していませんが、このお盆休みに時間作ってキャプボとAE弄り再開しました。
まだ成果はありません。

今回は自分用のメモ書きなのですが、これから頻繁にお世話になるであろうアップスケーリングツール Magpie と、その使い方や設定ファイルを公開している方のブログを紹介します。

５５ さん (@hddvddegogo) のブログ：
アイマスをリアルタイム最新AIアプコン [Magpie] で高画質に楽しもう！（Anime4K/FSR/XBOX/PS3/アイドルマスター/ミリシタ/FidelityFX） - HD DVDでゴーゴー


■ 導入

ニコマスPの方にしか分からないかもしれませんが、MADを作る際、Mid～Longの素材を拡大するとドットやジャギーが丸見えになって「こりゃ使えないわー」となることが度々あると思います。

最近はPC版デレステやスターリットシーズンなど、PCを使いこなせば４Kでのレンダリングもしてくれるため需要は減りつつあるのかもしれませんが、ミリシタやXBOX・プレステ３時代のアイマスなど、内部解像度が720pのゲームは、そもそも投稿する時点でフルHDにするためボケやジャギーとの戦いは避けられず、いいアップスケーリングツールないかな…と探していたところでした。


■ 通常の使い方

この Magpie 、心臓部はフィルタの集合体のようですが、アプリケーションとしては「最前面にあるWindowにフィルタを適用して全画面に拡大出力する」という作りになっており、よくテレビに備わっている 超解像技術 系のソフトになります。

なので、普通の使い方は、古いPCゲームを全画面表示したり古いアニメや小さいサイズの動画をプレイヤーで再生する際に、すごく綺麗に全画面に引き伸ばせるというものになります。
また、選択するフィルタによっては、サイズを引き伸ばさなくても、ジャギー除去されたりエッジがくっきりしたりといった効果が期待できるものになります。

今回紹介したブログの執筆者の方は、今まさにフィルタの研究中のようで、続きの記事に有益な情報がたくさんあります。
動画のサムネを見るにアイマスPでもあるようなので、是非お友達になりたい感じです（笑）

55さん（@hddvddegogo）
Youtube


その他の記事（ニコマスに関係ありそうなものをピックアップ・上ほど新しい記事です）

リアルタイム神アプコン「Magpie」小技集2（Anime4K/FSR/ミリシタ/アップスケーリング）全てのアイマスPに贈る (8/15 追記)

リアルタイム神アプコン「Magpie」小技集1（Anime4K/FSR/アップスケーリング）

[Magpie] PC画面に映るもの全てに最新AIアプコンかけちゃうよ！リアルタイム（Anime4K/FSR/FSRCNNX/機械学習/超解像）アニメ/ゲーム画質比較



■ ミリシタに刺さる件

アップスケーリングのツールは、私自身、探し始めたばかりですが、有料無料たくさんあると思いますし、AEのお高いプラグイン含め、今更の話なのかもしれません。
今回の話は、ツールが凄いというよりは、ミリシタに刺さる設定を作ってくれた方がいたことが凄い、というのが正しいのだと思います。

上記リンクから最新の ScaleModels.json を入手して、下記いずれかの設定をすると、ミリシタや旧アイマスの 720p、特に拡大してボケボケになったりジャギジャギになってしまったものに対して効果てきめんで綺麗になります。1.の設定が無難っぽいです。

・ALLゲーム(720-900p)1
・ALLゲーム(720-900p)2

ちなみに、ScaleModels.json の文字コードは Unicode(UTF-8) です。Shift-JISで保存すると多分文字化けします。

(8/15 追記) このブログを読んで下さった55さん（hddvddegogoさん）が早速フィルタの改善をしてくれました。下記の記事に最新の設定パラメータが載ってます。感謝！

リアルタイム神アプコン「Magpie」小技集2（Anime4K/FSR/ミリシタ/アップスケーリング）全てのアイマスPに贈る


■ フィルタとして使う方法　※力業

ここから先がこの記事のメイン。
このあとに出力結果の例を貼ってありますが、こんな良い感じの出力結果をみてしまうと、これ…普通に動画編集に使いたいなと思うわけです。
GitHubで公開されているため、その気になればAEのプラグインも作ることも出来るのかもしれません…が、私にそんなスキルはなく（汗）。

先の紹介記事の中にもサラッと書いてありましたが、力業で下記のように「やればできる」ことはわかりました。
なお、モニタが2台あれば、PCは１台でも出来ます。

略図


手順としてはこんな感じになります。
1. 動画を作る。
　この時点では無茶な拡大等によるボケやジャギーあるままで構わない。
2. モニタ2 に配置したプレイヤーで動画を再生する。
3. 2.の動画プレイヤーの Window に Magpie を適用する。
4. モニタ2 に出力した内容をモニタ1に配置したキャプチャソフトでキャプチャする。

これで、キャプチャ結果は、Magpie のフィルタがかかったキレイな動画になります。
そりゃそうだ、、、という力業です。
なお、著作権等にはご注意の上、自己責任でお願い致します。

(8/15 追記)
全画面をスクリーンキャプチャできる録画ソフトなら、キャプボで再入力させなくても出来るんじゃない？と思われるはずなので追記。
どうやら録画ソフトによるようです。MagpieはWindowsのスクリーンに映す段階で乗っ取って適用しているようなので、スクリーンキャプチャをどのAPIで（？）取得しているか次第なのかなと思います。詳しいことはわかりませんが…。
OBSだとフィルタがかかる前の映像が録画されてしまったため諦めていたところ、Bandicam (シェアウエア) ならフィルタがかかった状態の映像を録画できるよと くらわんP から情報を頂き、実際フィルタつき録画出来ました。これまた感謝です。
この方法だと最大4Kまで引き伸ばした綺麗な映像を録れますが、自分の環境の場合、制限事項もあったので、そのあたりは次回の記事にまとめます。


■ 出力結果の例

WindowsのChromeなら画像を右クリックして「新しいタブで画像を開く」でフルHDサイズで見ることができます。

処理前。
Long画角のシーンを190%に拡大。
拡大しすぎた結果、ちょっと使うのをためらう画質になってしまいました。




処理後。
これなら問題ありません。
この拡大率を使えるかどうかは大きな違いです。




■ いま思いついた Tips

今回自分で試した方法は、先に動画を作ってから綺麗にするという使い方なので、動画を作っている間「こんなに拡大しちゃって綺麗になるんだろうか…？」と、分からないのが不便です。

と思ったら、もしかしてと思い、やったらできました。

やり方
1. 動画編集ソフトの Window に Magpie を適用する。以上。

もちろん動画編集ソフトから書き出される動画にフィルタはかかりませんが、プレビューとして感触をつかむ用途には使えます。
※正確には、Magpie適用前のプレビュー画像サイズを本番に合わせないと同じ結果にはなりません

After Effects に適用した例。

Before



After



■ おわりに

この記事書いてる間に動画を少しでも進めればよかった、なんて思いましたが（笑）、拡大時の画質は全ニコマスPの悩みと思いますので、フリーでこれだけ効くフィルタ　※力業　があればかなりの助けになると思いますし、そのうち AE や aviutl のアイマス向けフィルタも出てくるかな…なんて思ったりもしたので、記事にした次第です。
なお、調査不足な点は否めないので、既にいいのあったら教えて下さい！

ではまた。

コメント 1

VSRの実装に伴い3070tiに買い替えて色々試したんですが

VSR機能はオン
webブラウザはchromeを使用
機能拡張Picture-in-Picture Extensionを導入
PIPで再生しMagpieでアップスケール

これでなんか全画面でのOBS録画機能が使えました。
PIP導入がキモなんですかね。
Bandicam買わずに済みそうです。

では
by 通りすがりです (2023-04-10 20:22)