現在のAIサービスの決定的な欠点と低すぎる限界
AIを使って、XigmaNASのシステム構築を行いました。
それ自体は、成功したので良いのですが、この手順を資料として残すために、手順書の作成をAIに投げました。
すると何度やっても1000文字程度の回答しか返ってこない上、手順がすっぽり抜ける、全くやっていない手順が含まれる、違う環境の話が混ざる、そういった問題に直面しました。
AIとのやりとりというテキストログを参照して、整理して、答えるだけが出来ない。
この事実が、一般ユーザー向けクラウド型AIサービスの欠点と限界を気づかせました。
情報の精度を司る演算が4bitまるめされている。
その所為で膨大な外部変数を扱うことが出来ても演算精度が4bitまるめの中に集約され、演算を繰り返す度、必要な情報が欠落していく。
ユーザーコンテキスト、つまり使用メモリの制限が低く、数万文字のデータすら読み込めないし、計算できない。
AI側は欠落した情報を補うために、最も重みの高い方向のベクトル(学習頻度の高いもっともらしい回答)を返す。
これはAIは使用メモリ帯域と容量の制限の中でしか動けないから起こることが分かりました。