自律会議の効果が実際に出ているのか気になった
共通設定の親フォルダで作ったAI同士の自律会議の仕組みを、
ここしばらく他の作業フォルダでも少しずつ使ってみていました。
会議の中では、必要な情報を集める調査担当や反対意見を出す否定担当など、
どの役割を動かすかを自動で振り分ける判定の仕組みも組み込んでいます。
ただ、しばらく使っているうちに、その振り分けの仕組みが、
実際どれくらい効果を出しているのかを一度確かめてみたくなりました。
いまの状態でそのまま効果を測定できるのか、
それとも会議の議事録のようなものを別途データベースに保存して、
後から検証できるようにした方がいいのかよく分かりません。
あわせて会議のターン数なども改善していきたかったので、
まずは現在のデータの残り方や動きの実態から調べてもらうことにしました。
調べてみたら一度も早期終了していなかった
共通のデータベースに残っていた記録を集計してもらったところ、
思っていた以上に厳しい現状がわかりました。
まず、これまでの会議では判定スコアの断片しか保存されておらず、
会議の議事録や途中のやり取り、最終的な結論が残っていませんでした。
さらに驚いたのは、議論がまとまったら早めに会議を終えるはずの仕組みが、
プログラム上の不具合によって一度も発動していなかったことです。
結果として、これまで開いたほぼすべての会議が、
上限に設定していた5ターン目まで毎回フル回転していました。
毎回20分から40分ほどかけて、最後まで回り続けていた計算になります。
文章の切り詰めが招いていた同じダメ出しの繰り返し
なぜ何回やり取りしても議論がまとまらないのか、
処理用のプログラムの中身をさらに詳しく見てもらいました。
すると、文字数の制限の仕方に大きな原因があることが判明しました。
2ターン目以降、まとめ役のAIが作った案を各担当に渡すときに、
文章の先頭1500文字ほどで機械的に切り詰められていたそうです。
まとめ役が書いた文章の後半には、
前のターンで指摘されたリスクへの対策などが書かれています。
ところが、その大事な後半部分が切り落とされたまま否定担当に渡るため、
否定担当はまだ対策が書かれていないと勘違いしてしまいます。
そのせいで、2ターン目から5ターン目まで毎回同じダメ出しを繰り返す状態になり、
いつまでも議論が収束していませんでした。
また、まとめ役自身も解決済みの点と残っている課題を分けて整理していなかったため、
毎回最初からすべての論点を蒸し返していたようです。
ターン数の上限と延長戦についての相談
原因はわかったものの、私としては上限の5ターンという設定自体を、
単純に短く減らしたいわけではありませんでした。
というのも、最初からターン数を短く制限してしまうと、
AIが時間切れに合わせて強引に結論をまとめようとする流れになるのを、
どうしても防ぎたかったからです。
理想としては、必要なときは5ターン使ってしっかり議論できるようにしつつ、
普段は自然と論点が絞られて2〜3ターンくらいで静かに終わる形が、
会議としていちばん自然なのではないかと思っていました。
そこでもう一つ、自分でも無限ループになりそうだなと少し不安に思いつつ、
もし5ターン目までにまとまらなかった場合、
そのまま追加で5ターン話し合う仕組みを入れるのはどうかと聞いてみました。
これについては、やはり同じ条件のまま自動で延長するのは危険だと教わりました。
不具合を直してもなお5ターンで決着がつかないときは、
主に次のような状態に陥っていることが多いそうです。
・費用を優先するか安全性を優先するかといった、AIだけでは決められない価値観の衝突が起きている
・5ターン分の調査結果や注意点が積み重なりすぎて、情報が飽和して議論が堂々巡りになっている
この状態でそのまま6ターン目以降に突入しても、
二つの案の間を行ったり来たりして時間を消費するだけになってしまいます。
そのため、自動延長はせず、5ターン目に達したらデータベースに状態を保存して一旦止まり、
人間が方針の補足を添えてから引き継ぎ再開できる方式にすることにしました。
実際に動かして気づいた反対意見を出すタイミングの悩み
相談して決めた方針をもとに、まずは以下の仕組みを実装してもらいました。
・会議全体の記録とターンごとの議事録をデータベースに自動保存する仕組み
・文字数の切り詰めをやめ、未解決の残課題だけを次のターンへ絞り込んで渡す修正
・5ターンで終わらなかったときに、人間が確認してから引き継ぎ再開する機能
まだ試行回数は少ないものの、さっそく別の作業フォルダで、
性格の違う2つのテーマを題材にして計3回ほど会議を試してみました。
すると、じっくり企画を練るテーマでは5ターン上限のうち2ターン目で自然に終了し、
動かす担当の数も半分に減るという手応えがありました。
一方で、調べる情報量が多いテーマではまとめ役の処理が時間切れで止まってしまい、
記録が途中のまま残ってしまうという新しい課題も見つかりました。
それとあわせて、実際に動く様子を見ていてもう一つ気になったことがありました。
それは、反対意見を出す否定担当が最初から動くことへの違和感です。
普通の会議の流れで考えると、まずは必要な情報が出揃って、
まとめ役がたたき台を作ってからでないと、
否定担当を動かしてもあまり意味がないような気がしていました。
まだ具体的な案も出ていない1ターン目から反対意見を出させようとしても、
空回りしてしまうのではないかと思ったのです。
ただ、だからといって1ターン目は絶対に否定担当を動かさないというふうに、
ルールをガチガチに固めてしまうのも少し違う気がしていました。
私が想定している会議の流れとは違う使い方をする場面も出てくるはずなので、
そうなったときに柔軟に対応できなくなるのが悩みどころでした。
柔軟な振り分けへの改善と今日の学び
時間切れで止まってしまう問題への補強とあわせて、この振り分けの悩みも相談したところ、
順番を決め打ちで固定するのではなく、
振り分け判定の基準を1つ増やす方法でうまく解決できることになりました。
たたき台が揃っているかで判断する仕組み
具体的には、いま目の前に裏付けのある情報と、
検討できる具体的なたたき台がすでに揃っているかという判定項目を追加してもらいました。
これによって、同じ1つの仕組みのまま、相談の性質に合わせて動きが自動で変わります。
・ゼロから調べる企画や相談のときは、1ターン目は調査担当だけを動かし、
たたき台ができてから2ターン目に否定担当が加わる
・最初から自分の具体案を持ち込んで相談したときは、
1ターン目からすぐに否定担当が動いて問題点を洗い出す
これなら特定のターンを禁止ルールで縛らなくても、
そのときの状況に応じた自然な会議の流れを作れそうです。
今回の作業でわかったこと
1日かけて自律会議の仕組みを見直してみて、いくつか大事な学びがありました。
まず、便利そうな仕組みを入れたつもりでも、
議事録や実行記録をデータベースに残して検証できる状態にしておかないと、
実は裏で一度も機能していなくても気づけないということです。
また、AIに渡す文字数を節約しようとして途中から切り詰めてしまうと、
後半に書かれた対策が伝わらずに同じ指摘が繰り返されることも勉強になりました。
さらに、処理の順番をルールで縛りすぎるよりも、
たたき台が揃っているかどうかという目の前の状態を判断させる方が、
無理のない柔軟な動きになるという点も納得感がありました。
まだ試した回数はほんの数回だけなので、手放しで安心はできませんが、
これからはデータベースに毎回の議事録がきちんと残っていきます。
日々の作業で使いながら、少しずつ記録を見返して調整していこうと思います。