チームみらいのAIファクトチェッカー(エビデンスチェッカー)を2日で作った話 - 日本は認知戦にどう対処するか?The Story of Creating Team Mirai's AI Fact Checker (Evidence Checker) in 2 Days - How Should Japan Deal with Cognitive Warfare?

生きとし生けるものの役に立てれば良い。

It would be good if I could be of service to all living things.

今回はチームみらいで開発するのが最も世の中の役に立つと思ったので参加しただけで、特定の政党に肩入れするつもりはない。

This time, I participated because I thought that developing with Team Mirai would be the most useful to the world, and I have no intention of siding with a specific political party.

チェッカーを作った背景

Background to creating the checker

元々､世界に憎悪や分断が広がっていることを何とかしたいと思っていた｡

Originally, I wanted to do something about the spread of hatred and division in the world.

この文章が載っているEvameというサイトも僕が開発した多言語ブログサイトで､ユーザーが書いた記事が自動で多言語に翻訳されるサイトなのだが､このサイトも知識や物語を世界的に共有することで分断を回避できるのではないかと思って開発している｡

The Evame site where this article is posted is also a multilingual blog site that I developed, where articles written by users are automatically translated into multiple languages. I am developing this site because I thought that sharing knowledge and stories globally could avoid division.

そんな中､安野さんからチェッカーの提案があり､たしかにこれは世の中の役に立ちそうだと思った｡

Amidst all of this, Mr. Yasuno proposed the checker, and I thought that it would certainly be useful to the world.

また､以前仏教AIというパーリ三蔵の経蔵を元に回答するAIを作ったことがあったので､その経験を元にOpenAIのVectorStoreを使えばできるとわかっていたので開発を開始した｡

Also, since I had previously created a Buddhist AI that answers based on the scriptures of the Pali Tripitaka, I started development because I knew that I could do it using OpenAI's VectorStore based on that experience.

想定どおり機能自体は2~3時間でできたが､XのAPIやGCPとの権限周りの認証と､精度を上げるためのプロンプトの調整で公開までは2~3日かかってしまった｡余談だが､チームみらいはマジのスタートアップだったので､最初はこの辺の権限周りも安野さんがやっていた｡

As expected, the function itself was completed in 2-3 hours, but it took 2-3 days to release due to authentication around the X API and GCP permissions, and adjustments to the prompt to improve accuracy. As an aside, Team Mirai was a real startup, so Mr. Yasuno was initially handling the permissions around this area.

チェッカーで何に対処しようとしているのか

What the checker is trying to address

SNSによる偽情報拡散の脅威は、既に大きな政治的リスクとなり､｢認知戦｣と呼ばれる新たな戦場になっている。

The threat of misinformation spreading through social media is already a major political risk and has become a new battlefield called "cognitive warfare."

ルーマニアでは2024年の大統領選挙でインフルエンサーが外国に買収され､結果が不正に操作された疑いが大きいとして､実際に大統領選挙がやり直しになった｡

In Romania, there is a strong suspicion that influencers were bought by foreign countries in the 2024 presidential election and the results were manipulated, and the presidential election was actually rerun.

アメリカではSNSは憎悪をブーストする燃料となっていると言われ､政策の妥協が困難になり､暴力動員のリスクが持続していると言われている。

In the United States, it is said that social media is fuel that boosts hatred, making policy compromises difficult and sustaining the risk of mobilizing violence.

従来の人力による監視では、24時間体制でSNSをチェックすることは現実的に不可能だった。また､偽情報の流布から訂正までに不正確な情報が拡散する問題も深刻だ。チームみらいのファクトチェッカーは、この課題に即応する､具体的な解決策として開発された。

With conventional human monitoring, it was practically impossible to check social media 24 hours a day. Also, the problem of inaccurate information spreading from the dissemination of misinformation to its correction is serious. Team Mirai's fact checker was developed as a concrete solution to respond immediately to this issue.

技術的な説明

Technical explanation

このシステムは5つのステップで動く｡

This system operates in 5 steps.

1. マニフェスト等の信頼できる情報をシステムに登録

   Register reliable information such as manifestos in the system

2. Twitter/X上で特定キーワード(ex. チームみらい､安野たかひろ)の投稿を自動収集

   Automatically collect posts with specific keywords (ex. Team Mirai, Takahiro Yasuno) on Twitter/X

3. OpenAIのGPTとVerctorStoreを使用したRAGで､信頼できる情報と突き合わせて真偽判定

   Truth determination by comparing with reliable information using RAG using OpenAI's GPT and VerctorStore

4. 疑わしい情報を検出した場合、Slackに通知

   Notify Slack if suspicious information is detected

5. 人間が判断を行い、必要に応じて対応。

   Humans make judgments and take action as necessary.

最終的な判断は人間が行うことが重要だ。AIはあくまで大量の情報を選別する役割を果たし、対応は人間が責任を持って行う。

It is important that humans make the final judgment. AI only plays the role of selecting a large amount of information, and humans are responsible for taking action.

オープンソースなので､もっと深く知りたい人は以下からコードを覗いてほしい｡

Since it is open source, I would like people who want to know more deeply to take a peek at the code from the following.

実際に動かしてどうだったか

What it was like to actually run it

1. 専門家の方から「当事者が行うものはファクトチェックとは言わない」との指摘があった｡

   I received a comment from an expert that "what the parties involved do is not called fact-checking."

   これはご指摘通りであり､その後名称をエビデンスチェッカーに変更することが決定した(選挙が忙しすぎてまだ諸々の設定変更はできていないが､､､､)｡

   This is as you pointed out, and it was subsequently decided to change the name to Evidence Checker (I'm too busy with the election to change the settings, though...).

2. チームみらいはまだ知名度が高くなく､有名政党ほど偽情報は流れなかったので､効果は限定的だった｡

   Team Mirai is not yet well known and not as much misinformation flows as with famous political parties, so the effect was limited.

   チームみらいで動かしているチェッカーはあくまでチームみらいのマニフェスト等を元に調査するので､その他政党に対する情報は調査できないし､一般的な情報についても調査できない｡これは何とかすべき課題だと考えている｡

   The checker that Team Mirai is running only investigates based on Team Mirai's manifesto, etc., so it cannot investigate information on other political parties, nor can it investigate general information. I think this is an issue that needs to be addressed.

   例えば台湾ではCofactsという公民連携ファクトチェック機関があり､AIと人間が協力してINEボット経由で1日3,000件の投稿をAI＋人間がチェックする仕組みがある｡

   For example, in Taiwan, there is a public-private partnership fact-checking organization called Cofacts, and there is a mechanism in which AI and humans cooperate to check 3,000 posts a day via the LINE bot with AI + humans.

   https://news.yahoo.co.jp/expert/articles/ea08db1d092604950430e920febc63682cd1b6b9

   https://news.yahoo.co.jp/expert/articles/ea08db1d092604950430e920febc63682cd1b6b9

   このような仕組みを日本でもやりたいと考えている｡

   I would like to do something like this in Japan as well.

3. 実際に分断を生んでいるのは､明確な偽情報というよりも悪意ある言及ではないかと思った｡

   I thought that what is actually creating division is not so much clear misinformation as malicious remarks.

   これは定量的な分析ができているわけではないのではっきりとしたことは言えないが､実際に選挙中の言論を見ていると｢〇〇は無能だ｣とか｢〇〇のせいで日本はだめになった｣というような､明確に偽情報だと判断することはできない悪意のある言葉が多く飛び交っていた｡今後の｢認知戦｣と呼ばれる領域では､このような言説に対抗することも必要だと考えている｡

   I can't say for sure because this is not a quantitative analysis, but when I actually look at the rhetoric during the election, there were many malicious words flying around that I couldn't clearly judge as misinformation, such as "〇〇 is incompetent" or "Japan has become bad because of 〇〇." In the future field called "cognitive warfare," I believe that it is also necessary to counter such rhetoric.

今後どうしていくか

What we will do in the future

｢認知戦｣は､今回の選挙だけではなく､今後の国民生活に大きく影響する課題だ｡

"Cognitive warfare" is an issue that will greatly affect people's lives not only in this election but also in the future.

選挙終了後はデジタル民主主義2030という枠組みでこれに対抗していきたい｡

After the election, I would like to counter this within the framework of Digital Democracy 2030.

具体的にどうしていくかについては白紙だが､台湾の事例を参考にすると､ミームによって悪意に対抗するのは筋がいいのではないかと考えている｡

I don't know exactly what to do, but referring to the example of Taiwan, I think it would be a good idea to counter malice with memes.

台湾では｢humour over rumour(噂よりユーモア)｣というアプローチで偽情報に対抗していて､例えば「トイレットペーパーがなくなる！」という噂が流れたとき､政府のスー首相が“お尻を振る”漫画を掲載し､お尻は1つ、買い占めても仕方ないというユーモアで偽情報に対抗した｡

In Taiwan, they are countering misinformation with an approach called "humour over rumour." For example, when a rumor spread that "Toilet paper will run out!", Premier Su of the government posted a cartoon of "shaking his butt," countering the misinformation with humor, saying that there is only one butt and there is no point in hoarding it.

日本風に言えば｢悪意より笑い｣となるだろうか｡

In Japanese style, would it be "laughter over malice"?

もし笑いで世界を良くすることに興味がある人がいればデジタル民主主義2030に参加してほしい｡エンジニアだけじゃなく､お笑い芸人や動画クリエイター等もいてくれると非常に助かる｡

If there is anyone who is interested in making the world a better place with laughter, I would like them to participate in Digital Democracy 2030. It would be very helpful to have not only engineers but also comedians and video creators.