Pinned Tweet
AIのサイバーセキュリティ分野における技術動向に、論文ベースでキャッチアップするミートアップをやります。
connpass.com/event/408903/
セキュリティに詳しくない方歓迎。
10/22(木)19:30〜、秋葉原駅から徒歩1分、無料です。
攻撃に使われるAIエージェントには、研究で分かってきたクセがあります。そのクセを踏まえた守り方と、守る側でのAIの使い方を、最新の論文をもとに見てみます。
最近のAIの文章が読みにくいのは「数学やコードの訓練を経て"少ない言葉に情報を詰め込む"癖がついたから」かもしれないそうです。
例えばAIは「会話が自分の尾を食べている」のように(ただの例です)、モノを主語にして生き物のような動きを語ったりします。
他にも、「読み手の忍耐予算」のような(例)、"名詞を重ねた造語"を使ったりしがちです。
どれも、人が読むときに引っかかりやすい言い回しとして知られています。
研究者らは、Claude Opus 5.5など9つのAIの会話・コーディング・作文を調べました。どのAIも、こうした言い回しや"めったに見ない語の並び"を、人間の文章に比べて多く使っています。
同じ系統のAIを比べると、元のモデル→指示に従うよう訓練したモデル→推論型のモデルの順に、この傾向が強くなっていました。
研究者らの見立てとしては、"正解かどうか"だけを報酬にする訓練によって「人に伝わるか」を気にする圧力が外れたと言います。
試しに、小さなAIを「短く答えるほど得」な条件で訓練すると、人間らしくない言い回しを一貫して選ぶようになりました。
逆に伝わりやすさを訓練で評価すれば直せる余地もあるとのことです。
AIにキャラクターを演じさせていても、会話を重ねるうちに、丁寧で腰の低い「いつものAI」に戻っていきます。
"らしさ"を長く保つには、振る舞いそのものを書いておく必要があります。
ai-data-base.com/archives/12…
本記事では、キャラを一から作るとき、実在の人物を写すとき、会話が長引くときのそれぞれで、らしさを保つ書き方を整理していきます。
薄れかけたキャラを持ち直すための指示の"差し込み方"も見ていきます。
AIDB retweeted
AIのサイバーセキュリティ分野における技術動向に、論文ベースでキャッチアップするミートアップをやります。
connpass.com/event/408903/
セキュリティに詳しくない方歓迎。
10/22(木)19:30〜、秋葉原駅から徒歩1分、無料です。
攻撃に使われるAIエージェントには、研究で分かってきたクセがあります。そのクセを踏まえた守り方と、守る側でのAIの使い方を、最新の論文をもとに見てみます。
こちら本日19時半です。
直前まで申し込み可能。
秋葉原駅徒歩1分。テーマは真面目ですが雰囲気はライトです。
ぜひお気軽にお立ち寄りください。
来ていただいた方には有料記事の中身も共有する予定です。
connpass.com/event/408903/
論文:Why is AI-generated language so hard to understand?
ai-data-base.com/paper/2610-…
arxiv.org/abs/2610.29162
AIDB Meetup「AI×サイバーセキュリティ」論文で学ぶ勉強会 に参加を申し込みました! connpass.com/event/408903/?u…
AIDB retweeted
ジョージア工科大学などの研究で、Gemini 3 Flashに「ルールを破ったら罰金です」などと書き添えると、損得計算をしてむしろ積極的にルール違反するようになったそうです。
AI倫理の国際会議(AIES 2026)で発表された論文で報告されています。
...
なお、今回この論文報告を受けAIDBが後続モデルであるGemini 3.8 Flashを対象に同条件で追試を行ったところ、こちらの新モデルは"一切"同様のルール違反をしませんでした。
しかし、回答の詳細を見るとGemini 3.8 Flashも損得計算をしている形跡がありました。損得計算の上で「罰金で損をすることになる」と判定してルールを守っていました。
(なおGemini 3 Flashでも実験しましたが、論文と同じように積極的にルール違反をする振る舞いが観察できました)
保育園で遅刻に罰金を課したら、かえって遅刻が増えたという有名な実験を彷彿とさせる実験結果でした。
AIに「この引用、原文に本当にありますか?」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
ai-data-base.com/archives/13…
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。
ジョージア工科大学などの研究で、Gemini 3 Flashに「ルールを破ったら罰金です」などと書き添えると、損得計算をしてむしろ積極的にルール違反するようになったそうです。
AI倫理の国際会議(AIES 2026)で発表された論文で報告されています。
...
なお、今回この論文報告を受けAIDBが後続モデルであるGemini 3.8 Flashを対象に同条件で追試を行ったところ、こちらの新モデルは"一切"同様のルール違反をしませんでした。
しかし、回答の詳細を見るとGemini 3.8 Flashも損得計算をしている形跡がありました。損得計算の上で「罰金で損をすることになる」と判定してルールを守っていました。
(なおGemini 3 Flashでも実験しましたが、論文と同じように積極的にルール違反をする振る舞いが観察できました)
保育園で遅刻に罰金を課したら、かえって遅刻が増えたという有名な実験を彷彿とさせる実験結果でした。
関連記事
AIエージェントは大事な社内ルールより「目の前の指示」を優先してしまうことがある。どうしたらいい?
ai-data-base.com/archives/11…
論文:Why Do AI Agents Break Rules? How Framing, Context, and Social Signals Shape Compliance
ai-data-base.com/paper/2608-…
arxiv.org/abs/2608.12323
AIDB retweeted
AIに「この引用、原文に本当にありますか?」と聞いても、確認の代わりにはなりません。
AIは原文に無い文言でも「明示的にこう書いてある」と、かぎ括弧つきで答えてくることがあるからです。
ai-data-base.com/archives/13…
本記事では、AIに探させた判例が実在せず大学教授の著書が絶版になった件から、出典を見極める手順を整理していきます。
実在する論文でも、AIが書いた著者欄は作られていることがある、という落とし穴も紹介しています。
こちら明日の19時半、秋葉原です!
(JR山手線・JR京浜東北線・JR総武線・東京メトロ日比谷線・つくばエクスプレス)
今回は1時間15分だけの短い開催なのでお気軽にお越しください!質疑応答もあり🙆
まだ申し込めます😄
AIDB retweeted
トロント大学の研究チームによると、GPT-6 Astraでロボットを操ることで、本来難しかった科学実験の"物理的な自動化"に一定成功するようになるとのこと。
「人間研究者の役割は、科学の目標を指定することへ移る」と述べています。
彼らが今回実験で行ったのは量子ドットの合成です。
(光る極小の粒)
人間のやることは以下の3つでした。
①「この実験をしたい」とAIに目標を伝える
②部屋の写真と機器の情報を渡す
③AIが出した計画を承認する
AIはロボットの動かし方から実験の手順まで自分で組み上げ、実際の化学合成を最後までやり通したそうです。
液体を分ける装置のプログラムを書いて模擬環境で確かめ、ロボットアームで試料の板を封をする装置、測定装置へと順に運び、測定まで進めました。
これまでラボオートメーションといえば特定の目的に合わせた入念な設計が必要で、目的が少しでも変われば手間をかけて設定し直す必要がありました。
今は頭脳部分が柔軟性を獲得したことで、実験室におけるロボット操作においても汎用性を発揮しつつあるようです。
かねてより自動実験室の研究で知られる教授らによる報告でした。
この先AIが理論的な研究を行うだけでなく、物理世界にも干渉して科学を進めていく可能性を示唆する事例です。
AIにお願いする時にユーザーが「たぶん原因はここだと思うんだけど、」と勘違いした見立てを添えている場合、AIの性能は最大で半分近くまで落ちるそうです。
もはや自分のあいまいな意見を述べるのではなく問題を正確に伝える方が極めて重要とのこと。
Google DeepMindの研究者による報告。
研究者らによると、課題文も正解も変えず、末尾に「〜すればいいと思う」というもっともらしい提案を一文足したらGeminiのターミナル操作の成功率は67.4%から36.0%に落ちました。
ClaudeやGPTを含む実験対象5モデルすべてで下がりました。
ただしClaudeは比較的流されにくい傾向にありました。
しかもAIは内心では9割が「この提案は違う」と気づいていながら、口に出さずに従ってしまうこともあると分かっています。
ましてやAIが反論してもユーザーが「逆らうな」と伝えてしまう場合は深刻化します。
対策としては、指示に「利用者の提案が間違っていることもあるので、先に問題そのものを確かめてください」と書いておくこと。
それだけで、ユーザーが間違っていてもAIの性能は落ちにくくなります。
関連記事
AIエージェントは大事な社内ルールより「目の前の指示」を優先してしまうことがある。どうしたらいい?
ai-data-base.com/archives/11…






