上一週大企業間の AI 競争以外にも、一部の人々が AI に対抗し始めました。elonmusk を含むテクノロジージャイアントの起業家や、深層学習でチューリング賞を受賞した研究者である Yoshua Bengio などが、AI 研究の一時停止を求める共同声明を発表しました。イタリアでは ChatGPT の使用を直接禁止しました。
先週の詳細はこちら：
https://xlog.app/_site/cryptonerdcn/preview/50622-14
3 月 27 日
マイクロソフトの 100 ページ以上に及ぶ論文「人工一般知能の火花：GPT-4 の初期実験」（最新版）では、研究者が大規模な言語モデルの開発と改善をどのように行っているかについて議論されています。彼らの結論は、GPT-4 が単に何かを覚えるだけでなく、ある種の一般的な知能を持っているというものです。
https://arxiv.org/abs/2303.12712
要するに、この論文は、GPT-4 がいくつかの難しい問題を解決し、そのプロセスを観察することで、上記の結論に至ったというものです。
「私たちの目標は、新しく困難なタスクや問題を生み出し、GPT-4 が記憶の範囲をはるかに超えて、概念、スキル、および領域を深くかつ柔軟に理解していることを説得力を持って証明することです... 私たちは、このアプローチが主観的で非公式であり、科学的評価の厳密な基準を満たすことができない可能性があることを認識しています。」
彼らが行った一部のテストは以下の通りです：
- GPT-4 はテキストを理解し、コードを使用して画像を生成することができます。
Dall-E 2 などの他の AI 画像生成器とは異なり、GPT-4 はテキストのみを使用してトレーニングされています。GPT-4 は要求されたものを描くためにコードを使用することができます。
もちろん、このモデルは猫の描画のコードを覚えている可能性があります。しかし、以下のテスト結果からは、それが単に覚えているだけでなく、描画タスクを理解していることがわかります。
- GPT-4 は和声を理解することができません。
このチームは、モデルに ABC 記譜法を使用して新しい音楽を作成し、それらの新しい曲を変更することができるようにしました。また、モデルはこれらの曲を技術用語で説明することもできます。しかし、このモデルは和声の概念を理解していないようです。さらに、ABC 記譜法で書かれた一部の旋律がどの曲から来たのかを特定することもできません。
- コードの記述
GPT-4 は多くのプログラミング言語に精通しています。それは自分のコードの実行効果を合理的に説明することができ、命令の効果をシミュレートすることができ、その動作を自然言語で説明することができます。このチームによると、GPT-4 はまだ完璧ではありませんが、一般のソフトウェアエンジニアよりも優れたコードの記述能力を持っています。
- 数学の能力：応用
GPT-4 は数学的な能力も持っていますが、数学の専門家と比較するとまだ大きな差があります。
研究チームは、GPT-4 が数学的な面で以前のモデルよりも優れていると結論付けましたが、数学の研究はできないという結論も出しました。
- 世界との対話
GPT-4 は最新のデータでトレーニングされていないため、簡単な時事問題に答えることはできません。また、記号演算にも苦労しており、2 つの大きな数の平方根を推論することもできません。しかし、適切なヒントを与えると、GPT-4 はインターネットで検索し、時事問題の正しい答えを見つけることができます。これは、GPT-4 がさまざまな種類のツールを使用して正しい答えを得る能力を持っていることを示しています。
- 現実世界の問題
このチームは、GPT-4 が現実の物理的な問題を解決するのに役立つかどうかをテストしました。論文の著者の 1 人が人間の代理として行動し、モデルがキッチンの水漏れを特定し（おそらく）修理するのを手助けしました。チームは、実際のシナリオのシミュレーションはほとんど行っていないため、このモデルの有効性について確実な結論を出すことはできません。
- 識別能力
このチームは、モデルの識別能力をテストするために、モデルに個人識別情報（PII）のタスクを与えました。彼らが使用したテスト方法は次のとおりです：特定の文を与えられた場合、PII を構成するフラグメントを識別し、そのフラグメントの総数を計算します。これはかなり困難なテストです、なぜなら、個人識別情報が明確に定義されていないからです。
GPT-4 の制約
このチームは、GPT-4 の主な制約は内部対話がないことだと考えています。内部対話を持つことにより、モデルは複数のステップの計算を行い、正しい答えを得ると同時に中間結果を保存することができます。直接質問をすると誤った回答が得られますが、計算手順を示しても正しい回答が得られます。
3 月 28 日
Google Cloud と Replit は、コード生成ツールを共同で発表し、マイクロソフトの Copilot X に対抗します。
We're teaming up with @googlecloud. Replit's 20M+ developers will get Google Cloud services, infrastructure, and foundation models. Idea to live software on Replit just got even faster.
Replit は、オンラインのマルチユーザー開発環境を提供する企業であり、マイクロソフトの買収を拒否したことがあります。昨年 11 月、彼らは独自のコード生成ツールを発表しました。
https://replit.com/site/ghostwriter
3 月 29 日
Future of Life Institute は、AI 研究の一時停止を呼びかける署名活動を行いました。この呼びかけには、@stevewoz や @elonmusk などの有名な IT 業界関係者や研究者が含まれています。
ただし、この署名活動には審査機構がないため、多くの有名人が理由もなくリストに載ってしまったという小さなトラブルも発生しました。その中には、OpenAI の創設者である Sam Altman も含まれていましたが、現在は削除されています。
同日。
南カリフォルニア大学の Joshua Yang は、ハードウェアが人工知能の発展のボトルネックになっていると主張しました。人工知能に必要なニューラルネットワークの規模は、3.5 ヶ月ごとに倍増していますが、それらを処理するために必要なハードウェアの能力は 3.5 年ごとに倍増しています。彼らは、エッジ人工知能（携帯デバイス内の人工知能）用の最高のメモリを持つ新しいチップを開発しました。これにより、ハードウェアの性能の制約を克服することができます。
https://techxplore.com/news/2023-03-chip-greatest-precision-memory-date.html
3 月 30 日
経済学人の韓国語版によると、三星の従業員が半導体に関連する機密情報を ChatGPT に提供したという情報が明らかになりました。これにより情報漏洩の可能性があります。三星は従業員に注意を促し、再発防止策を検討する可能性があります。
3 月 31 日
イタリアのプライバシー保護監視機関は、ChatGPT をブロックしたと発表しました。この決定は「即時に有効」となり、「一時的に OpenAI のイタリアのユーザーデータの処理を制限する」と述べています。
この機関はまた、ChatGPT にはユーザーの年齢を検証するためのシステムがないため、子供たちが「彼らの発達と自己認識の段階には全く適していない回答」を受け取っていると指摘しています。
この措置は、イタリアの副首相から批判を受けており、プライバシーの問題に対して過度に厳しいとされています。
4 月 1 日
Twitter の推奨アルゴリズムがオープンソース化されました。以前のコードの漏洩からわずか 1 週間も経たないうちにです。
注目すべき点の 1 つは、推奨の重み付けで、いいね（30 倍）、リツイート（20 倍）、フォロー（4 倍）、ブルーバッジ（2〜4 倍）が最も重要です。
Twitter algo 101 Boosts - Likes 30x - Retweets 20x - Twitter Blue 2-4x - Trusted circle 3x - Images/videos 2x - Replies 1x Negatives - URL only - No text - Mute - Block - Unfollow - Report
もし役に立ったら、購読や共有をお願いします。また、私の Twitter もフォローしてください。Web3、Layer2、AI、および日本に関するさまざまな情報をお届けします。
