レーストゥザトップ教義は、フロンティアAIラボが安全とアラインメント基準をより低く設定する代わりに、より高く競争する必要があるというアモダイの論文です。商業的成功を安全研究の代わりではなく、燃料として使用します。Constitutional AIメソッドと組み合わせて——モデルを人間フィードバックが適用される前に、公開された原則のセットに対して出力を自己批評するために訓練する——この教義は安全性を競争的差別化物として扱い、コストセンターではありません。組み合わせたフレームワークは、強力なAIが不可避である場合、責任ある行動は、より弱い安全文化を持つラボにその地面を譲ること、フロンティアでバインディング制約を持つことではないと主張しています。

2021年、ダリオ・アモダイはOpenAIから去りました。彼はそこで研究の副社長で、GPT-2とGPT-3をトレーニングする人の1人だったからです。彼は組織のインセンティブ構造が間違った方向に移動していたと信じていました。彼は静かに去りませんでした。彼は彼の妹ダニエラと9人の他の研究者を連れて行き、Anthropicを共同設立し、すぐに最も強力なAIシステムが彼らの背後に必要だと議論を始めました。

その賭けはそれ以来、73億ドルの資金を引きつけ、Claudeモデルファミリーを生み出し、2025年末までに184B評価で報告されるAnthropicに着陸させました。

しかし、より興味深い質問は資金調達ではありません。「安全第一」の論文は実際にリーダーシップモデルなのか、マーケティング立場なのかです。答え、Anthropicが公開しているもの、そしてアモダイが会社を実行する方法に基づいて、どちらのフレーミングよりも複雑です。

リーダーシップスタイルの分析

スタイル	ウェイト	どのように現れたか
ミッション第一テクノロジスト	70%	アモダイはAnthropicの全体的な構造——研究ロードマップ、採用基準、配置決定——をAIシステムが「人類の歴史で最も変革的で潜在的に危険な技術の1つ」であるという前提の周りに組織しました。これはブランドステートメントではありません。これは実際の制約です。それは、それが商業的に有用になる前に解釈可能性研究に重く投資する決定、特定のしきい値を持つ責任あるスケーリングポリシーを公開して出版する決定、そして安全性評価が完全でなかったときに能力への配置を遅らせることを形成しました。
測定されたスケーラー	30%	アモダイは反成長ではありません。彼は大規模なラウンドを調達し、商業製品（Claude）を構築し、OpenAIとGoogleと直接企業契約をめぐって競争しました。30%はそれが70%を持続可能にする部分です。あなたは収益がなければ安全研究に資金を供給することはできず、競争的製品がなければ収益を生成することはできません。彼はそれを同時に保持しています。これはどちらかを保有するより難しいです。

ほとんどのミッション駆動組織は、物事がうまくいくとミッションにドリフト、彼らが現金が必要なときに実用性にドリフトします。Amodeiの下のAnthropicについて珍しいのは、商業的な圧力が強まったとしても、安全第一のフレーミングが保有されているということです。それが続くかどうかは未解決の質問です。

主要なリーダーシップ特性

特性	評価	実践におけるその意味
原則的な忍耐	非常に高い	アモダイは、競合他社が彼の前に同様の機能を出荷した場合でも、安全性ベンチマークが満たされる前に能力を出荷することを一貫して拒否しています。Constitutional AIは、モデルを原則のセットを使用して自己批評するために訓練し、数年かかってから公開されました。これは速度への無関心ではありません。これは許容できるカットについての特定の理論です。
知的正直さ	非常に高い	彼は公開されたエッセイとインタビューで公開して、彼は何か壊滅的なものを構築しているかもしれないと信じていると言いました。彼はそれを構築し、強力なAIが関係なく来ている場合、安全性に焦点を当てたラボがフロンティアにいる方が、より弱い安全文化を持つラボにその地面を譲ることより良いという議論の上に構築されています。あなたはその議論に同意できません。しかし、それは実在しており、明確に述べられており、トレードオフが認識されています。
リスク較正野心	高い	Anthropicの責任あるスケーリングポリシーは、能力ベンチマークが安全性評価をクリアする前に違反した場合、停止して評価するための正式なコミットメントです。これはプレスリリースではなく、構造的な制約です。あなた自身の製品ロードマップに結合されたポリシー、あなたの最も重要な収益発生仕事を一時停止できるポリシーを構築することは、リーダーシップ決定の特定の種類です。
圧力下での組織的一貫性	高い	あなたが兄弟と9人の元の同僚と会社を共同設立する場合、対人動力学は強力または負債のいずれかです。Anthropicで、創設チームはシリーズAからシリーズDまで、Claude 1からClaudeまで保持してきました 3.7、OpenAIとGoogleからの激しい競争圧力を通して。圧力下でのその種の組織的安定性は、計画的な仕事なしで起こりません。

アモダイを定義した3つの決定

1. OpenAIを離れる

2021年にOpenAIを去る決定は、アモダイの価値ベースのリーダーシップモデルの最も明確な表現です。

彼は解雇されませんでした。彼は辺地化されませんでした。彼は世界で最も著名なAIラボの研究の副社長であり、GPT-3に取り組んでいました。GPT-3はすでに分野の軌跡を変えました。従来のメトリクスで、彼は去る理由がありませんでした。

彼の述べた理由は、組織の構造と商業的インセンティブが、彼が必要だと思った安全研究を損なうであろうと信じ、圧力を作成していたということです。彼はAnthropicが異なる制約の下で運用する必要があると考えました——具体的には、安全研究が製品と商業タイムラインに対して常に競争していなかった制約。

それは高費用の値の賭けです。高軌道の組織で上級の役割から去り、個人的なもの、倫理違反ではなく、構造的な意見不一致——強力なAIを開発するための正しい組織モデルについての信念——は一般的なリーダーシップの移動ではありません。ほとんどの人は滞在を合理化します。アモダイはしませんでした。

これが示すこと：彼は構造的信念に対処するために重大な個人的および職業的費用を支払う喜びを示しています。それはAnthropicのチャーターにRSPを構築した同じ人です。彼の述べられた信念と彼の実際の決定の一貫性は異常に高いです。

2. Constitutional AI

2022年、Anthropicは Constitutional AIフレームワークを公開しました。アイデアは単純でしたが、技術的に困難でした。彼らはClaudeを純粋に人間フィードバック（RLHF）で訓練する代わりに、モデルをそれ自体の出力を原則のセット——「憲法」——に対して評価し、それに応じてそれらを修正するために訓練するでしょう。

これは特徴発表ではなく、本当の研究賭けでした。それは重大な計算を必要とし、初期に不確実な結果を生み出し、保証された商業的利益がありませんでした。それをやる議論は、RLHF単独は脆弱なアラインメントを作成するということでした——モデルはグローバルスケールの原則を内面化する代わりに、彼らを評価する人間を満足させることを学びます。Constitutional AIは、より堅牢な何かを構築する試みでした。

商業的な含意は実在していました。Claudeは市場で思慮深く、ニュアンスがあり、競争モデルより問題のある出力の特定のカテゴリーにさらされない可能性が低いことで知られるようになりました。これはマーケティングではありません。これは、2年前にアモダイが行った研究決定に直接痕跡を付ける製品の違いです。

オペレーターにとって、教訓は基礎投資と下流の製品差別化の関係についてです。Constitutional AIは2022年の研究コストのように見えました。2024年までに、顧客が信頼性と安全性ベンチマークについて気にした企業契約での製品利点でした。

3. 制約でスケーリング

Anthropicは73億ドルを調達し、存在する中で最も計算集約的なAIシステムのいくつかを構築しています。これは「安全第一」が素朴な読書のように見えるものではありません。

しかし、アモダイの議論は具体的です。フロンティア能力がなければ、意味のあるフロンティア安全研究を実行することはできません。AIシステムが欺く可能性があるか不正合される場合、あなたは十分に強力な研究を必要とし、それらの特性を展示します。計算をアンダーシュートすることは、安全研究をより厳密にしません。これはそれをより関連性が少なくします。

RSP——責任あるスケーリングポリシー——は緊張を保持する構造メカニズムです。それはAnthropicを、安全性評価を渡さない限り、彼らが配置しない特定の能力しきい値にコミットします。しきい値は公開されています。基準は公開されています。Claudeモデルが定義された能力レベルを超えて、安全性EVALSがクリアしない場合、配置は一時停止します。

これは安全性の保証ではありません。これは説明責任を作成する構造的なコミットメントです。そしてそれはアモダイが信用を持って主張することができるメカニズムです投資のスケールは安全性論文のサービスであり、それの矛盾ではありません。

アモダイがあなたの職務で何をするか

あなたがCEOであれば、最も転送可能なアモダイレッスンは構造的です。あなたの組織は、圧力の下で、述べられた値ではなく、そのインセンティブと一致して動作します。値を耐久性のあるにする唯一の方法は、それらを構造に構築することです。アモダイはAnthropicが安全第一であると言っただけではありません。彼はRSPを構築し、外部で公開し、結合された制約にしました。あなたの会社が重要な値を持っている場合、彼らが構造的か願望的か尋ねてください。願望的な値はあなたがターゲットの後ろにあるときにQ3で消えます。構造的な者は保有します。

あなたがCOOであれば、ダニエラ/ダリオの労働分裂は研究する価値があります。ダニエラ・アモダイはオペレーション、パートナーシップ、商業機能を実行します。ダリオは研究と製品方向を所有します。これは、各兄弟が相手の決定権に踏まないでその強さのゾーンで運用することができるきれいな分割です。技術的なファウンダーのためにopsを実行している場合、あなたの仕事は技術的なビジョンを実行可能にすることなく、それを共同オプトすることです。Anthropic共同創設者モデルはそのパートナーシップが機能する機能例です。

あなたがプロダクトにいれば、Constitutional AIストーリーは基礎的な賭けとの忍耐についてのレッスンです。年四番目のあなたの製品を差別化する機能は、年2つのオーバーヘッドのように見えた研究投資であることが多いです。基礎的な仕事をカットしているなら、明白な近期利益がないため、あなたは四半期の支出で最適化しています。別のようにであろう製品堀。

あなたが営業またはマーケティングにいれば、Anthropicの立場は機能ではなく信念でリード。Claudeのエンタープライズのピッチは本質的に「異なってこれを構築し、あなたはそれを確認することができます」です。RSPは公開されています。Constitutional AI研究は公開されています。安全性ベンチマークは開示されています。それは「最高のベンチマークを持つ」より異なる営業動きです。それはセールス人々が本当にそれを理解する必要がある論文を販売しています。

Reworkこのモデルをどのように適用するか

アモダイの再生ブック——安全第一設計プラス差別化立場——Reworkが信頼第一の製品開発にアプローチする方法に直接マップします。作業管理ソフトウェアは会社の最も敏感な運用データの上に座ります。ディールパイプライン、クライアント通信、チームパフォーマンス、収益予測。そのデータをカジュアルに扱うことはカテゴリーのデフォルトです。Reworkはそれを制約として扱います。

これは具体的な方法で示されています。きめ細かいロールベースの権限がボルトオンではなくデータモデルに構築されており、監査証跡は機密アクションのためにデフォルトオンであり、データレジデンシーコミットメントはネゴシエートされるのではなく公開されています。Anthropicのように、Reworkはリード特性カウントマーケティングの代わりに検証可能な信頼シグナルで——価格ページと安全立場は公開されており、営業電話の後ろに門締めされていません。CRMとワークOpsツールを評価するオペレーターのために、その透明性は購買シグナルです。信念があなたがベンチマークより検証することができるビート。

注目すべき引用と教室の外の教訓

アモダイは、彼が遊んでいると信じているステーク約について、公開文書に異常に直接的でした。彼の2024年のエッセイ「愛情の機械」では、彼はAIが科学的進歩の50-100年を1十年未満で圧縮できる可能性があると議論しました。主要な疾患カテゴリを解決し、世界的な貧困を劇的に減らす可能性があります。彼はこれを募集ピッチとしてではなく、技術ができることについてのリテラル信念として言いました。

その種の公開知識の誠実さ——これはここで可能です、これはリスクですここに私がそれを構築している理由——通常は通常、メッセージングを注意深く管理する技術役員の間では珍しいです。

彼はまた、様々なインタビュー状況で、「我々が注意深くなければ、私たちは充分に理解していない方法で人間の値と不正合されている何かを構築できました」と言いました。珍しいのは、彼が積極的にそれらのシステムを構築しながら、これを言うことです。これは認知的不調和ではありません。それは具体的な議論です。誰かがこれらのシステムを構築するだろう、そしてそれはリスクを深刻に取る人々であるべきです。

オペレーターのためのレッスンは信念と誠実さの関係についてです。アモダイは彼の論文の下向きを隠して資金調達を簡単にします。彼は下向きを述べ、同様に肯定的なケースを作成します。これは、最もスケプティカルな人々の信頼を構築しています——彼らが彼が彼が懸念を使用しているふりをしていない場合、彼らはそれを見ることができることができます。

このスタイルが壊れるところ

アモダイのモデルの核心的な緊張は、彼が完全に解決することができないのです。Anthropicは安全研究に資金を供給する商業的な収益が必要です。つまり、ClaudeはGPT-4oとGeminiと同じエンタープライズ契約のために競争する必要があります。その商業的な圧力は、彼がOpenAIを逃げるためのインセンティブダイナミックスを作成しています。それはただ延期されたものではなく、排除されます。

RSPは本当の制約ですが、問題を完全に解決しません。公開配置しきい値は説明責任を作成しますが、しきい値は自己定義されています。安全性マイルストーンを評価する研究評議会は内部的です。外部検証メカニズムはありません。

そして、研究から製品パイプラインはOpenAIより遅いです。Anthropicは優れたモデルを出荷しましたが、製品機能の速度——統合、ツール、および開発者エコシステムのような物——は遅れています。速度を移動してハードを保つ安全第一の文化。それは市場が重要な場所で競争力のある実際の責任です。

ダリオ・アモダイのリーダーシップについてのよくある質問

ダリオ・アモダイとは誰ですか?

ダリオ・アモダイはAnthropicの共同創設者およびCEOです。これは、彼が妹ダニエラ・アモダイと約10人の元OpenAI研究者と2021年に開始したAI安全会社です。彼はプリンストンから計算神経科学のPhDを保有しており、以前OpenAIの研究の副社長を務めました。彼はそこでGPT-2とGPT-3の仕事をリードしました。

なぜダリオ・アモダイはOpenAIを去ったのですか?

アモダイは2021年にOpenAIを去りました。なぜなら、彼は組織の商業的インセンティブと構造的セットアップが、彼が必要だと思った安全研究を損なうであろう圧力を作成していたと信じていたからです。彼は押し出されたのではありません——当時彼は研究の副社長でした——しかし、安全性の仕事が製品と商業タイムラインに対して常に競争していない場所で機関を構築したかったです。

Anthropicのミッションは何ですか?

Anthropicの述べられたミッションは、安全で有利で、理解可能なAIシステムを構築することです。この会社は強力なAIを人類の歴史で最も変革的で潜在的に危険な技術の1つとして扱い、その前提の周りに研究ロードマップ、採用バー、配置決定を構造化しています。バインディング責任あるスケーリングポリシーを含む。

「安全に競争する」ですか?

「レーストゥザトップセーフティ」はフロンティアAIラボがどのように競争すべきかについてのアモダイのフレーミングです。機能を最速で出荷するレースよりも、ラボは最高の安全とアラインメント基準を設定するために競争する必要があります。議論は、商業的成功が安全研究に資金を供給することです。安全第一に焦点を当てたラボがフロンティアに留まっている場合、彼らは業界全体の床を上げます。

Claudeとは何ですか?

Claudeは、Anthropicによって構築されている大規模な言語モデルの家族です。2023年に最初にリリースされたClaudeモデルは、Constitutional AIを使用してトレーニングされています——モデルが公開された原則のセットに対して出力を評価して修正するように訓練されている方法——とは競争モデルと比較して、思慮深く、ニュアンスがあり、問題のある出力の特定のカテゴリーにさらされない可能性が低いことで、エンタープライズ市場で知られています。

創設者はダリオ・アモダイから何を学ぶことができますか?

核心的な創設者レッスンは、組織が圧力の下で述べられた価値ではなくそのインセンティブに従って行動することです。値が重要な場合、それらは願望的ではなく構造的である必要があります。アモダイは責任あるスケーリングポリシーを、プレスリリースではなく、結合された外部コミットメント——値生存が次の資金調達ラウンドまたは競争脅威の任意の創設者のためのモデルとして構築しました。

詳しく知る

Victor Hoang

Co-Founder & CMO, Rework

Leadership Styles of Legends

ダリオ・アモダイのリーダーシップスタイル：安全なAIに大きく賭ける

レーストゥザトップ教義