「Composo:エンタープライズのAIアプリのパフォーマンスの監視」

htmlAIと大規模言語モデル(LLM)は非常に有望ですが、正直言って、成功したり失敗したりします。すべての問題を解決する時期は誰も確信していませんが、スタートアップが企業を支援して、LLM搭載アプリが期待通りに機能するように取り組んでいるのは驚くことではありません。
ロンドンを拠点とするスタートアップ、Composoが登場し、この問題を解決する優位性があると考えています。彼らは、企業がLLMアプリの正確性と基準を満たしているかを確認できるカスタムモデルを提供しています。
Composoはこの分野で唯一ではありません。Agenta、Freeplay、Humanloop、LangSmithといった競合も、人間やチェックリスト、従来のツールに頼らず、LLMベースのより良いアプリテスト方法を提供しようとしています。しかし、ComposoはノーコードオプションとAPIの両方を提供することで異なると主張しています。これにより、開発者だけでなく、ドメイン専門家や経営陣も inconsistency、品質、正確性を自分で確認できます。
その仕組みは次のとおりです:Composoは、AIアプリに求められる結果に基づいてトレーニングされた報酬モデルと、アプリ固有の基準を組み合わせます。そして、アプリの出力がその基準にどの程度一致するかをスコアリングします。例えば、医療トリアージチャットボットがある場合、危険信号の症状を監視するカスタムガイドラインを設定でき、Composoはアプリがそのルールをどれだけ守っているかを教えてくれます。
彼らは最近、Composo Alignの公開APIをリリースしました。これは、設定した任意の基準に基づいてLLMアプリを評価するものです。
その成果を上げているようです。Accenture、Palantir、McKinseyといった大企業が顧客リストに名を連ね、最近200万ドルのプレシード資金を獲得しました。AIの世界では資金が豊富に流れている中でこれは少なく思えるかもしれませんが、Composoの共同創業者兼CEO、Sebastian Foxは、巨額の資金は必要ないと言います。「少なくとも今後3年間は、何億ドルも調達する予定はありません。基盤モデルを構築している人々がいて、彼らが非常に効果的にやっているからです。それが私たちのUSPではありません」と、元McKinseyコンサルタントのFoxは述べました。「代わりに、毎朝起きて、OpenAIがモデルで大きな進歩を遂げたというニュースを見ると、それは私のビジネスにとって良いことです。」
新しい資金で、Composoはエンジニアリングチーム(共同創業者兼CTOで、元Graphcoreの機械学習エンジニアであるLuke Markhamが率いる)を強化し、さらに顧客を獲得し、R&Dを加速する計画です。「今年の焦点は、現在の技術をこれらの企業にスケールすることにあります」とFoxは言いました。
シードラウンドは、英国のAIプレシードファンドTwin Path Venturesが主導し、JVH VenturesとEWORも参加しました。EWORはすでにアクセラレータープログラムを通じてComposoを支援していました。「Composoは、企業AIの導入における重要なボトルネックに対処しています」とTwin Pathのスポークスパーソンは述べました。
このボトルネックは、Foxによると、AIシーン全体、特にビジネスにとって大きな問題です。「人々は興奮の誇大広告を超えて、今、『これが現在の形で私のビジネスに本当に変化をもたらすのか?信頼性が十分でないし、一貫性もない。たとえそうであっても、それがどの程度なのか証明できない』と考えています」と彼は説明しました。
これは、AIを使いたいがリスクを心配する企業にとって、Composoを非常に価値あるものにする可能性があります。そのため、彼らは業界に依存しないが、コンプライアンス、法律、医療、セキュリティに重点を置いています。
差別化要因について、Foxは彼らの成果を再現するのは簡単ではないと言います。「モデルのアーキテクチャと、トレーニングに使用したデータがあります」と彼は述べ、Composo Alignが「専門家の評価の大きなデータセット」でトレーニングされたと付け加えました。
確かに、テック大手が力を入れてこの問題を解決しようとするかもしれませんが、Composoは先行していると考えています。「もう一つは、時間とともに蓄積するデータです」とFoxは、評価の好みを構築する方法について語りました。
柔軟な基準セットでアプリを評価できるため、Composoは、より硬直したアプローチの競合よりも、エージェント型AIの台頭に適していると考えています。「私の意見では、エージェントがうまく機能する段階にはまだ達していません。それを解決しようとしているのです」とFoxは言いました。
*TechCrunchにはAIに焦点を当てたニュースレターがあります!毎週水曜日に受信箱で受け取るには、ここでサインアップしてください。*
関連記事
ニューヨーク州、5,000万のAIデータセンターの電力使用量に上限を設ける
ニューヨーク州の取り組みは、世界各国の政府がAIブームに伴う物理的なフットプリントをどのように管理・課税・規制すべきかを示唆している。写真提供:Luca Bravo/Unsplashキャシー・ホチュール・ニューヨーク州知事がデータセンターの建設を停止する歴史的な行政命令に署名する一方、州当局は厳格な環境影響規制の草案を作成しているAIが求めるインフラ需要は、今や既存の電力網が抱える物理的な制約と衝
スタンフォード大学の研究者たちが、人工知能を用いて合成ウイルスをどのように開発したか
AI分野のリーダーたちは、生物学的機能を持つAIモデルに伴う潜在的なリスクを指摘している。写真提供:CDC/Unsplash米国の研究者たちはAIを活用して、大腸菌を標的とする初の合成ウイルスを設計した一方、Anthropic社のCEOダリオ・アモデイ氏は、AIに起因する生物学的脅威について懸念を表明している。米スタンフォード大学の科学者たちは、人工知能を用いて自然界には存在しないウイルスを設計し
AIが中国の創薬プロセスをどのように加速させるか
インシリコ・メディシン社のアレックス・ザヴォロンコフCEOは、中国において人工知能と実験室での研究を統合することで、創薬候補物質の生成にかかる期間を約1年に短縮したと述べた。ジャヴォロンコフ氏によると、香港証券取引所に上場している同社の最も進んだプログラムでは、通常13ヶ月かかる候補化合物の選定をわずか9ヶ月で達成した。これは、同じマイルストーンに到達するのに通常約4年半を要する従来の方法とは著し
関連特集おすすめ
コメント (56)
0/500
用AI去监控AI应用,这做法挺有趣的,有点「套娃」的味道。不过这类服务确实有需求,现在模型输出的稳定性确实是个痛点,尤其是对企业级应用来说。我们团队之前试过几个大模型API,偶尔抽风起来真的让人头疼,有个监测工具至少能提前预警吧。😅
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. Startups tackling LLM performance issues is a smart move—businesses need that reliability. Curious to see how this tech evolves! 😎
This article on Composo is pretty cool! It's wild how AI apps can be so powerful yet so unpredictable. Nice to see startups tackling the performance monitoring side—hope it makes LLMs more reliable for businesses! 😎
This article on Composo is super insightful! It’s wild how LLMs are so powerful yet so unpredictable. Excited to see startups tackling this to make AI apps more reliable! 😎
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. I wonder how startups like this will tackle the chaos of LLMs in real-world use. 🤔 Anyone else curious about the future of AI monitoring?

AIと大規模言語モデル(LLM)は非常に有望ですが、正直言って、成功したり失敗したりします。すべての問題を解決する時期は誰も確信していませんが、スタートアップが企業を支援して、LLM搭載アプリが期待通りに機能するように取り組んでいるのは驚くことではありません。
ロンドンを拠点とするスタートアップ、Composoが登場し、この問題を解決する優位性があると考えています。彼らは、企業がLLMアプリの正確性と基準を満たしているかを確認できるカスタムモデルを提供しています。
Composoはこの分野で唯一ではありません。Agenta、Freeplay、Humanloop、LangSmithといった競合も、人間やチェックリスト、従来のツールに頼らず、LLMベースのより良いアプリテスト方法を提供しようとしています。しかし、ComposoはノーコードオプションとAPIの両方を提供することで異なると主張しています。これにより、開発者だけでなく、ドメイン専門家や経営陣も inconsistency、品質、正確性を自分で確認できます。
その仕組みは次のとおりです:Composoは、AIアプリに求められる結果に基づいてトレーニングされた報酬モデルと、アプリ固有の基準を組み合わせます。そして、アプリの出力がその基準にどの程度一致するかをスコアリングします。例えば、医療トリアージチャットボットがある場合、危険信号の症状を監視するカスタムガイドラインを設定でき、Composoはアプリがそのルールをどれだけ守っているかを教えてくれます。
彼らは最近、Composo Alignの公開APIをリリースしました。これは、設定した任意の基準に基づいてLLMアプリを評価するものです。
その成果を上げているようです。Accenture、Palantir、McKinseyといった大企業が顧客リストに名を連ね、最近200万ドルのプレシード資金を獲得しました。AIの世界では資金が豊富に流れている中でこれは少なく思えるかもしれませんが、Composoの共同創業者兼CEO、Sebastian Foxは、巨額の資金は必要ないと言います。「少なくとも今後3年間は、何億ドルも調達する予定はありません。基盤モデルを構築している人々がいて、彼らが非常に効果的にやっているからです。それが私たちのUSPではありません」と、元McKinseyコンサルタントのFoxは述べました。「代わりに、毎朝起きて、OpenAIがモデルで大きな進歩を遂げたというニュースを見ると、それは私のビジネスにとって良いことです。」
新しい資金で、Composoはエンジニアリングチーム(共同創業者兼CTOで、元Graphcoreの機械学習エンジニアであるLuke Markhamが率いる)を強化し、さらに顧客を獲得し、R&Dを加速する計画です。「今年の焦点は、現在の技術をこれらの企業にスケールすることにあります」とFoxは言いました。
シードラウンドは、英国のAIプレシードファンドTwin Path Venturesが主導し、JVH VenturesとEWORも参加しました。EWORはすでにアクセラレータープログラムを通じてComposoを支援していました。「Composoは、企業AIの導入における重要なボトルネックに対処しています」とTwin Pathのスポークスパーソンは述べました。
このボトルネックは、Foxによると、AIシーン全体、特にビジネスにとって大きな問題です。「人々は興奮の誇大広告を超えて、今、『これが現在の形で私のビジネスに本当に変化をもたらすのか?信頼性が十分でないし、一貫性もない。たとえそうであっても、それがどの程度なのか証明できない』と考えています」と彼は説明しました。
これは、AIを使いたいがリスクを心配する企業にとって、Composoを非常に価値あるものにする可能性があります。そのため、彼らは業界に依存しないが、コンプライアンス、法律、医療、セキュリティに重点を置いています。
差別化要因について、Foxは彼らの成果を再現するのは簡単ではないと言います。「モデルのアーキテクチャと、トレーニングに使用したデータがあります」と彼は述べ、Composo Alignが「専門家の評価の大きなデータセット」でトレーニングされたと付け加えました。
確かに、テック大手が力を入れてこの問題を解決しようとするかもしれませんが、Composoは先行していると考えています。「もう一つは、時間とともに蓄積するデータです」とFoxは、評価の好みを構築する方法について語りました。
柔軟な基準セットでアプリを評価できるため、Composoは、より硬直したアプローチの競合よりも、エージェント型AIの台頭に適していると考えています。「私の意見では、エージェントがうまく機能する段階にはまだ達していません。それを解決しようとしているのです」とFoxは言いました。
*TechCrunchにはAIに焦点を当てたニュースレターがあります!毎週水曜日に受信箱で受け取るには、ここでサインアップしてください。*
ニューヨーク州、5,000万のAIデータセンターの電力使用量に上限を設ける
ニューヨーク州の取り組みは、世界各国の政府がAIブームに伴う物理的なフットプリントをどのように管理・課税・規制すべきかを示唆している。写真提供:Luca Bravo/Unsplashキャシー・ホチュール・ニューヨーク州知事がデータセンターの建設を停止する歴史的な行政命令に署名する一方、州当局は厳格な環境影響規制の草案を作成しているAIが求めるインフラ需要は、今や既存の電力網が抱える物理的な制約と衝
スタンフォード大学の研究者たちが、人工知能を用いて合成ウイルスをどのように開発したか
AI分野のリーダーたちは、生物学的機能を持つAIモデルに伴う潜在的なリスクを指摘している。写真提供:CDC/Unsplash米国の研究者たちはAIを活用して、大腸菌を標的とする初の合成ウイルスを設計した一方、Anthropic社のCEOダリオ・アモデイ氏は、AIに起因する生物学的脅威について懸念を表明している。米スタンフォード大学の科学者たちは、人工知能を用いて自然界には存在しないウイルスを設計し
AIが中国の創薬プロセスをどのように加速させるか
インシリコ・メディシン社のアレックス・ザヴォロンコフCEOは、中国において人工知能と実験室での研究を統合することで、創薬候補物質の生成にかかる期間を約1年に短縮したと述べた。ジャヴォロンコフ氏によると、香港証券取引所に上場している同社の最も進んだプログラムでは、通常13ヶ月かかる候補化合物の選定をわずか9ヶ月で達成した。これは、同じマイルストーンに到達するのに通常約4年半を要する従来の方法とは著し
用AI去监控AI应用,这做法挺有趣的,有点「套娃」的味道。不过这类服务确实有需求,现在模型输出的稳定性确实是个痛点,尤其是对企业级应用来说。我们团队之前试过几个大模型API,偶尔抽风起来真的让人头疼,有个监测工具至少能提前预警吧。😅
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. Startups tackling LLM performance issues is a smart move—businesses need that reliability. Curious to see how this tech evolves! 😎
This article on Composo is pretty cool! It's wild how AI apps can be so powerful yet so unpredictable. Nice to see startups tackling the performance monitoring side—hope it makes LLMs more reliable for businesses! 😎
This article on Composo is super insightful! It’s wild how LLMs are so powerful yet so unpredictable. Excited to see startups tackling this to make AI apps more reliable! 😎
This article on Composo is pretty eye-opening! It's wild how AI apps can be so powerful yet so unpredictable. I wonder how startups like this will tackle the chaos of LLMs in real-world use. 🤔 Anyone else curious about the future of AI monitoring?





家






