LLM（大規模言語モデル）活用技術とは
LLM（Large Language Model）は、大量のテキストデータから学習した人工知能モデルで、人間のような自然な文章生成や高度な言語理解を実現します。
当社は、GeminiやGPT-4など世界最高水準のLLMを戦略的に活用し、 3つの技術を組み合わせた独自のハイブリッドシステムを構築しています：
- 大規模LLM：複雑な推論や創造的な文章生成を担当
- RAG技術：医療分野で培った99%の検索精度で、正確な情報を即座に参照
- エッジAI群：会話の前処理を高速化し、LLMの呼び出しを最適化
特にRAG技術により、LLMが「知識を創作する」のではなく「正確な情報に基づいて回答する」ことを保証。さらに、エッジAIが「LLMに頼らずに処理できるタスク」を見極めて高速処理することで、 必要な時に必要なだけLLMとRAGを活用。 この統合的アプローチにより、高品質・高速・低コストなAIソリューションを実現しています。
LivetoonのLLM活用技術－ 4つの強み
1. 医療分野で培った最高精度のRAG技術
RAG（Retrieval-Augmented Generation）とは、AIが回答する際に、 事前に用意した信頼できる情報源から関連情報を検索し、それを基に正確な回答を生成する技術です。 一般的なAIの「思い込み」による誤答を防ぎ、常に根拠のある回答を実現します。
当社CTOの医師としての経験を活かし、医療文書検索において90%超えの精度を達成。 診療ガイドラインや薬剤情報など、人命に関わる情報を扱う医療分野で磨かれた技術により、 あらゆる業界で信頼性の高いAIシステムを構築します。
2. ベクトルDBを活用した高度な記憶システム
通常のAIは会話が終わると内容を忘れてしまいますが、当社のシステムはベクトルデータベースを活用して長期的な記憶を実現。 過去の会話内容や蓄積された情報を効率的に検索・活用し、 ユーザーごとにパーソナライズされた応答が可能です。
- 数百万件の文書から0.1秒で関連情報を検索
- 会話の文脈を長期間保持し、継続的な対話を実現
- 組織の知識を蓄積し、成長するAIシステムを構築
3. 独自開発のエッジAI技術
当社は、対話システムにおいて「大規模LLMを呼び出すまでもないタスク」を高速処理する独自のエッジAI群を開発。これらの特化型モデルが、 LLMの前段階で必要な判断を瞬時に行うことで、システム全体の高速化とコスト削減を実現しています。
LLMの負荷を軽減する2つのエッジAI
- ターン検知AI：ユーザーの話し終わりを90%以上の精度で検知。「まだ話している」「話し終わった」を 瞬時に判断し、適切なタイミングでLLMを起動
- 多感情解析AI：喜び・怒り・悲しみ・リラックス・驚きの5感情を4段階で解析。 LLMが感情を考慮した応答を生成する際の判断材料を高速で提供
「賢い迂回路」としての機能
対話において、すべての処理を大規模LLMに任せる必要はありません。 例えば、相槌を打つタイミングの判断や、ユーザーの感情認識などは、 軽量な専門モデルで十分に処理可能です。
当社のエッジAI群は、このような「LLMでなくても処理できるタスク」をローカルで瞬時に処理する「迂回路」として機能。必要な場面でのみ大規模LLMを呼び出すことで、以下を実現します：
- レスポンス高速化：前処理を数十msで完了、体感速度が大幅向上
- コスト削減：APIコールを最小限に抑え、運用コストを削減
- 安定性向上：ネットワーク依存を減らし、システムの可用性を向上
4. 戦略的なハイブリッドアプローチ
当社は自社でファインチューニングする技術を保有していますが、 費用対効果とユーザー体験を最大化するため、タスクに応じて最適なルートを選択するハイブリッドアプローチを採用しています。
特に対話システムにおいては、エッジAIが「高速道路」として機能。 ターン検知や感情解析などの前処理をローカルで瞬時に行い、 必要な場合のみ大規模LLMと連携することで、レスポンス速度とコストの最適化を実現しています。
活用シーン
当社のLLM技術は、エッジAIが「いつLLMを呼ぶべきか」を賢く判断し、 必要な時だけ大規模モデルの力を借りることで、以下のような場面で新たな価値を創造しています。
- AIキャラクターサービス：「kaiwa」での自然な対話体験（エッジAIが会話の流れを管理、LLMが内容を生成）
- カスタマーサポート：よくある質問はエッジAIで即答、複雑な問い合わせはLLMで対応
- 社内ナレッジ管理：膨大な社内文書から必要な情報を瞬時に検索・要約
- 医療・法務分野：専門文書の高精度検索と、根拠に基づく情報提供
- 教育・研修：エッジAI群で処理（遅延数十ms）
- リアルタイムアプリ：ゲームやインタラクティブコンテンツでの即応性が求められる対話
今後の展開
当社では、エッジAI・RAG・LLMの三位一体システムの更なる進化を目指し、 以下の技術開発と事業展開を推進しています。
技術開発ロードマップ
- エッジAIの拡充：現在の2モデルから5モデル以上へ拡張し、より多くのタスクをローカルで高速処理
- RAGの進化：マルチモーダル検索（画像・音声・動画）への対応と、リアルタイム情報更新機能の実装
- 次世代LLM対応：新しいモデルが登場次第、即座に評価・統合できる柔軟なアーキテクチャ
サービス展開
ターン検知AIと多感情解析AIをはじめとする対話AI技術を「kaiwa」サービスへ順次統合。 2025年内には、以下の機能を実現予定です：
- 感情の変化を読み取り、共感的に応答するAIキャラクター
- ユーザーごとの長期記憶により、成長していく対話体験
- 複数のAIキャラクター間での自然な会話生成
さらに、これらの技術をAPIとして外部パートナーへ提供し、 教育・医療・エンターテインメントなどさまざまな分野での活用を推進。 大規模モデルの「深い理解力」、RAGの「正確性」、エッジAIの「即応性」を最適に組み合わせることで、人とAIが真に心を通わせる未来を創造してまいります。
LLM活用技術の導入について、お気軽にご相談ください。