使用技術
TypeScript Vue.js WebML WebGPU Kokoro.js SpeechRecognition API WebGL (Three.js) VRM (Virtual Reality Model)
リンク
年
2025
課題
インタラクティブなAI駆動のアバターを作成するには通常サーバーサイドの処理が必要であり、ユーザーのプライバシーの懸念や遅延の問題が生じます。
解決策
ブラウザ内で完全にローカルに動作する仮想アバターとAIのプロトタイプを開発し、WebAssemblyとオンデバイスの機械学習モデルを活用してユーザープライバシーを確保しつつインタラクティブな体験を提供します。
技術的な詳細
ブラウザ内で完全に動作するTypescript/Javascriptベースのウェブアプリケーションのプロトタイプ。(WebGPU)
- 言語: Typescript/Javascript
- フレームワーク: Vue3
- ローカルLLM: Qwen, Gemma, Phi, Mistralなど（ONNX、量子化済み）をWebMLおよびWebGPU上のWeb Workersで実行
- アバター: Three.jsでレンダリングされたVRM（バーチャルリアリティモデル）
- 音声認識: SpeechRecognition API
- 音声合成: Kokoro.js
- デプロイメント: Vercel
この技術に興味がありますか？
似たようなものを一緒に作りましょう。