パスワードを忘れた? アカウント作成
15628450 story
プライバシ

マイクをミュートしても音声を聴き続けるビデオ会議アプリケーション 45

ストーリー by headless
アンミュートって言います? 部門より
米ウィスコンシン大学などのグループが行った研究によると、デスクトップ版のビデオ会議アプリケーション (VCA) ではマイクをミュートしても音声をキャプチャー可能な状態が維持されているそうだ (ウィスコンシン大学のニュース記事The Next Web の記事The Register の記事論文: PDF)。

研究は被験者募集プラットフォーム Prolific で募集した 223 名を対象にした VCA のミュート機能に対する意識調査と、実際のアプリを用いたミュート時の動作の調査の 2 段階で行われた。対象アプリは Zoom / Slack / Teams / Skype / Google Meet / Cisco Webex / BlueJeans / WhereBy / GoToMeeting / Jitsi Meet / Discord の 11 本。Windows / Linux / macOS でデスクトップアプリ (ネイティブアプリ) が利用可能なものは各 OS 上で実行し、Web アプリは Chromium 上で実行したとのこと。

意識調査ではミュートボタンを押してもアプリがマイクにアクセスしているとの回答が 112 人と半数を超えたが、そうするべきとの回答は 37 人にとどまった。一方、ミュート時の動作では Web アプリがすべてマイクからのデータを完全に切断するようドライバーに指示する「ソフトウェアミュート」を適用したのに対し、デスクトップアプリでは標準の API を使用していないため動作が確認できなかった Windows 上の Teams / Skype を除き、すべてミュート時にもマイクからの音声にアクセス可能で、Webex は継続的に音声をキャプチャーし続けたという。

Webex はミュート状態でもマイクからの音声に関連するとみられる統計情報を含む JSON データをテレメトリーサーバーへ 1 分おきに送信する。データに音声そのものは含まれないものの、単純な音声 (クラシック音楽・調理/食事・会話・犬の鳴き声・キーボードでの入力・掃除) を入力した場合のテレメトリーパケットをニューラルネットワークに学習させた結果、平均 82 % の正確さで音声を特定可能になったそうだ。

マイク音声は OS の設定で無効化できるものの、設定画面にたどり着くまでに手間がかかるため、切り替えながら使用するのには不向きだ。マイクアクセスのパーミッションモデルを信頼できるものにするため、OS が Web アプリと同様の「ソフトウェアミュート」を可能にする API を実装し、VCA が API を使用してミュート・アンミュートを切り替えられるようにすることを研究者は推奨している。
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2022年04月17日 16時32分 (#4234083)

    Zoomの場合、ミュート状態で喋ったり一定以上の音量がマイクに入力されると
    「ミュート中やし喋るならミュート解除してな」みたいなメッセージが出る。

    マイクの入力ON/OFFを頻繁に切り替えると遅延が出たりもしそうだし、UX的にはしょうがないのでは。

    • by Anonymous Coward

      Teamsもミュート中に話すと「マイクがミュートになってます」とか出ますね。

    • by Anonymous Coward

      ミュート中にくしゃみをしてそのメッセージを見た

      • by Anonymous Coward

        声帯と無関係なピーク音でも反応するなら割と安心?
        できればOS側の仕事でドライバのエンコード時に数十キロヘルツに変換しアプリケーションへ渡すモードみたいなモン実装してほしいね

    • by Anonymous Coward

      Zoomの場合、ミュート状態で喋ったり一定以上の音量がマイクに入力されると
      「ミュート中やし喋るならミュート解除してな」みたいなメッセージが出る。

      ノーマスクなら口の動きの画像解析で発言判別は可能ですが
      何故かリモートでもマスク必須文化がはびこっていますので
      音を拾わないと流石に判別はできないですよねぇ

      # オープンスペースでリモート会議ならマスクは仕方ないがそれよりも社外秘や商談調整はええんかいなみたいな

  • by Anonymous Coward on 2022年04月17日 15時29分 (#4234064)

    Teams以外のは使ったことがないから知らないけど、ミュートしてることに気づかずに喋って相手に伝わらないようなことを防止できないんですよね。
    Teamsはミュート状態で何か喋ると画面にミュートしてることを示す表示が出て自分で気づけるようになってる。
    ミュート時にマイクへのアクセスを止めてしまうと、会議アプリからはユーザーが喋ってるかどうかを判別できないのでそういう確認表示も出せなくなる。

    • by Anonymous Coward

      ミュート中にアプリがマイクにアクセスするのはいいが、送信はするな

      そんだけのことやろ。ミュートする設定はローカルのアプリからの入力で
      やってんだからそこで判断しろとしか。

    • by Anonymous Coward

      ミュート中その表示をずっと出しとくのじゃダメなの?
      まぁマイクの物理ボタンと使い分けるのが良いのかも知れないな。

      • by Anonymous Coward on 2022年04月17日 16時21分 (#4234078)

        それは単純にミュート表示出しているのとあんまり変わらない。メッセージが不必要に画面を占拠してしまうし。
        ミュートしているのにユーザーが音声入力をしようとしている事をソフトが気付くことに意味がある。

        親コメント
        • by Anonymous Coward

          音声入力したいのではなく独り言です・・・

    • by Anonymous Coward

      レベルメーターを表示させれば良いのですよ

  • by Anonymous Coward on 2022年04月17日 15時20分 (#4234060)

    ウインドウズやアンドロイドのマイク許可とかの設定は表向きで
    許可出さなくてもアプリ側でマイクのデータ取れるってこと?

    • by Anonymous Coward on 2022年04月17日 16時23分 (#4234080)

      研究者が言いそうなことだな、というのが正直な感想
      現場のエンジニアならこんなことはクチが割けても言えないこと
      詳しいシーケンスは省くがアプリがOSを介してPCにつながったマイクに接続して音を出し始めるまでにだいたい1sec以上かかる
      じゃぁ普通にやってアプリのボタンを押してから実際にマイクが音を拾い始めるまでのタイムラグを
      ユーザーが許してくれるのか?ゼッタイにこれに関してクレームが来ないのか??

      実際はこんなことクレームの嵐だし、それをなんとかしろと現場の技術者が一生懸命解決策を考えた結果に現状のシステムがある
      リアルタイム性を確保するためには事前に音声をキャプチャしておくしかない
      こんなことは2000年代に散々議論された話で、これはそのときの話の単なる蒸し返しにしか思えない

      親コメント
      • by Anonymous Coward

        まずあなたが本当に技術者?なのかすら怪しいのはおいといてよく文章を読みましょう。
        >OS が Web アプリと同様の「ソフトウェアミュート」を可能にする API を実装し、VCA が API を使用してミュート・アンミュートを切り替えられるようにすることを研究者は推奨している。
        空想の「研究者vs技術者(あなた?)」の対立構造作って非建設的な「どうしようもない」とか言ってないで、
        相手がどういう意図で調査して、どういう非難は意図してなくて、どういう解決策を提示してるのかをちゃんと考えてから書き込みましょうね。

        • by Anonymous Coward

          そこの言いたいことが全く持ってわからんのだが、
          webアプリの「ソフトウェアミュート」とやらはブラウザの機能で、ブラウザはマイクの音拾ってるんだろ。

          やってることはデスクトップアプリと大して変わんねーじゃん。
          ブラウザを安全安心と信じるか、VCAを信じるかってだけで、ユーザーからしたら何も変わらん。

          • by Anonymous Coward

            「全く持って」

          • by Anonymous Coward

            >webアプリの「ソフトウェアミュート」とやらはブラウザの機能で、ブラウザはマイクの音拾ってるんだろ。
            違います。よく読みましょう。

            • by Anonymous Coward on 2022年04月18日 12時41分 (#4234478)

              #4234435(および#4234267)だけど自分で言ってて変な感じしたので#4234435は取り消します。
              ついでに元論文読んできました。タレコミ文も微妙なところがあるので論文読んだ上で(それと私の願望も加えて)説明しますが、(推敲しないので乱文失礼)
              要するにOSレベルでマイクの音は常にサンプリングしつつも、
              ネイティブアプリへの流入をOSレベルで遮断した状態にできるAPIをOSで提供して、それ使うようになるといいね、って話です。
              プライバシーを重視する私もそうなってほしいですし、元コメが騒いでる1秒以上遅れる、とかいう問題も解決します。
              (私としてはそもそも1秒も遅れるのか疑ってますが検証してないのでそこはおいておきます)
              こうすることで

              今のブラウザとウェブアプリの関係はそれに近くて、WebRTC API経由でブラウザに指示して、ブラウザとJavascript間の音声を完全に遮断してます。
              ただし、もちろんおっしゃるとおりブラウザの実装を信用するのと、ウェブアプリ側が正しくそれを呼び出してることは前提になります。
              そして一般にブラウザの実装は信用が高いですし(プライバシーに慎重な私もそうです)、問題があればオープンソースなので誰かが騒ぎます。
              後者は、ブラウザ側でインジケータを出すようにすれば解決できると私は考えます。

              こうすると何が嬉しいかというと、OSないしブラウザを信用し、個々のアプリを信用しないで良くなるわけです。
              またネイティブアプリで喋った時の検知云々が他スレで説明されてますが、実装的には生のシグナルをアプリが解析してるのではなくOS側からミュートか否かのフラグを利用しているようです。
              なので、OSないしブラウザに対して、マイクをサンプリングしつつも、「アプリにシグナルを渡しているか明確にする」「シグナルは渡していないが解析内容は渡している(ミュートか否か)」「何も渡してない」
              というふうなことができるようにすればいいでしょう。

              よって技術的には完全に可能ですし、問題提起をしたこの研究は極めて参考になるものです(私も以前から気になってました)
              既存のネイティブアプリも、ミュートか否かのフラグはつかいつつ、生シグナルを解析しているアプリがあるかの検証など、かなり色々とやってます。

              申し訳ないですが、#4234080のような「現場の技術者」よりも圧倒的に技術力は高いです。
              問題が提起されたら、問題が技術的に可能かを考えそれを実現するのが技術者です(そもそも優秀な技術者は問題の提起もできます。なぜなら技術的に自明だから)
              そして、今回の件は技術で十分に可能ですし、さほど難易度も高くありません。
              #4234080のように他人のコードを組み合わせていじくるのが仕事の「現場の技術者」のかたには見えないかもしれませんが、一定以上の技術を持っていれば本件は論文など読まなくても真っ当な問題提起であることがわかり、解決法も自明です。

              親コメント
              • by Anonymous Coward

                横からだけど、超簡単に測る方法を思いついたので測って見ました(ちなみに私は #4234219 を書いた人)
                結論から言うと306ミリ秒しか遅れない

                ある楽曲を頭に空白を入れて流して、目を閉じて、「鳴った!」って瞬間に自作の普段使いの録音アプリ(※1)の録音ボタンを押すという、反射速度テスト的なことをしてみました
                (※1 C# + NAudioの組み合わせで書いてあってWASAPI使用で、録音ボタンが押されてからデバイス初期化して録音を開始するタイプ)

                で、実際にデジタルループバックして元の音源と比較するって手法で1サンプルのズレも無いように測ってみたら、正確に306ミリ秒(44.1kHz音源使用で13504サンプル)でした

                #4234080の主張の通り初期化に1秒以上かか

              • by Anonymous Coward

                というかこんなに短いんだったら、喋ってるかの判定不要ならば普通にミュート時にサンプリングしない方式でも使えるのかもしれませんね。
                大変参考になりました。

      • by Anonymous Coward

        阿保のいいそうなことだな。
        セキュリティを切らないと動作しないから切るっていっているのと同じ。
        やってはいけないことはやってはいけないんだよ。

      • by Anonymous Coward

        「ミュート解除しながら喋ったら最初のコンマ何秒かが途切れる!」
        なんてクレームが嵐のように来るんだ、ふーん

    • by Anonymous Coward on 2022年04月17日 15時46分 (#4234068)

      下にも書いてあるが、Teams のビデオ会議ではミュート状態で発言すると
      「マイクがミュートになっており、相手にはあなたの声が聞こえていません」
      という警告がその時に出る。

      つまりずっと録音はしているが、相手に送信してないことを「ミュート」と言っている。

      親コメント
      • by Anonymous Coward

        録音ではなく収音だよね

    • by Anonymous Coward

      一度使用許可を出した後の一時的なミュートの話では。
      ミュート指示しても、他の参加者に音声が届かないようになるだけで、ミュートしてないときにアプリの会社に流れてるのと同等の内容がミュートしても流れますよ、と。

      会議の参加者に漏れるバグとかなければ問題ないのではとも想いますが。

      • by Anonymous Coward on 2022年04月17日 22時42分 (#4234219)

        その通りだし、他のコメントにあるミュート中にしゃべったのを検出して警告とかそういう事するならば別だけど、少なくともWindowsでIAudioEndpointVolumeとかで録音デバイスのミュート/ミュート解除する分にはミリ秒単位の遅延しか発生しないし #4234080 は的外れかも
        (Windows以外はどうなのか知らない)

        むしろソフトウェア的にやってるなら操作した瞬間からバッファ分のずれがあるのでそっちの方が遅延が大きいとも言えそう(どっちにしても気にするような遅延じゃないだろうけど)

        親コメント
  • by Anonymous Coward on 2022年04月17日 15時27分 (#4234063)

    ミュートにかかわらず音は拾っといてほしい。
    なぜかというと、ミュートなのを気づかずにしゃべるというリモートあるあるを警告してほしいから。
    MacのTeamsってその機能なかったっけ?

  • by Anonymous Coward on 2022年04月17日 16時03分 (#4234074)

    大学の記事ではカメラなら手をかざせば隠せるとか書いてあるけどさ、その程度じゃセキュリティは不十分だと思うんだが。
    手をかざしてどの程度周囲の状況を把握できるかの研究はしてないのかな?

    気になるならマイクを外付けにして、不要なときには引っこ抜けと思う。

    # そもそも怪しいアプリは使うなよと

  • by Anonymous Coward on 2022年04月17日 16時22分 (#4234079)

    アンコメント って言われた時の警戒感に近いモノを感じる。

  • by Anonymous Coward on 2022年04月17日 18時04分 (#4234112)

    私が使っているのはゲーミングヘッドセットだから少々ゴツイのが難点ですな。

  • by Anonymous Coward on 2022年04月17日 18時14分 (#4234117)

    内臓マイクじゃなくてマイクは外付けが当たり前になれば、こんな心配はなくなるんだよなぁ

    今のパソコンって内臓マイク付きのしか売ってないよな。昔のようにマイクはジャックに刺す外付けのパソコンに戻してほしいよ

    それかせめて同価格で外付けタイプのパソコンが豊富にラインナップしてほしい

    • どんなマイクなのか想像してみた。
      心臓マイク:脈打つビートが素敵
      肺マイク:スコースコーとベイダー卿ちっく
      胃マイク:お昼が近くなると急に異音が

      #「内蔵だろ」とつっこむのめんどい

      親コメント
      • by Anonymous Coward

        どんなマイクなのか想像してみた。
        心臓マイク:脈打つビートが素敵
        肺マイク:スコースコーとベイダー卿ちっく
        胃マイク:お昼が近くなると急に異音が

        脳内マイク:タイソン
        も追加しましょう

        # 真木でも可

      • by Anonymous Coward

        肝臓マイク:沈黙のマイク

    • by Anonymous Coward

      心配な人なら内蔵マイクは殺しとけばいいんじゃないすかね

    • by Anonymous Coward

      内蔵つってもUSBなんだから底にでも端子、ソケット引き出しといて任意に物理的にブッチ出来るようにしてくればいいのに
      内蔵ツカワない場合に流用できる空き端子増えるし

    • by Anonymous Coward

      今どきのノートPCなら、ほとんどはヘッドフォン端子がマイク兼用になっているのでは?
      スマホ用などのマイク付きイヤフォン(プラグ部分が4極)が使えますよ。

      # そのイヤフォンに物理ミュート機能がなければ、内蔵マイクと動作は変わりませんけれど
      # 内臓マイクってのが体にデバイスを埋め込むような、私の知らぬ新技術ならゴメンナサイ

  • by Anonymous Coward on 2022年04月18日 7時43分 (#4234297)

    Teamsですが、設定でマイク無効はもちろんあります。
    しかしシステム上、マイク入力は生きており、ちゃんと音声入力が可能な状態になっているとなんかいやですね。
    サウンド設定でマイクの「録音」画面にして、PCのマイクの前で音を出せばちゃんとレベルメーターが動く。
    当たり前ですが、知らないうちに音を集められているんじゃないのって思ってしまいます。
    私は使わないときはコンパネからハードウェア設定でマイクオフにしてます。面倒ですが。

    • それ「ソフトウェアで無効」ですよ笑

      ハードウェアレベルではマイク入力は生きており、ちゃんと音声入力が可能な状態になっているままです。
      今も、知らないうちに音を集められているんじゃないのって心配すべきです。

      • by Anonymous Coward

        一番いいのはわざと同じチップでそのハードでは無効なドライバ突っ込むことだよね!
        あとは大抵BIOS/uEFIレベルで切れるので、そっちで切るヨロシ。

        ちなみに私は配信環境用のオーディオミキサーのイン/アウト共にが余ってたので、
        配信環境と共通化して、PC側に2in/2outのUSBインターフェイスを必要な時に繋いで入れてる。
        ハードウェアミュートも完備しているし、イヤホン/ヘッドホンをしなくていいように音を返しているので快適。

  • by Anonymous Coward on 2022年04月18日 18時17分 (#4234789)

    仮想サウンドデバイスにミュートを用意してミュート時はアプリケーションにそれを使わせればいいんじゃないかな

    # 全サウンドデバイス掴みに来るアプリケーションが出てWASAPI専有がーとかなりそうだが

  • by Anonymous Coward on 2022年04月19日 20時10分 (#4235707)

    誰も言及しないところみるに
    ここのAC共は何如に騙してこっそり盗むか毎日腐心してるんだなって感想

typodupeerror

計算機科学者とは、壊れていないものを修理する人々のことである

読み込み中...