スマートフォンでの文字入力時のタップ音から入力文字は推測できる 54
ストーリー by hylom
ソフトキーボードをランダムに並び替えるセキュリティが導入されるか 部門より
ソフトキーボードをランダムに並び替えるセキュリティが導入されるか 部門より
スマートフォンでの文字入力時、指が端末を叩く際に発生するわずかな音から入力された文字を推測することに静岡大学の研究者らが成功したと発表した（NHK）。
画面をタップする際に発生する音は、タップする場所によってわずかに異なるという。これを利用し、「0」から「9」までの数字を入力する際に発生した音をAIシステムに学習させたところ、入力音から入力した数字を95％以上の精度で推測できたという。
声で (スコア:2)
# あれ、音声もAIに聞かれているのか？
Re: (スコア:0)
フロントカメラ使って視線追跡で入力とかどうよ。
既にあったわ。
視線でスマホをコントロールできるアプリ「Hawkeye Access」が公開
https://iphone-mania.jp/news-231018/ [iphone-mania.jp]
Re: (スコア:0)
おばさまは喋りながら打ってらっしゃいますしね
対策として、 (スコア:1)
タップ音をスマホのマイクで拾って逆位相の音を出す、
「タップ音キャンセリング機能」
が標準化される、は無いか。
Re: (スコア:0)
音姫メソッドなら簡単に実現できそう
Re: (スコア:0)
思いつく対策は、
・騒ぎながらタップ
・手袋をしてタップ
・タップする時間間隔を長くする
ロック画面解除には使えそうにないものが、
・テンキーとqwertyを切り替えながらタップ
・ハードウェアキーボードを使う
Re:対策として、 (スコア:1)
銀行みたいにキーをランダムに並び変えるとか。
Re:対策として、 (スコア:2)
って部門だね。
Re: (スコア:0)
特許料払うのが嫌なだけでしょ。
Re:対策として、 (スコア:1)
指を離さないスライドタイピングという手法もありますよ。
日本語で実装した例は知りませんが。
Re:対策として、 (スコア:1)
>思いつく対策は、
・タップしない。
音声入力(声自体を拾われるとアウト)
もはや使いにくそうだけど、Graffitiとか。
Re: (スコア:0)
Graffitiだって指なりペンの滑らせ方から発生音の差異は見つかるだろう。
むしろそのての直接筆記に近い方が簡単な可能性も。
Re:対策として、 (スコア:1)
何をやっても無駄ですね。
Re: (スコア:0)
ダンスをしながらタップすればいいんじゃない？
Re: (スコア:0)
これがホントのタップダンス……って誰がうまいこと言えと
Re: (スコア:0)
思いつく対策は、
・騒ぎながらタップ
・手袋をしてタップ
・タップする時間間隔を長くする
タップしながらタップ。
部門名 (スコア:0)
ランダム配置は打ちにくいのを我慢すれば有効ですね。
ただこれ、記事を読む限り、筐体内の部品配置の差などを音響的に拾ってるようなので、機種それぞれの学習が必要と思われます。
あとは、保護フィルムの違い、机に置いてか手に持ってか、保持リングの有無、もしかしたら筐体の傷など、音響に関わりそうなパラメータは多いので、
一般化してどのスマホでもあたる！ ってレベルには程遠いんじゃないかと思ったりします。
Re:部門名 (スコア:2)
攻撃よりは防衛、例えば情報が盗まれた時に、盗まれた経路を検討するには非常に役に立つんじゃないでしょうか。隣のツリーでこんな研究からは資金を召し上げろとエキサイトしちゃってる人もいますけど。
イスラエルの大学が一時期よくやってましたよね。
Re: (スコア:0)
ランダムまでいかなくても、配置の異なるキーボードを複数使い分けるだけでも変わるのでは。
Re: (スコア:0)
Re: (スコア:0)
配置をランダムにするのではなく、
ランダムなタップ音を出すようにすればよさそう
Re: (スコア:0)
触っていないスマホからラップ音が
対策。 (スコア:0)
フリック入力。
Re: (スコア:0)
その辺りは同じ方向性で読み取れそうだよ。
タップ位置が分かってそこからフリック音の変化を学習しちゃえば良さそう。
現代のAIはノイズ音をまともに処理できません (スコア:0)
こういうのは理想環境で実験しており、実際の環境では使い物にならないでしょう。
電車の走行音・手を動かすときに洋服がずれる音・呼吸音・他の人の動作音など様々な音が干渉しますからね。
私は「耳コピ」と呼ばれる耳コピーした音を譜面に書き起こす採譜作業をやってますが、
一般のJ-POPのCD音源のようなノイズの少ない音からボーカルの声の採譜をするような簡単な作業ですら、AIにはまともにできないのです。
できると謳っている最新のAIシステムはありますが、どれも使い物にならないのです。
バックコーラスやハモリ、エフェクトなどが少しでもあったら滅茶苦茶に採譜されてしまいます。
最近はAIは～～、と成果ばっかり宣伝する行為が盛んにおこなれていますが、研究者の方も実は実用レベルにすることは不可能だと内心は知りつつも、
仕事として給料がもらえるので内心はそれで将来利益を生み出すことができないことはわかっていても「研究のための研究」をしている人が結構いるとAI技術者と話したことのある人から聞いたことがあります。
AI開発関係企業に投資する投資信託などの商品も盛んに宣伝されていますが、騙されないように注意した方が良いです。
Re:現代のAIはノイズ音をまともに処理できません (スコア:1)
>静かな環境の中で発話者にマイクの前に立ってもらいノイズのない音を取れば、日本の音声認識でも100%近い精度を出せるのだとか。
>問題はノイズのない状況をどう作るか。またマイクから離れた発話者の声をどう正確にひろうか。
>Amazonのfar-field音声認識技術は、そこをAIでクリアしたようだ。
>Amazonがクラウド上に持つ膨大なコンピューティングパワー、新たな機械学習のアルゴリズム、それを賢くするための大量のデータ。
>この３つが揃った状態だからこそ、マイクから離れた場所の音声でも正確に拾えるようになったのだという。
米AmazonのAI研究者が来日したので、Alexaの仕組みについて聞いてみた
https://aishinbun.com/talk/20180416/1337/ [aishinbun.com]
Re: (スコア:0)
これ例えば壁の後ろに柱があるかどうかで反響音が変わって非破壊検査が出来るってヤツのスマホ逆用版だぞ
建築業界じゃ既に当たり前に使ってる(てかホームセンターにも売ってる)
その技術がまさかスマホタップなみの音の小ささでも使えるとはったニュース
知り合いの知り合いが言ってたってのを鵜呑みにする人はもうちょっと騙されないようにした方が良い
Re: (スコア:0)
AIもどき投資詐欺で逮捕されないようにね
Re: (スコア:0)
知り合いの知り合いが言うには何て情報をエビデンスも取らずに信用することはないので大丈夫ですよw
Re:現代のAIはノイズ音をまともに処理できません (スコア:2)
なにしろその中にはテロリストだっているくらいやからなー。ｗ
Re: (スコア:0)
元コメのどこにも書いてない「知り合いの知り合い」にこだわって相手を攻撃し出して妄想する君が一番頭悪そう
Re: (スコア:0)
> AI技術者と話したことのある人から聞いたことがあります
元コメのACから見れば、「人」=知り合い、「AI技術者」=知り合いの知り合い。
Re: (スコア:0)
日本語読めてないから頭悪そうじゃなくて頭悪いね、君
「「AI技術者」(Aさん)と話したことのある人」(Bさん)から聞いた(コメ主)
Re: (スコア:0)
さすがに例えが雑すぎ。
学生の頃、稼働中の機械や構造物を超音波で非破壊検査する研究やってたけど信号とノイズとの分離がキモだった。
音声認識で使用され始めてたニューラルネットワークでアプローチしたけど散々だったな。
まぁ今とはPCのパワーもAI技術も比べ物にならんが。
Re: (スコア:0)
しかしだ。
実はごく簡単にノイズキャンセリングヘッドホンのキャンセル部で環境音を圧倒的に落とせたりも。
まあターゲットの音自体を理解してちゃんとフィルターを作ればそこそこイケる。
＃自分は６軸加速度センサーでピックアップ作って直接近くに設置したけど。
Re: (スコア:0)
高価なAIと高スペックPCを買うより安く使えるうちは人力ですよね
何時までもその仕事があればいいですけど
Re: (スコア:0)
音楽(周波数帯は実質全域)とタップ音(機種ごとに周波数帯はほぼ固定)で必要な技術レベルの区別もつかない耳コピ職人だと仕事なくなるのは早そうだな
Re: (スコア:0)
> している人が結構いるとAI技術者と話したことのある人から聞いたことがあります
伝聞が過ぎるやろ。確度0%。
ちょっと待った！ (スコア:0)
タップでできるなら、キーボードのほうがよほど簡単にわかっちゃうのでは。
# Enterキーなら俺でもわかる
Re: (スコア:0)
キーボードでは随分と前からよく知られている話。
https://www.itmedia.co.jp/news/articles/0509/14/news066.html [itmedia.co.jp]
https://wired.jp/2005/09/20/%E3%80%8C%E6%89%93%E9%8D%B5%E9%9F%B3%E3%81... [wired.jp]
https://gigazine.net/news/20181130-kbd-audio/ [gigazine.net]
スマートフォンでの先行事例も絶対にあると
Re: (スコア:0)
例えば，これかな．
Hearing your touch: A new acoustic side channel on smartphones
Ilia Shumailov, Laurent Simon, Jeff Yan, Ross Anderson
https://arxiv.org/abs/1903.11137 [arxiv.org]
この論文は内部マイクを利用しているけど，静大の研究は外部録音かな？
ちゃんと論文を読んでみないとわからないな．
Re: (スコア:0)
# それだけなので AC
疑問 (スコア:0)
皆さんスマホのタップ音や振動フィードバックは有効にしてます?
初期セッティング時に無効化するのはアレゲの中でも更に逸般的なのでしょうか?
音や振動は周りにとっても迷惑なものな気がするんですけれど
# リターンの際に爪が当たる音が鳴ってしまうことはたまにあるのだが
Re: (スコア:0)
スマホの性能が低かった頃はフィードバックがないと入力を受け付けたのか取りこぼしたのか瞬時に判断できなかった。
スマホの追従性が高くなり、大画面化で誤タップも減った近頃はフィードバックは必要ないのでオフにすることが多い。
Re: (スコア:0)
おやすみモードだっけ。その手の音や振動が全くしなくなる。
Re: (スコア:0)
その手の音や振動が全くしない「おやすみ」…？（間違った妄想）
以前からソーシャルハックの方法として知られてる (スコア:0)
高性能マイクで集音して音声解析して特定する、までは昔からある方法でAIに学習させるのが新しいね。
ただ、タップ音じゃなくて電子機器の動作ノイズを拾ってノイズのパターンを学習させて今どんな処理しているかを特定する方法が以前からある。
電子機器のノイズから処理を特定→処理のパターンから人間の入力内容を特定ていう過程で。研究レベルだけど。
盗む価値 (スコア:0)
スマホで打ってる文章なんて、盗む価値もないSNSへのポストばかりじゃないの？
トランプのtweetなら、送信前に読めたら金になるかもしれないが。
Re: (スコア:0)
この手の話題の大前提が何かが理解ってないだけです。
Re: (スコア:0)
ATMの打鍵音を学習させて置き忘れを装うと、キャッシュカードのパスナンバーを盗めるかもしれません。
店頭のクレジットカードパスナンバーだと、店員に悪意があれば簡単に盗めます。
スマホに限ったリスクじゃないんですよ。