世界的な絵文字の普及によってUTF-8の普及やUTF-16における4バイト文字の扱いが改善される？

世界的な絵文字の普及によって、UTF-8の普及やUTF-16における4バイト文字の扱いが改善されつつあるという（絵文字がある種のUnicodeバグを世界から一掃しつつある件について）。

そもそも使用する文字が少ない欧米圏では、いわゆる「マルチバイト文字」の扱いに消極的、もしくは理解が足りないという歴史的な問題が存在した。そのためさまざまな文字エンコーディングが開発され、その後世界中のすべての文字を統一したエンコーディングで扱おうとする動きが出たものの、その結果欠点の多いUTF-16というエンコーディングを採用するプログラムや環境が登場したという。UTF-16では1文字を2バイトもしくは4バイトで表現するが、使用頻度の高い文字の多くは2バイトで表現されるため、「1文字＝2バイト」を前提に処理を行ってしまうプログラムがあるという。

いっぽう、絵文字は基本的に1文字に4バイトが必要となる。そのため、「1文字＝2バイト」を前提としたプログラムでは上手く処理できない。そのため、絵文字の普及によって適切に4バイトの文字を扱えないプログラムが改修されたり、 元々可変長が前提のUTF-8がより普及するのではないかとされている。

うんこ絵文字に

[Anonymous Coward]

感謝ですね。うーんこの

Re:うんこ絵文字に

[hakikuma (47737)]

ウンコーディングが必要になりますね。

Re:

[Anonymous Coward]

うんこ絵文字だけで記述可能なプログラム言語ができるに1000TOTO
whitespace [wikipedia.org]ぐらいには話題になりそう

Re:

[Anonymous Coward]

Uncode

って、既に使われていたのか…クソ！

Re:

[Anonymous Coward]

今後カラーうんこやアニメーションうんこが増えるたびに俺たちの苦労が減る
はず

Re:うんこ絵文字に

[Anonymous Coward]

その分「政治的に正しいうんこの肌の色」とかが仕様に追加され苦労が増えます

Re:

[Anonymous Coward]

あのマキマキを発明した鳥山明先生にイグノーベル賞を

Re:

[Anonymous Coward]

とりいかずよし先生は？

文化的勝利を達成しました

[ikotom (20155)]

英語圏プログラミング界隈においてデファクトコードの座を占め続けるASCIIを
日本が育てた絵文字という文化的な価値を持って引きずり下ろし
UTF-8で統一できたとしたら、これはある種の快挙ですよね。

実際、非英語圏に属する人間がどれだけ助かるか訴えたところで
英語圏の人達にすれば慣れ親しんだものを捨てて
わざわざ面倒くさいものを選ぶわけもなく。

人を動かすには適切なインセンティブが必要ってことは当然ですが
そのインセンティブに絵文字がなれるなら嬉しいばかりです。

# タイトル元ネタは Civilization です

Re:パロディにツッコミも何だが

[Anonymous Coward]

英語圏プログラミング界隈においてデファクトコードの座を占め続けるASCIIを
日本が育てた絵文字という文化的な価値を持って引きずり下ろし
UTF-8で統一できたとしたら、これはある種の快挙ですよね。

ASCIIが一文字1バイト、Kanjiが一文字3バイトというハンディは変らないのに、どこが快挙なものか。

Re:

[Anonymous Coward]

漢字圏は個々の文字により多くのビットが必要な分、文章としては少ない字数で同じ概念を表すことができるので、トータルでの優劣はありません
Twitterの文字数制限のようなもの

Re:

[Anonymous Coward]

漢字は古代のエントロピー符号と見ることができないだろうか？？

Re:

[Anonymous Coward]

＞ASCIIが一文字1バイト、Kanjiが一文字3バイトというハンディは変らないのに、どこが快挙なものか。

その文句は調子こいて２バイトでも収録しきれない数の漢字を作ったいにしえの漢民族と、その尻馬に乗っかって国字までこしらえちゃった我々のご先祖様達に言って下さい。

wcslenの戻り値

[suezo (2881)]

wcslenの戻り値がlinuxとwindowsで結果が異なるのを何とかしてくれないことには、
どうにもならないと想う

Re:wcslenの戻り値

[feenal (37359)]

すみません、wcslenの戻り値にwindowsとlinuxで差異があるというのが初耳で驚いています。 不勉強なもので、調べてみても見つからず… 具体的にどんな引数入れたら違いがでるのでしょうか？

Re:

[Anonymous Coward]

こんなの [wandbox.org]。

#include <locale.h>
#include <wchar.h>
#include <stdio.h>

int main()
{
    setlocale(LC_CTYPE, "");
    printf("sizeof(wchar_t) = %zu\n", sizeof(wchar_t));
    printf("\u3042 = %zu\n", wcslen(L"\u3042"));
    printf("\U0001F197 = %zu\n", wcslen(L"\U0001F197"));
    return 0;
}

Linuxではどちらも1ですが、Windowsでは1と2になります。
"sizeof(wchar_t) = 4"なLinuxと、"sizeof(wchar_t

Re:wcslenの戻り値

[feenal (37359)]

お、ありがとうございます。
wcslenはサロゲートペアも考慮した文字の数をちゃんと数えてくれるものだと思い込んでいたのですが、実際はwchar_t要素を数えてるだけだったんですね。。勉強になりました。

と、すると、下のコメントにある「UTF-8使えってことだよ」はちょっと的外れですよね
・Windowsも早いとこsizeof(wchar_t)==4にしてくれ > MS もしくは
・サロゲートペアも考慮した文字数数える標準関数用意してくれ >標準化
かな。

Re:

[Anonymous Coward]

Linux (というか gcc) でも、wchar_t は2バイトになる環境もある。
wchar_t は実装依存であるうえに wcslen は wchar_t の数を数えるだけで文字数は数えない。
なので「UTF-8」使えってのは、wchar_t 使っておいて、そんな事言い出すなよっていうもっと根源的な話。

Re:

[Anonymous Coward]

UTF-8使えってことだよ

ここはemoji👌？

[Anonymous Coward]

emoji test 👌

Re:

[Anonymous Coward]

OKサインは「」
IMEによって出すにはどうすんだろう
コード番号指定?
一覧からマウスで選択?

Re:ここはemoji👌？

[Anonymous Coward]

昨今の日本語IMEなら変換で普通に出てくると思う。
GoogleIMEなら「OK」で「🙆👌🆗」の3候補。
「おーけー」で「👌👍🆗」の3候補。微妙に違うのな。

MS-IMEなら「おーけー」で「👌🆗」の2候補。

アルファベット圏なら、絵文字入力用のソフトとかあるしそういうの使ってるんじゃ？

Re:ここはemoji👌？

[hippopotamus (34561)]

ATOKで「おーけー」は「⭕🆗👌👍🙆」の5候補でした。ちなみに最新版です。

Re:

[Anonymous Coward]

ぶっちゃけほとんどサーバサイドでやることはなくてウェブブラウザ側の対応の方が重要な気もするが。

Re:

[Anonymous Coward]

ところがサーバーサイドでやらなくていいことをやって文字ぶち壊す人が居たりするので世の中は広い

Re:

[Anonymous Coward]

だって昔はEUC-JPやらJISやらShift-JISやらあって、Shift-JISもCP932とMacRomanと微妙に違ったりして、いろいろとひどかったし・・・。

Re:

[Anonymous Coward]

シフトJISですか？今でも現役ですよ。

Font

[Anonymous Coward]

Fontもまともなものがそろうといいなあ。
Windowsのフォントエンジンやフォントヴューアの不具合で使えないフォントが結構ある。
フォントのフォーマットのバージョンが違うだけかもしれんがな。
IVSとUnicode 10.0にフル対応したVariable FontでSans Serif/Serif/Monospaseの3種類をそろえられるのは、大夫先だろう。
ましてや、フリーかWindows標準添付となるとなおさら・・・

Re:

[Anonymous Coward]

CKJ以外なら山ほどあるのにな

Re:

[Anonymous Coward]

とりあえず、IPAmj明朝とNotoシリーズでお茶を濁しておいたら？

Re:

[Anonymous Coward]

＞フォントヴューア
＞バージョン

なんだこれw
気にならないのか

Re:

[Anonymous Coward]

Variable Fontだと、Windows 10 ver.1709でもOpenType-CFF2なvariable fontには一部しか対応してないぞ。
svg形式のデータを含むフォントについても、Windows 10 ver.1709でも駄目だね。
おかげで、Windowsだと、カラー絵文字系のフォントはWindows添付品しか使えない。

Re:

[Anonymous Coward]

＞フォントヴューア
MSの表記だと、「Windowsフォント ビューアー」が正しい表記だね。

Re:

[Anonymous Coward]

ディスクトップとか言いそうなタイプだと思う

Re:

[Anonymous Coward]

Font Viewerだから「ヴューア」というのはむしろMS正規表記より原語に近い表記だろ。
「バージョン」はもう一般名詞化しているからそっちに引きずられるのは仕方ない。
原語をまったく考えていない「ディスクトップ」とは明らかに間違いのレベルが違う。

Re:Font

[nnnhhh (47970)]

お説に文句言うわけではないですが、Vがヴてのはどっから来たんですかね
定まったローマ字表に乗ってましたっけ

ローマ字と言うより発音記号とカナの対応表があればいいのか…

Re:Font

[Makky (6730)]

福沢諭吉が言い出しっぺじゃなかたかな？
どちらにしても、明治時代初期には有った表記法だよん。

Re:Font

[shibuya (17159)]

ローマ字の文字種は英語アルファベット26文字のサブセット。
その使用目的は日本語のアイウエオ五十音(あるいはいろ四十七字)の換字。
使いどころのない文字については何も決めていないでしょうに。
l,q,vおよびx (なんとか式ローマ字次第でもっと増える)はいわば要らない子。

一方日本では。。。

[Anonymous Coward]

4バイト文字を組み合わせて絵文字を作った

Re:一方日本では。。。

[Anonymous Coward]

走召糸色木亥火暴