pixiv、サーバー負荷軽減のため小説作品の「本文」対象検索を提供終了へ 62
ストーリー by nagazou
確かに小説全文はきつそう 部門より
確かに小説全文はきつそう 部門より
pixiv事務局は16日、創作系SNSであるpixivのサーバー負荷軽減のため、「本文」を対象とする検索サービスの提供を行うと発表した。リリースによれば、pixivに投稿された全ての小説作品における本文の総文字数は700億文字を超え、これが検索機能全体に大きな負荷をかけていたという。また検索結果に表示も時間がかかるなどの指摘が出ていた。根本的な解決の見込みがないことから、機能の提供終了という判断に至ったとしている（pixiv事務局）。
ビジネスチャンスだったのでは (スコア:1)
本文検索サービスを有料オプションとして提供しても、使う層は一定以上いるはず。
その増収を鑑みても、コストの増大をペイできないレベルだったんだろうか。
Re:ビジネスチャンスだったのでは (スコア:1)
(突然の有料オプション化による)反発防止と反応確認のため一時無効化から、
有料オプションとして復活とか
Re: (スコア:0)
ヒットしたワード1つにつき100円、自動引き落とし
Re: (スコア:0)
サードパーティーの「pixiv全文検索」がスタートしたりして
pixivプレミアム (スコア:0)
pixivプレミアム限定サービスにすればプレミアムにする人が増えたかもしれないのに…
Re: (スコア:0)
今からでも有料ユーザー向けで追加すればいいんじゃね
Re: (スコア:0)
その声を待ってるところ
おもしろいものを見つけにくくするため (スコア:1)
ユーザーがランキングやゴリ押しを無視して勝手に好きな作品を探すようになったらビジネスがやりにくくなる
Re: (スコア:0)
それって誘導する意味ある？
検索であれたくさん読まれている作品が良い作品なのでは？
Re: (スコア:0)
せやな
マックのハンバーガーとコカコーラは世界一良い食べ物だな
Re: (スコア:0)
世界一はラピュタパンやろ
Re: (スコア:0)
>マックのハンバーガー
今年はまだ月見バーガー食べてないわ
Re: (スコア:0)
マックの中で、素のハンバーガーは一番ではなさそう
Re: (スコア:0)
題名がまたぞろ長くなるだけですな
推しラインに乗ったらツーフレーズ愛称用意してもらえる感じで
あれ、約140GB? (スコア:0)
700億文字=2バイト換算ざっくり140GB、昔だったらともかく、2021年現在だと音を上げるの早くね?
#って思ってしまうのはインターネット老害志向だと自分でも思う。
Re: (スコア:0)
全部メモリに乗せることすら出来る容量だし、何に苦しんだのだろうか？
Re: (スコア:0)
独自の検索系サイトはBotアクセスが大量に来るので
スロットリングとかちゃんとやらないと結構面倒なのでは。
Bot向けにサーバ増設するのもあほらしいし。
Re: (スコア:0)
収益に寄与してないと判断されたかな。
大改修掛ければパフォーマンス上げられるのは分かってて、でもそこに掛けるコストに意味が見出せないとか。
Re: (スコア:0)
💓とか使うと4バイトだし、いっぱい使われてそう（偏見
Re: (スコア:0)
UTF-8なら1文字平均3バイト前後でしょう。
とは言えpixivのバックエンドならお茶の子さいさいでしょうに。
Re: (スコア:0)
世の中に先駆けてUTF-128 [ietf.org]で保存している可能性について。
Re: (スコア:0)
PIXIV司書さんが検索内容読んで、自分の記憶の中から小説を特定して、その小説をPIXIVで検索して、でてきた小説を読んでページを特定して、検索結果ページを作って、サーバに上げてたから時間がかかってたんだと思われる。
検索ワードのインデックス化はしたのかな (スコア:0)
こういうのは登場した検索ワードを使ってサーチ対象をインデックス化するものではないの？
毎回ベタgrepしてたんだとしたら相当なもんだ
Re:検索ワードのインデックス化はしたのかな (スコア:1)
ウェブ系で人気のMySQLとかならもう公式に全文検索に対応してると思うけどね。
一昔前は半角スペース区切りのワードに分けてインデックスされる仕様だったから日本語はダメだったけど(mroongaとかならいけた)
今はもうできるはず。
もうGoogleさんに任せた方が楽では。
Re: (スコア:0)
アカウントがないと表示できないからGoogleはインデックスしてくれない
Re: (スコア:0)
今時は、何も考えずに全部Elasticsearchに突っ込んでおけばOKです。
Re: (スコア:0)
昔なら Tokyo Cabinet とか使いますよね。今は商用DBなら相当のものがあり。
Re: (スコア:0)
最近はクラウドの全文検索のSaaSに突っ込んでおけばいい感じにやってくれそうですし、技術的な要因というよりは経営的な判断があったんじゃないですかね。
Googleのボットがクロールかけられるようにしておいて (スコア:0)
検索はGoogleに任せるというのではいかんのか？
二次創作はセンシティブ (スコア:2)
検索はGoogleに任せるというのではいかんのか？
男性向けはともかく、女性向け二次創作だと「公式から認識されたくない」タイプの創作があるそうなので
Googleにクロールされると困るという作家さんがいるんだとか
そういう書き手さんはGoogleが来たら作品消しちゃうという逃げ足の早さがあるんだとかなんとか
難しいですね
Re:二次創作はセンシティブ (スコア:1)
立命館大学の論文がBLを含むpixivのR-18小説を無許可で有害な情報のサンプルとして晒し上げてして炎上 - Togetter [togetter.com]
Re: (スコア:0)
サーバー負荷云々は表向きの言い訳で、本当に根本対処したかったのはこの問題じゃねえの? って思ってる
Re: (スコア:0)
晒し上げてナニをしたのか
Re: (スコア:0)
検索はGoogleに任せるというのではいかんのか？
というか
{query} site:pixiv.net
で検索窓に仕込んで
Powered by Googleって書いて
廃止でなくてリニューアルにすればいいだけなような。。。
Re:Googleのボットがクロールかけられるようにしておいて (スコア:1)
R-18小説はログインしないと冒頭説明部分しか見れないから無理でしょ
Googlebotを騙すとか方法はあるけどさ
Re: (スコア:0)
> Googlebotを騙す
騙してることがバレるとcloakingとしてGoogle八分を食らう
Re:Googleのボットがクロールかけられるようにしておいて (スコア:1)
Linkedinみたいに登録ページにリダイレクトさせるが、Googlebotには経歴を全部見えるようにしてるサイトが食らってないから、やりたい放題ですよ
Re: (スコア:0)
楽天だったかな、ヤフオクだったかな、Google検索に18禁コンテンツが引っ掛かるけど、そのリンクを踏むと
18禁はログインしないと見れませんみたいな表示が出てきたことがあったように思うんだけど、
あれってGoogleはどうやってログイン先のコンテンツをクロールしてるんだろう。
Re: (スコア:0)
ピクシブもそういう挙動だった気がする。
Re: (スコア:0)
歌詞サイトなんか、Googleが検索結果で全部見せちゃうからサイトに来てくれなくなってんだろうなって思うんだけど、
流石に小説全部を読めるようにはしないだろうが、いずれにせよ軸となるコンテンツをまるごと検索屋に複製されるのはサービスとして抵抗があるんじゃないだろうか。
もういい加減あきれられたのか・・・ (スコア:0)
本文冒頭の文がまるっきり逆なのに、誰の指摘もない・・・・（苦笑）
Re:もういい加減あきれられたのか・・・ (スコア:2)
ここに何を書いてもフィードバックされることはないというのが浸透したのかも。
Re: (スコア:0)
ここに何を書いてもフィードバックされることはないというのが浸透したのかも。
つまりサンドバックし放題？(違
Re:もういい加減あきれられたのか・・・ (スコア:1)
Re: (スコア:0)
読者の脳もnagazouされてしまいました
Re: (スコア:0)
収容は現状困難、Keterだな
（Apollyonまでは行かない、■■■■■・■■■■■■■とスラド民を■■すれば良いから）
hy1οmですよろしくおねがいします
Re: (スコア:0)
スラド民、ツッコミ負荷軽減のため記事の「本文」読み込みを終了へ
Namazuでいいじゃん (スコア:0)
と思ったが、もう10年以上も更新されていないのか。
腐海の風習の問題 (スコア:0)
どうやら、腐女子界隈の「検索避け [pixiv.net]」なる独自文化が、機械検索を真っ向から阻害する方向で定着していたのも廃止の一因のようです。
※pixiv文芸創作のかなりの割合がこの界隈
・キャラクターや作品名を記載せず、隠語や代替語に置き換える
・単語の分割や逆読み、アナグラムを多用する
・カテゴリなどのタグは必ず外す
・感想はコメントでは無くタグに記載する（！）
ぶっちゃけマトモにコストかけて改善するのが馬鹿らしくなったんじゃないかと。。
Re:簡体字小説問題 (スコア:2)
翻訳サイトとコラボしたりしてコーパス収集とかに使えそうだな
偏りすぎか?