経産省の「貴金属流通統計調査」における統計処理に誤りが見つかる、Excelの設定ミスが原因 86
ストーリー by hylom
どんなツールを使っても体制がダメだと間違いが出るのです 部門より
どんなツールを使っても体制がダメだと間違いが出るのです 部門より
厚生労働省の「毎月勤労統計」で不適切な取り扱いがあった問題では、統計処理を行うプログラムがCOBOLで実装されており、それが計算上のミスの原因であるような話も出ていたが、Excelで統計処理が行われていた経済産業省の「貴金属流通統計調査」でも、関数設定を間違えていたために不適切な値が公表されていたことが分かったという（経産省の発表、テレ朝ニュース、毎日新聞）。
経産省によると、発覚した問題点となっているのは次の3つ。
- 「年末在庫数量」について、12月の「月末在庫数量」を用いるべきところ、誤って1月～12月の各「月末在庫数量」の合計値を記載していたほか、一部で当該項目が空欄もしくは項目自体が欠落
- 「期初在庫数量」データが空欄
- その他、一部データや項目名の表記ミス
「Excelの関数設定を間違えた」ことが原因だという。
なお、厚労省や経産省だけでなく、ほかの政府機関による統計調査でもデータの数値に誤りがあるものが見つかっている。総務省の発表によると、基幹統計56のうち、22統計でなんらかの問題があったという（朝日新聞）。
Excelで似たような失敗した奴はこのツリーの下に書いて供養 (スコア:5, おもしろおかしい)
ある資材、従来は個別に発注していたのを、全社でとりまとめて交渉することになった。
最終的にはシステム化する予定だったが、まずはどれぐらい効果が見込めるかシステムを作る前にExcelで集計することに。
そこでどっかのアホが、マニアックな関数バリバリつかった美しいExcel集計表を作って、テスト値入れてもくろみ通り動いて、上手くできたできたって喜んで配布した。
配布したが、喜びすぎて仮値を消すのを忘れた。
結果、全社で仮知の分だけ割り増しされた値が入ってきた。
しかし元々どれぐらいの値になるかの感覚がなかったため、「こんなもんかなあ？」とチェックをすり抜け、結果、本来より４倍近い量が発注されることに。
全社でxx億円の損害が出かけた。
もう少しクビになりかけた。
当時の上司が掛け合って、別の生産でも使うように変更してくれたおかげで、なんとか期限内に消費しきった。
そうでかったら間違いなくクビになってた。
その後、Excelで失敗すると影響の大きいシートを作る場合には、面倒でも仕様書を作って、その仕様書を元に別の人がチェックすると言う体制ができましたとさ。
別の人がチェックするから、無駄に複雑なワンライナー的な関数を作るのでは無く、計算シートを作って計算途中の値を拾えるようにするとか、コーディング規則めいたものまでできました。
おかげで俺の様なアホはその後出ずにすんでます。
Re: (スコア:0)
営業車を運転するとエクセルで作った日報に走行距離をを入力して報告するんだが、
メーター数字を読み取って入力するんだよ。 エクセルシートの計算式は前日の
メータ読み取り数字から減算するんだが、入力する営業マンが桁足りないとか入力
してしまうと月末になって事務方が困ると。 メータ読み取り数字を入力した時点
で距離を表示させてればエラー表示もできるんだが、んなこたー日報エクセルだか
らやってるわけなくてね。 もアホですかバカですかと。 数字追っかける営業部門が
やるこってすかそれって。
つか、事ここに及んでは、個々の間違いより…… (スコア:4, すばらしい洞察)
間違いの原因の更に1〜2段階上の原因を調べるべきじゃなかろ〜か
Re:つか、事ここに及んでは、個々の間違いより…… (スコア:5, 参考になる)
経済動向を示すガチ統計は専門部署が設けられて大勢がかかわってるけど、特定業界の細々とした統計なんてこんなものだよ
本省が設けたExcelシートに各地方局の担当者がデータを入力すればダブルチェックしてるのは数段上等な統計で、本省担当者が１人でやってたりするものは本人の注意力に頼るしかない
建前上は上司が入力を確認することになってるけど、そんな暇な職員はいないし、、(統計の集計は月末、年末、年度末の一番忙しい時期なので)
私がかかわってた集計は各地方局担当者が入力するやり方で、入力セル以外はロック、検算欄も設けていたから割とまともだった
でも、他局のデータが明らかにおかしい、、統計の趣旨に合ってないデータが追加されてたので総合計もおかしなことになっていた。
#常に情報交換しているので、実績作りのためにあのデータも混ぜたな！というのがバレバレ (笑)
#本省担当者も過去データとの辻褄が合わなくなるので黙認してた
そんな訳で表面上きちんとした数字を入れてたのは私だけだった。
でも、、大手でさえ統計データが締め切りに間に合わなかったり提出データが時々間違ってたりしたし、中小零細事業者に至ってはそもそも提出してこなかったりと、提出側にも問題多かった。(電話とFAXとメールと立入り検査までして提出を促しましたよ、、、税金使ってね)
人間がやる以上、必ず間違いは起こるし、間違いに気づくのが半年一年後というのはわりと普通なんです
なので、統計がおかしい原因、一段上の原因としては、そもそも企業の提出データがおかしい
そして、根本的な問題として、その統計本当に必要？？と当時思いました。(今でも不要と思ってる)
でも、今までやってた統計を止めるのは関係者(業界や与野党議員)に説明するのが凄く大変なことはよくわかりました。
都合が悪くなったから止めるのではないか？ 何か隠そうとしているのではないか？ そう考える陰謀論者多いんですよ
Re:つか、事ここに及んでは、個々の間違いより…… (スコア:2, 参考になる)
企業側からおかしな提出データが来たり、提出されなかったりする理由も考えてみてほしい。
その忙しい時期に、地方ごと、省庁ごとに異なるフォーマットでデータ提出しろって言ってくるんだよ？
ここでも時々話題になる、変なExcelの帳票で。しかも担当が変わればフォーマットも変わったりする。
まともなフォーマットで、全省庁一括して依頼して来いっての。
大企業は苦笑しながらも、お役所の仕事だから付き合ってるのだろう。
本音は素人担当者が作った糞フォーマットで送って来るなと思いながら。
Re:つか、事ここに及んでは、個々の間違いより…… (スコア:2, 興味深い)
企業としてはね、普段のお仕事に加えて統計調査なんてもんがやってくるわけですよ。
で、統計調査の記入方式は、会社が普段集計しているものと違うわけで、改めてデータを手直ししてから書き込んだり入力したりするわけですよ。それが一年間続いたりするわけですね。
そりゃ面倒だからって、目見当で適当な数字を書いて提出しちゃうやつだっているでしょうよ。
// 無作為抽出で県内二箇所の事務所が二年続けて調査対象になりました。ちょっと不幸。
Re: (スコア:0)
適当にヌルイ仕事やって税金から給料もらって
批判されたら陰謀論者扱いですか
呆れたものですね
Re:つか、事ここに及んでは、個々の間違いより…… (スコア:1)
なるほど、こうなる訳か
Re: (スコア:0)
そりゃまあ
都合の悪い文書がピンポイントで誤って破棄されたりするのがたびたび起こればね
またかと疑われてもしょうがない
Re: (スコア:0)
こりゃどんどん別に都合は悪くないけど無駄なヤツが貯まっていくわけですな。
Re: (スコア:0)
役人の仕事を減らせという声が上がると逆に仕事が増えて「あいつら自分で仕事ばかり作り出してよほど暇なんだな、人減らせよ」という意味不明なループができ上がる
Re: (スコア:0)
そういう声をあげることで得する（と思われる）ところがある限りはそうなる
ﾋﾟｺｰﾝ!もしかしてこいつ転職したらその分税金軽くなるのでは…？（←ならない）
さぁげんなりしたろ？そろそろ転職先を考える頃合いではないかな？
Re: (スコア:0)
都合が悪くなったから止めるのではないか？ 何か隠そうとしているのではないか？ そう考える陰謀論者多いんですよ
所謂、ハンロンの剃刀な事案ですな。
# まあ意図的な間違いも１つや２つはあるのかもだが
Re:つか、事ここに及んでは、個々の間違いより…… (スコア:1)
別ツリーにもあるけど、根本的には予算・人員不足でしょ。
リソースが足らなきゃ何をどう対策してもどこかしらで問題が出るもんだ。
もともと日本は人口比率での公務員が極端に少ないからな。
Re: (スコア:0)
公務員が少ないって騙されてるぞ。
それだけ外部委託で投げてるってことなんだし、公務員が手を汚さず無責任でいられるから楽。
Re: (スコア:0)
人件費に予算が出ないから外部委託になるんじゃない？
Re: (スコア:0)
国家公務員は平成になってかなり減ったというか１人当たりの業務量が凄く増えた
処理ができないからそれまで国がやってた調査や検査を県にやらせるよう法律を変えた
天から降ってきた仕事で県職員が疲労困ぱい過労死しそうになったので、県は条例作って市町村に仕事をぶん投げた
エクセルのシートを使い回すと起きること (スコア:3, すばらしい洞察)
1.よくわからないけど値を入れると結果が出てくるので検証せずそのまま放置
2.原本からコピーせずに、過去のシートを流用する。しかもそのシートは原本と若干異なる。
3.原本に間違いが発覚するとこれまでの全てのシートを再検証する羽目になる。
4.しかも2のせいで複数の版が存在する事が発覚し、訳が分からなくなる。あと黙って直されてる場合もある。(教えてくれよ...)
計算シートを使い回す運用をしてたせいで会社で問題になったことがる。
1,3はプログラムでもおんなじことが起きるどね。
Excelは怖いし面倒 (スコア:5, 参考になる)
ちょうど今、仕事で来年度の元帳データを作っているところ。
古の方々の努力のおかげでExcelシートにデータを転記すれば結果が出るようになってるんだけど、こういうワークシートって怖いし面倒すぎる。
例えば同じ計算を行うセルに関数が埋まっているんだけど、これが全て正しいかなんて疑念を持ったが最後、セルの内容を一つ一つ確かめる必要がある。
で、怖いのはここから。
間違ってセルの内容を書き換えてもわからない。なので、何か作業を行うたびにセルの内容を確認する必要がある。全く消してしまうのならわかりやすいんだけど、中途半端に書き換わっているのが怖い。
時々、自動計算が切れてる時がある。参照先がずれてるときがある。などなど。
ワークシートの保護とか使えば、少しは楽になるんだろうけど、本質的な解決策では無いと思う。表計算の良さって、こういう自由にワークシートを編集できることなんだし。
自分で集計作業を１から行うときは、Accessでデータベースを設計してクエリやVBAを使って行うので、表計算のこういう動作は本当に面倒くさくてイヤだ。
クエリなら、正常に終われば全てのレコードに同じ処理が行われることが確実だし、VBAは動作をステップ毎にトレースできるし検証が楽なんだよね(VBAはExcelでも利用できるけど)。
VBAみたいなプログラムの場合、コメントを残せるから検証する際、ワークシート関数で手の込んだ物を作られてるのより、格段に楽だと思う。
Re:Excelは怖いし面倒 (スコア:2, 参考になる)
使っている全セルのフォーミュラをアドレスとともに、
テキストに書き出せば、後はWinMergeで比較可能！
Re:Excelは怖いし面倒 (スコア:2)
＞舐めるようにチェックするよう
表計算ソフトって、これがネックだと思うんですよ。
確かに正しくデータと計算式が入っていれば計算は自動化できるけど、そこまで準備するのがすごく手間だし、自由に編集できる裏返しにデータ管理(セルの内容)が脆弱過ぎ。
やっぱり定型業務はデータベースを元に、プログラムを作った方がいいよね。
手続き型言語なら、ソースコードを追っていけば、計算手順を確かめられるし、費用計算ソフトのワークシート関数を組み合わせたやつよりは、ずっと可読性も高いし、コメントもつけられるし、メンテナンスも楽なんだけど、「表計算は簡単、プログラムは難しい」という偏見でプログラムに取り組むやつが少ない。
私個人としては。表計算なんて、せいぜい使い捨ての試算を行うためのアプリだと思うんだよね。データをぱぱっと入力して、気軽に点検して計算できるのが表計算の良さ。
かっちりした集計を行うならデータベースが必要だと思ってる。
で、データベースそのものの他、簡単にフォームや帳票が設計できて、価格が安く、情報が多い物って現状MS Accessしかないよね。
GDPは？ (スコア:2, 興味深い)
去年の11月に日銀がGDP算出を検算したいと申し出たけど拒否されたって記事が出ましたが
https://www.nikkei.com/article/DGXMZO37675170S8A111C1EA1000/ [nikkei.com]
> GDPは様々な統計を合成して作る「2次統計」で、元データの合成方法は非常に複雑だ。
>
> 日銀はこうした統計への不信を募らせ、原データなどを確認して自ら合成を試みたいと訴えている。だが、内閣府は「業務負担が大きい」などと反論。要請に応じて一部データを提供したものの決着は付いていない。
原データも計算式も、ちゃんと管理してればすぐに出てきてしかるべきのような気がするけど、業務負担が大きいってのは管理がテキトーってことなんですかね。
勤労統計みたいに元となる統計がお寒い現状ということは、2次統計であるGDPにもたいして信頼性がないって感じですなんでしょうか。
おまけに以下のような事情もあるそうで、これは辛い。
> だがこうした議論がむなしく感じるのが、今の日本の統計作成現場の実態だ。総務省によると、日本の統計職員は今年4月時点で1940人。前年比で2%増えたものの09年比では半減した。
(中略)
> 各国に比べ日本の統計人員は少ない。政府の統計改革推進会議が昨年まとめた統計機関の職員数は米国が1万4000人超に上る。人口が日本の半分程度のフランスも2500人超、カナダは約5000人だ。
Re: (スコア:0)
データもシステムもバラバラなんじゃない？それぞれの箇所では管理されてても。
そもそもシステム化されてない可能性もあったりするのかな？
Re: (スコア:0)
> データもシステムもバラバラなんじゃない？それぞれの箇所では管理されてても。
でもGDPを計算する部署にはすべてが集まってきてないといけないし（でないと計算できない）、
国政の基礎データなんだから、集まってきたデータもちゃんとバックアップされてないといけないのでは？
ぜんぶ担当者個人が集めてきて終わったらバックアップもせずに消してしまうという超グダグダな運用体制ってのならありうるが、国政の基幹データがそんな調子で大丈夫か？
Re: (スコア:0)
原データが三分の一しか存在していないから見せられなかったんじゃ
Re: (スコア:0)
日銀が検算してうまいこと2%成長の数字を出したかったのですね。
Re: (スコア:0)
原データって「ネ申エクセル」なんじゃないの?
でなきゃ、「業務負担が大きい」なんて言わないでしょ。
えーあーつまり (スコア:2)
『調査自体、割とどうでも良いものだった』とするのが良いのだろうか。
知ってた (スコア:2, すばらしい洞察)
> 基幹統計56のうち、22統計で
これがすぐに出てくるところを見ると、誤りはかなり初期から把握していて、
まとめられていたのでしょう。
さすが、こういう仕事は早い。
原因と対策 (スコア:1)
まさか、
【原因】Excelの関数設定を間違えました。
【対策】正しい関数設定に修正しました。
【再発防止】正しい関数を設定するよう周知して、間違った関数を使わないよう努める。
じゃないよねぇー。
ってか、その３つの間違いの全ての原因がExcel関数の設定間違いなの？
逆にどういう関数を使ったのか知りたい。
Re:原因と対策 (スコア:2)
対策は、Excelを使うのは難しい試験をパスしないととれない国家資格保持者の独占業務にして、無資格でExcelを使ったら処罰する法律を制定でしょ。
Re: (スコア:0)
Excelの試験を突破した人だけが仕事出来る、ってのは現実味が無いから、Oracle Silver以上の人が作ったシステムを使う事。
……なんて事になったら、システム屋はウハウハだけど国の予算が増えて、さらに借金が増える訳ですね。
ネタで書いてます。もちろん。
Re: (スコア:0)
せっかく国家資格のデータベーススペシャリストがあるんだから、そっちを条件にしたほうが良くないでしょうか？
Re:原因と対策 (スコア:2, おもしろおかしい)
>「年末在庫数量」について、12月の「月末在庫数量」を用いるべきところ、誤って1月～12月の各「月末在庫数量」の合計値を記載していたほか、一部で当該項目が空欄もしくは項目自体が欠落
ほぼほぼ年末在庫数量が12倍になってた予感、どうもヘンだから項目自体を削除しちゃって予感
>「期初在庫数量」データが空欄
期末在庫数量が年度末在庫数量と比べて1/12くらいでどうも違和感だらけでへんだから項目自体空欄にしちゃってた予感
>その他、一部データや項目名の表記ミス
上司から訂正しろって言われてやむなく云々カンヌン
Re: (スコア:0)
おもおかなのかすばどうなのか迷う
Re:原因と対策 (スコア:1)
まあ、仕方ない (スコア:1)
注意してもミスは起きるしね
悪意のもとに行った厚生労働省と一緒にしちゃ失礼ってもんだ
社会主義な日本国の面目躍如というか面目ヤク中 (スコア:1)
Re:社会主義な日本国の面目躍如というか面目ヤク中 (スコア:1)
そいうや、ソ連が崩壊したとき実際のＧＤＰが統計発表の半分という話があったな。
正確な値と間違った値の違いの大きさやその結果の影響の程度。
間違いを見つけたあとの発表や修正対応の有無。
そういったことを無視して論評されても説得力を感じないよ。
だからあれだけ言ってるのに (スコア:0)
Excel入力後に、電卓叩いて検算しろと言い続けてるのに守らないから・・・
Re: (スコア:0)
え？ソロバンじゃないの？
＃電卓は信用できん
Re:だからあれだけ言ってるのに (スコア:1)
計算手順を確認するため筆算でしょ。とーぜん。
ノートは永年保存な。
//で、計算手という職種復活・・。
COBOLからPythonに変えたら？（ｗ） (スコア:0)
COBOLからPythonに変えたら？（ｗ）
毎月定型の集計作業するのにずっとExcelなの？ (スコア:0)
そりゃCOBOLよりはやっていることは判り易いんだろうけど、定型業務をせっせと手作業で行うことに疑問をもたないんだなぁ。
定型作業なのにExcel集計している業務量で、人員削減の余地って推し量れそうだな。
Re: (スコア:0)
流石に大規模な集計はExcelでやるより、曲がりなりにもプログラム言語なCOBOLでやったほうがまし。
Excelが得意な奴が作ったものをExcelが得意な奴がメンテ運用をするより、COBOLが得意な奴が作ったものをCOBOL素人がメンテ運用するほうが圧倒的に良い。
まともなプログラマなら扱ったことのない言語の一つや二つを覚えるのは、大した問題じゃないしな。
今からCOBOLで開発するメリットなどどこにもないけれども、タダの古臭いプログラム言語なだけで、常識的なプログラマが取り扱いに困るようなものではない。
Re:毎月定型の集計作業するのにずっとExcelなの？ (スコア:1)
プログラム言語であればいいならExcel VBAのほうが断然マシだと思うが。
Excel VBAではダメな用途もあるよね。精度を指定したい場合とか。
検証・テストの重要性 (スコア:0)
検証・テストの重要性って理解出来ない人はほんと理解出来ないんですよね。
時間が無い、人手が無いから仕方ないって。
いや、検証してないものなんて出来た内に入らないのよマジで。
公務員試験にPythonいれろ！ (スコア:0)
表計算ソフトは確かに便利だけど当然限界もある
とくに統計やるならもうPython必須だろ
時間はかかるがこういうところから変えていかないと
Re:公務員試験にPythonいれろ！ (スコア:1)
ExcelだとRじゃねえの？
設定ミスとは誤って設定してしまうこと (スコア:0)
最近の「ミス」ってどれも優良誤認させるものばかりなんだけど、確率論的にすごいことだよね。
何らかの意図が混入した作業ミスは「改竄」とか「偽造」という。