流行りに触れたら、そこは沼だった

ここ1か月は、今の今まで触れたことが無かったPythonと機械学習(Deep Learning)について、時間の許す限り色々触ってみた結果、今流行っているAIって、実は・・・という感覚に落ち着いたことについて触れます。

当社は今後BtoB市場で戦うべく、新しいプロダクトの開発のため寝る間を惜しんで開発しています。目玉はAI-OCRであり、そこにはAIが欠かせない技術となっています。

当方がプログラマとして社会で働きだしてから25年以上経過していますが、これまで一度もPythonとDeep Learningに触れたことがありませんでした。それは、流行りものは触れたくないという根拠のない気性からでしたが、今回は必要に迫られて初めて経験しました。

Pythonは今一番ホットなプログラミング言語と言っても過言ではないでしょう。インタプリタ言語であり、ライブラリはC言語で書かれているので、一見速そうに感じますが、体感は無茶苦茶遅い。Ubuntu環境で利用するシーンを想定してのことか、Windows環境では顕著に動作速度の遅さを感じます。

なんでこんなに流行っているかといえば、デバッグ実行のし易さとライブラリの豊富さだろう。構文エラーや実行エラーになったときは、必ずコールスタック(実行停止するまでの呼び出された関数が表示される)が表示されてどこで止まったのかがすぐに判るので、直してまた実行という反復がし易い点である。

あとは、C,C++に比べて痒いところに手が届く感じがする。感じがするのはプログラムコードの行数を少なく書けるという意味であり、やっていることはC,C++と何ら変わらない。

Deep Learningのフレームワークはいくつか存在しますが、PyTorchを使って試していました。PyTorchは旧FaceBook社が開発したフレームワークで、ここ4~5年でかなりの利用者数を増やしてきたと思われ、実際ネットで漁っていたサンプルコードは、PyTorchしかありませんでした。

他のフレームワークを試していないので予想でしかありませんが、PyTorchは後発な点と使い易さ・分りやすさが受けているように思います。

機械学習・Deep Learningには、GPUを使うことで高速化できます。NVIDIAのグラフィックボード専用のプログラミング言語であるCudaを使うことで、GPUに搭載されたCuda Coreを並列化処理させることが最大の魅力となっており、一番ホットな開発手法です。Cuda CoreはNVIDIAのグラフィックカードが高価であればあるほど多く搭載されており、多いほどに使用する電力が馬鹿にならないぐらい消費します。

最近そこまで騒がれていないChat-GPTですが、その生みの親であるOpenAIは、Chat-GPI4の学習コストはデータセンター1個分に相当するらしく、既に大規模言語モデルの成長は終わったというようなことを言っていました。機械学習させるコストが膨大過ぎて、これ以上の学習は利益が出せないからといった感じだったと記憶しています。
https://www.gizmodo.jp/2023/04/chatgpt-ai-openai-carbon-emissions-stanford-report.html

で、今回実際にDeep LearningをPCにやらせてみたわけですが、Cuda Core数が多くなければ学習時間はモノによっては1週間あっても足りず、Cure Core数が3倍あるグラフィックカードを使うと1日で終わったので、お金を出せば出すほど優位になります。機械学習自体が予測した通りに動くかはやってみないと分からない点があり、試行回数は重要な要素になります。試行回数を増やすとそれだけ機械学習を回さないといけないので、速く学習できることに越したことはありません。

結局、お金がある企業や研究室が一番優位に立てるモデルになっていると感じました。

機械学習において肝になるのが、データセットです。これはコンピュータにDeep Learningさせるための元となるデータなんですが、これを集める(作る)のが一番大変な作業です。

Deep Learningのアルゴリズムは研究論文が一般公開されており、データセットも公開されているのですが、ことOCRに限っては、英字(アルファベット)しかありません。英字は大文字小文字合わせても50~60通りしかないもので検証されたものしかないため、日本語に対応するためには、新たに機械学習をさせるしかありません。

ここで厄介になるのが、日本語の場合は5万件以上の文字の種類があるのを個人で学習させる煩雑な作業が必要な訳ですが、ここが一番の肝な部分なため、如何に機械学習させていくかが製品品質の向上の鍵となります。

と、ここまで手が掛かるAIなのですが、つい最近までAIの規制についての話題がちらほらありました。
https://nordot.app/1045220482553791140?c=113147194022725109

AIに触れた今、直観人間として思うことは、

「AIが人間を超えることは絶対に無い」

と思いました。

人間が機械を調教しているに過ぎませんから。

未だにOCRで認識率95%以上のアルゴリズムを見たことがありません。英語ならあるかもしれませんが、5万件以上ある日本語の精度を100%にすることは不可能だと思います。

ここまでの実情が分かった1か月でしたが、だからこそ優位に立てるやり方を模索しています。

私がやろうとしていることは、如何に手間を省くかという点です。次回からは、手法そのものはブラックボックスにしますが、精度を向上させた結果について順次記載していきます。

ディズニーレストラン自動予約をリリースします

コロナ禍の2019年のいつかは忘れましたが、ショーレストランが営業休止状態になっていました。

先月からディズニーショーレストランが再開しているので、これを機にBOTの販売を再開します。

ディズニーレストラン予約サイトは、一見変わってないようにみえますが、ログイン周りと棒人間の登場により、自動予約で動かす部分を縮小しました。

今までは購入手続きの完了まで動かすことができましたが、色々な条件で動作確認を行ったところ、棒人間システムに関連しているからだと思うのですが、予約画面を表示後30分後に動作開始するよう設定した状況だと、なぜか「ユーザ情報確認・お支払方法選択」画面から「確認」画面への遷移ができなくなります。
予約画面を表示後、すぐに開始ボタンを押したときは問題ないため、恐らく棒人間システムによるBOT対策だと考えています。

「ユーザ情報確認・お支払方法選択」画面に来ていると、すでに座席は10分程度確保されている状態のため、ここで自動動作は停止して、以降の画面遷移は手動で行うように変更しました。

9時10時の混雑時は、ログイン時のコード認証が出ると思ってください。既に座席は確保されているので落ち着いて入力すればよいですが、それが手間と思う場合は、動作開始前にログインボタンにてログインを済ませておくと、予約手続き中にログイン画面が出ません。

ショーレストランのS席については、ほぼ確実に取れると思います。当方の通信環境において、大人2人の状態で空席がどのくらい残っているのか確認したところ、9:00:40ぐらいまではありました。

上の動画を見てもらうと、1回目は取りこぼしていますが、2回目で座席確保に成功しています。この時点で9:00:10でした。

ショーレストランは9時からの販売ですが、通常のレストランは10時になります。その中で人気なのがシェフミッキーです。

このレストランは、ディズニーランドの提携ホテルに宿泊すると、その特典としてWEBサイト予約よりも早く予約できるため、WEBサイト販売当日に空きがあるか分かりません。
当方が試したところ、
09:59:59.902(11144)[781542 msec]request
10:00:16.966(11144)[798606 msec]Finished: NO_Error(200)
予約リクエストから17秒後にやっと応答があるぐらい混雑している状況がうかがえます。このときは既に空きがありませんでした。もう少し早くアクセスしても良いのか分かりませんが、空売りという可能性もあります。

2023/08/14 追記

棒人間システムの対策をしたところ、開始時間を30分後のタイマー設定にした自動予約処理において、「ユーザ情報確認・お支払方法選択」画面から「確認」画面への遷移が正常動作したので、購入完了まで動くことを確認しました。

OCR(光学文字認識)の開発に着手しました

先日、補助金申請のアドバイスを受けるため、商工会議所の紹介で中小企業診断士の方に申請方法について相談しているときに、中小企業の中でも20名以下の小規模事業者の実態の話になりました。

請求書や領収書は未だに紙媒体で取り扱って、電子帳簿保存法にも対応していないところが多い現状を聞きしました。

電子媒体で保存と聞いて一番最初に思い浮かぶのがOCRですが、インターネットでOCRで検索するとOCRの機能を使うだけでもサブスクで結構な金額を支払わされます。ほとんどのものは金額が提示されておらず相談してくださいというのが多いです。

従業員100名以上の企業であれば月々10万円は許容できますが、20名以下の企業では10万円は悩む金額だと思います。

OCRで精度が良くなる手法として、CRAFT(Character Region Awareness for Text Detection)という機械学習モデルによるテキスト抽出器と、CRNN(Convolutional Recurrent Neural Network)という機械学習モデルによるテキスト検出器を使うのが良いらしい。英語は既に用意されている機械学習モデルがあるが、日本語は学習が必要との情報もあり、やってみないとなんとも言えないところではありますが、完成させたい。

文字認識さえできてしまえば、Chat-GPTでおなじみのLLM(大規模言語モデル)を使って抽出したテキストの内容から必要なものを選び出すことにより、ある程度の自動化が可能になります。

従業員20名以下の企業様において、月額10,000円+導入時の他アプリへの連携(API呼び出しなどによるちょっとした開発)の費用(100,000円~)を目安に提供できるようにしたいと思います。

DXが浸透しない理由を考えた

国策として2018年から助成金などを出してでも浸透させようとしているDXだが、経済産業省の資料を見ても取り組んでいる企業はまだマイノリティ側である。

デジタル革命というキーワードに興味がない人にとっては、DXは全然響かないし、やりたくても誰に頼めば良いか分からない。世の中金儲けしか考えていない輩の標的にはなりたくないので、変えたくても変えられない。

DXはそういうことじゃないんだよって言っている奴らこそが一番怪しい。。。

IT技術者というか俺の場合だけかもしれないが、自分が作ったシステムが稼働していることを実感できたとき、とても誇らしく思う。これは俺だけじゃないはずだ。

世の中に貢献するのは気持ち良いことだし、自分一人の利益のためとは考えない。会社員であれば、頑張ったって給料はさほど変わらないから尚更そうではないか。

IT技術者とはそういう気質を持っているのだとした場合、DXを通じて世の中がより良くなるのは稼げるからという理由だけではないはず。

ではなぜDX人材が不足していると言われているのか疑問になる。

最近、マイナンバーカードの返納騒ぎでニュース欄を賑わしているが、システムを構築した富士通が構築したシステムが不完全だったという事実しかないし、マイナンバーカードの普及の遅れは、世界経済に対する日本経済の遅れに通じる。良いことなど一つもないのは俺だって分かる。

ではなんでそんなシステムを作ったのか。大手は金儲け第一主義だからでは無かろうか。世のため人のためという考えは10位ぐらいなんじゃないか?!

日本は世界の先進国に比べれば、格差が小さいと言われており、経済発展は出来てないが、格差が小さい点で評価される珍しい国なんだそうだ。

そういう国のなかでも既得権益が更に儲けたいという欲望を抱く一部の富裕層がDX促進を拒んでいると私は思う。

今日のDXねた

今日は、私の好きな感じのものから聞いた、生の声である。

既に退職しているとのことだが、本日、現場の意見を聞けたのは棚からぼたもちだった。

私は、DX推進を掲げる身としては、事務職の撤廃をひそかに掲げている。

因みに断っておくが、現在、酔っぱらいである。

それは、輸出入に関わる運送会社の事務として働いた経歴をお持ちだった方からの愚痴(改善提案)である。

輸出入は、相手方が当然他国である。笑ってしまうのは、アメリカで使っている管理ソフトウェアと日本で使っているものが違うと言う事実。双方の情報共有はソフトウェア間では行われず、メールや電話で行っているという。。。

分かるか?共通のソフトウェアを使えば、メールや電話で共有する必要がないのに、事務員はその矛盾(無駄)を分かっていながら、自分一人で大声を上げてもバカ扱いされるほどの大手だから、文句は言えない、声を上げれない。所詮、一般事務員だから。。。

これを聞いて、俺は思いました。日本企業は遅れているのだなと。

このレベルであれば、アメリカにも中国にも、肉薄のドイツにもGDPで抜かれるのは当然です。いや、必然です❗

その会社は、CMでも見たことのある運送会社の大手です。

と、日々のオペレーションを聞いて呆れました。

あまりにも現場の作業員がデジタル脳では無さすぎる。自分の記憶を便りにしていて、記憶できなかったがゆえに失敗したときは落ち込むのだそう。可愛なぁと思ってしまいがちですが、いつの年代で生きているんですか⁉️と問いたい‼️問い正したいー‼️

今回、初めて事務員の仕事内容を知りましたが、余りにも酷すぎる実情が分かってしまいました。

そりゃぁ中国にも抜かれますは、GDP。

こんなに酷とは思っていませんでした。。。

日本は、やばい状態であることをまずは認識すべきですね、、、全国民が!!!!!!!!!!!!!!!!!!!

ひろゆきが言うことが凄く解りました。

経済産業省「DXレポート2(中間取りまとめ)」を読んで思うこと

https://www.meti.go.jp/press/2020/12/20201228004/20201228004.html

俺自身の進むべき道を考えた結果、BOT販売の継続は行うけれども、去年より売り上げが落ちることが既に予測できる中で、次の一手としてDX推進を商いにしようと考えだした。

会社員に戻ることを想像してみたが、また同じ気ことを持ちを持ちながら生活することは耐えられないので、せっかく会社を立ち上げたことだし、うまく活用することを模索することにした。

DX(デジタルフォーメーション)は、経済産業省が2018年から各企業に促進し、必要に応じて補助金を用意するという政策の1つである。なぜ国がこれを推進させているのかといえば、失われた30年、給料が上がらない問題を打破するための施策としてのいわば国策として重要な課題と位置付けている。

日本は、欧米とは違う独自な文化を創り出すことに長けていて、代表的なものがアニメやゲームがあげられる。1990年代は、ガラケーが日本では大ブームになったが、欧米では受け入れられず、結果として2007年のスマホの登場によりガラケーが沈没したのは誰もが認識している。

欧米とは異なる日本独自の文化・仕組みを作ることが失われた30年を作った事実があるため、欧米を手本にしたIT革命の具現化施策がDXだと考える。

日本のIT企業は数多く存在するが、私が当時勤めていたのIT企業の場合、3次受け、4次受け、仕事はザラにあって(酷いときは5次受けもある)、2008年のリーマンショック以降、単価の暴落が激しく、当時勤めていた企業では、10年以上の経験者であったにも関わらず単価50万円の仕事しか見つからない現状を目の当たりにして、将来のことを考える気持ちを失ったことを覚えている。

私のような3流4流大学出身者の場合、人生の選択の余地は限られる。私は小さいころからデジタルに興味を持っていて、デジタルに対するアレルギーが無いので、あらゆる環境をデジタル化させることへの違和感が全くない。勉強は苦手だが、誰かの役に立ちたい思いは常に持っているので、DXという課題は私にはかなりはまっていると考える。

リーマンショックのときからのIT産業構造はあまり回復していないという実感がある。

上記は、DXレポート2(本文)(PDF形式:4,670KB)からの抜粋だが、IT企業の現状は、まさに一番左になっている。ITベンダーは、その下のITベンダーに発注している構造があり、3次、4次、5次と続く構造は今も変わっていない。この構造から脱却しない限り、失われた30年は取り戻せないと彼らは言っている。

もっともな話だし、左から2番目のアメリカ方式に変えることが経済を立て直す鍵だと訴えているのだ。実際は、一番右にするのが近道だと伝えている。

当社の現状は作業者1人しかいないので、DXを推進する企業についても、小さい中小企業に限られるとは思うが、それでも変えられることはあるのではないか、自分の自動化に対するノウハウを活かせるところがあるのではないかと期待している。

DX推進していく中で、いろんな問題点をかき集めながら、それをすべて吸収できる汎用的なソフトウェアを開発することが最終目標のような想像を膨らましている。

TIGET自動購入 v7をリリースしました。

本日、TIGET自動購入 Version7をリリースしました。まずは、動画をご覧ください。

ログを確認すると、購入開始から購入確定画面表示までの経過時間が3.3秒でした。以前のバージョンでは、画面遷移リクエストの応答が4秒ぐらい掛かる場合があり、明らかにBOT対策されていたのですが、今回は、ブラウザ操作と素の通信を混ぜました。

本日は某レストランにてリリース作業していたのですが、ノートPCであることやWi-Fiも某レストランで開放されているものなので、速度としては4~5秒掛かっていたのですが、自宅のデスクトップ+10G光の組み合わせで3秒台を記録したので、ブラウザの描画はマシンスペックに左右され、通信速度は通信速度に左右されることが改めて実感しました。

2023/06/16 追記

既存ユーザは無償アップデートなので、ガンガン使っちゃって下さい!

エルメスオンラインBOTについて

[商品ID:70]Emperor AIOについての問い合わせ

ご質問です。
エルメスのオンラインで欲しいものがあり、
こちらのシステムはご対応可能でしょうか??

先日、上記問い合わせをいただきました。
ちょいちょい同様の問い合わせがあります。
※同じ人からの問い合わせという気もしないでもないですが。。。

真剣に対応していたのは2022/10頃まででした。
エルメスが欲しい方ならご存知だと思いますが、Twitterで商品が出現したことを通知しているアカウントがあり、その方が結構な速度でゲットしていくため、それに対応するために商品監視を行う必要があります。

エルメスオンライン側も商品監視に対する対策がかなり厳重にされており、画像認証の出現や一時的なIPBAN(酷いものは永久)を行うため、かなりのProxyの数(そのときは5桁使っていました。そのProxyの品質が悪く、エルメスオンラインに永久BANされているのが9割以上あったので仕方なくそうしていた)を揃えて、商品がリストックされたらDiscordの通知と連携して購入動作するサービスを提供していました。

私自身このサービスを使って購入できました。
※その後のゴタゴタがあり商品は届かなかったのですが。

サービスを提供するためのお金については経費になるのでそこまで重要ではないのですが、やる気が失せたのはDiscordでエルメスオンラインの専用チャンネルを作っていたのにも関わらず、BOTを動かしている人がいなかったためです。

最低でも10人は常時動かしていて欲しい。でなければこちらのモチベーションが上がらない。

ということで今は休止状態です。


お問い合わせありがとうございます。

エルメスのオンラインストアでご希望の商品を購入したい場合、エルメスオンラインBOTを利用できるかどうかについてのご質問ですね。

以前、同様の問い合わせをいただいたことがありますが、2022年10月頃までは真剣に対応していました。エルメスの人気商品は入荷後すぐに売り切れてしまうため、商品の監視が必要でした。Twitter上には、商品の入荷情報を通知するアカウントも存在しており、その方が迅速に商品をゲットしていくため、私たちはそれに対応するための監視サービスを提供していました。

エルメスオンライン側も商品監視に対策を講じており、画像認証の導入や一時的なIPBAN(一部では永久BANも行われることもあります)などが行われています。そのため、私たちは多数のプロキシを用意しており、品質の低いプロキシも使わざるを得なかったこともありました。残念ながら、その結果、エルメスオンラインからの永久BANを受けてしまったプロキシが9割以上であり、困難な状況に直面しました。

また、私たちはDiscordのチャンネルを作成し、商品情報の通知や購入手続きを連携させるなど、サービス提供に努めましたが、BOTを運営するスタッフが不在であったため、やる気を失いました。最低でも10人のスタッフが常に稼働している状態でなければ、私たちのモチベーションも上がらないのです。

そのため、現在はサービスを休止しています。

申し訳ありませんが、現時点ではエルメスオンラインBOTの提供は行っておりません。ご理解いただけますと幸いです。

自社製スクリプト言語によるデモ(SNKRSサイト)

Emperor AIOの一機能として、スクリプトを作成して自動動作を行うものがあります。SNKRSサイトは、人気の商品は抽選であるため、5分程度の受付時間の間に、如何に数多のアカウントにて購入動作を完了させるかが肝になります。Emperor AIOでは、最大200個までタスクを組むことができるため、理論上200アカウントの抽選を行うことが可能です。

2023/05/16追記
偶然とは思えないほどNIKEの素早い対応力には驚くばかり!
上がBOT、下が通常ブラウザ。

CSS(スキン)を変えて、臨戦態勢を匂わせているのかな?

2023/05/17追記
BOTの方も他ブラウザと同様に戻っていました。憶測でしかないが、何かをチェックしようとしていたのかもしれない。

水平埋伏智歯

最近、親不知を抜いたことは前回お伝えしましたが、体調が戻るまで3週間以上掛かりました。それぐらい変な生え方をしていたから入院が長引いたことの理由になります。

表題にも上げた通り、4つの親不知全てが水平に向いていて、前方の歯を押さえつけている状態でした。特に歯の痛みは無かったので20年近くそのままにしていたのですが、そのうちの一本が下に下がってきた影響でバイ菌が入った時に顎の神経まで触れて無茶苦茶痛いことが2度もあったため、抜歯する決意をしました。

4日間も入院したほどの手術になったわけですが、3週間経ってようやく通院不要の許しを頂き、ほっとしています。

実は嬉しい誤算があり、肩こりが無くなりました。職業病だと思っていた肩こりですが、抜歯後は、目は相変わらず疲れるものの、いつも目に連動していた肩こりが起きません。首筋の凝りから始まり、肩や肩甲骨回りがいつもガチガチになって自分ではどうにもなら無い箇所のためマッサージ店にお世話になっていたのですが、抜歯後は目は疲れても首筋の凝りは皆無で、首筋はぐにゃぐにゃの柔らかいままです。この現象についてネットで調べてみると確かに親不知を抜くと肩こりが治る場合があるという情報があるので、私は運良くその状況になったのだと思いました。

予想ですが、水平埋伏智歯だった場合に肩こりが治る可能性が高いのではないかと思います。

お酒を飲んでも、酔って頭痛がすることも失くなり、いつもより多く飲めるようになりました。

仕事の効率も上がって、サポートより一層専念できるようになったというご報告であります。