カテゴリー: BOT

当社が使うWeb Engineが遅い原因が分かりました

よく当社のブラウザ読み込みが遅いという意見を耳にすることがあり、自分自身も感じていたのですが、Web Engine（Chromium）のバージョンが古いことに起因することだと考えていました。しかしそれが間違っていることが最近分かりました。

遅いのがChromiumのバージョンの古さに起因していると考えていたため、常により新しいブラウザバージョンを使用するのが良いのだろうと思っていたのですが、いつもと違う場所（環境）で作業したいと思いノートPCで開発をしていたところ、自宅デスクトップPCでは糞遅くなる症状が全く現れないことに気づき、これはWi-Fi環境などの回線やIPアドレスに起因する問題ではなく、PC単体の問題であることが決定的になりました。

インターネットで同様の事例について調べたところ、その中で一番多い解決策が、複数あるLANアダプタがある場合、必要なLANアダプタ以外はDisableにすることで速くなったというコメントがありました。

LANアダプタが複数ある事例としては、VPNだったりVirtual BOXなどの仮想環境のLANアダプタだったりします。

自分のデスクトップPCとノートPCでこのLANアダプタの構成を比較すると、異なる点は、Virtual BOXの仮想LANアダプタの有無の違いしかありませんでした。ちなみに、デスクトップPCにインストールされているVirtual BOXの仮想LANアダプタをDisableしてみましたが、症状は変わりませんでした。なので、Virtual BOX自体をアンインストールしてみたらどうなるのかなどを引き続き調査していこうと思います。

このブラウザ動作が遅いことを問題視したために、新しいWebブラウザを使うなどの方針転換をしてきたのですが、遅い問題が解消すれば、ブラウザを変える必要が無くなるため、自分の中の問題点・懸念点が無くなるのがとても大きいです。

TIGETなど、Googleのセキュリティコンテンツを使ったサイトが増えてきている中で、ブラウザを省いたHTTP通信のみの自動化が厳しくなってきており、ブラウザ操作とHTTP通信を組み合わせることで、より速い自動操作をできるようにしていくことが必要だと感じています。

販売しているBOTの中でもTIGETについてはなかなか期待した結果が出ていないため、近日中にブラウザ自動操作を増やしたバージョンにアップデートしていく予定です。

2021/12/06追記
ticketbookのリセール商品のリストック監視＆自動購入を作成しました。
欲しい方はメールください。
ブラウザ自動操作の遅い場合と早い場合の違いを以下の動画で確認いただけます。

早いバージョン　ノートPC（インテル® Core™ i7-6500U）

遅いバージョン　デスクトップPC（インテル® Core™ i7-8700K）

最新フレームワークに対応していきます

当社が使っているフレームワークのメジャーバージョンが９年ぶりに更新したため、それに対応するために調整していましたが、遂に対応させることができたため、第１段としてチケットぴあ自動購入をリリースしました。

チケットぴあ自動購入は、ぴあサイト、チケット大相撲、piaspサイトの３つのサイトに対応していますが、そのなかでぴあサイトだけは自動購入中にブラウザ画面遷移を挟みます。そのブラウザ画面遷移の動作が旧フレームワーク版と同じパソコンもあれば、遅くなるパソコンもあり、その理由が分かっていません。

旧フレームワーク版と新フレームワーク版は混在でも動作するように設計しているので、新フレームワーク版をインストールして頂き、動作状況を報告してください。
ご協力のほど、よろしくおねがいします。

少し時間に余裕ができたので色々書きます

子供がいると、面倒を見ない訳には行かないのでやりますが、やりだすと切りがないので自分の時間を捻出するのがとても大変なのを身に沁みている状況です。
子供が大きくなるにつれて時間が取れるようになってくると思うので、あと１～２年は、上手くやっていくしかありません。

前置きはさておき、今日は奥さんと子供がいないので、久しぶりにのんびりできています。なので、思っていることを色々書いていこうと思います。

私は組織が嫌いです。
組織が嫌いというより、組織に染まる人が嫌いです。
組織の中に順応できるようになると、あたかもその組織の力を自分の力と勘違いする輩が一定の割合で必ず現れます。
私はこういう人になりたくなかったし、ある意味どうでもよかったので、昔は自分の意見はあまり主張してきませんでした。
最近は、自分に実力がついてきたことで、染まった輩に対して圧力を掛けるようになりました。染まった輩は実力が俺より上ではないので反論することはありません。
染まった輩は、会社の売上にはあまり貢献してはいないけど、組織には順応できているので、首を切られることもなく、ずっとその座を守り続けるために力を注ぐのでしょう。こういう人が増えたから、日本の経済成長率は、先進国の中でも最下位になり、給料も年々下がり続けているということなんだと思います。

今の小学生は、我々の世代と比べても少し難易度が高いことをやらされています。小学１年生で既に漢字を習っていて、うる覚えですが、私が小学１年生のときには漢字まで行かなかったように思うのですが。。。宿題も毎日出ていて、色々詰め込まされているなぁという印象を受けます。

橋本首相か小泉首相か忘れましたが、ゆとり教育を経て、世界情勢もリーマンショックがあり悲惨なものだったので、日本の経済がどんどん悪くなっていきました。そういう経験があるからなのか、今の小学生は英語の科目も含まれていて、再び日本が海外で活躍できるようにという思いが伝わってきます。

インターネットの世界では、アメリカの力は今もなお絶大です。Googleを始めとして、色々なことがアメリカを中心に回っているのは今も変わりありません。ブラウザではシェアが高いのはChromeですし、マイクロソフトも既にChrome技術を取り入れています。
Chromeを使ったGoogle関連ページは、httpという通信規格を発展させたquicというプロトコルが既に動いています。インターネットページ閲覧をより高速化するための規格でhttp/2を更に発展させたものです。
こういうことは、表面上では変化がないことなのでほとんどの人は知る由も無いですが、技術は常に発展しています。

当社の製品もインターネットを使ったものなので常に新しくしていく必要があるのですが、なかなか追いついてないのが現状です。
ですが、時間を作ってはアップデートを行っており、近いうちにチケットぴあの新ブラウザ対応をリリースします。
また、以前からご利用頂いているユーザからticketbookの対応を依頼されており、こちらも年内にはリリースできるように動いています。

Googleに対応するために

これまで、Googleの機能を使えるためのブラウザを探していましたが、ことごとくGoogleにブロックされてしまうようになりました。それならば、Googleが作っているものを使えば良いのではないかと考え方を変えました。

Chromiumを使ったソリューションを使っていますが、Chromium本体は使っていません。ChromiumはGoogleログインを問題無く動かすことが可能なので、これさえできれば私がやりたいことや障害になっていることが全て解消します。

Googleに対抗するためには、Googleを知ることから始める必要があるため、これから研究していきたいと思います。

2021/09/12追記
この件をもろに影響しているのがTIGET自動購入です。
今全力で取り組んでいますので、もうしばらくお待ち下さい。

2021/10/30追記
遂にGoogleログインができるようになりました。
TIGET自動購入を起動時に既に３つのタブが開きますが、４つ目を手動で開き、Googleのページにアクセスしてください。
最新版のインストーラを適用するのをお忘れなく！

Livepocketの画像認証

人気チケットは、混雑時にReCATPCHA を出すことがあるそうです。

販売側が出す出さないを決める事が出来るのか、ランダムで出るのかはこちらでは未確認の為分かりません。

情報お持ちの方はご連絡ください。

最近、Developer 用ブラウザに限り、Google ログインをできなくする処置が施行されたことで、Google のシステムを使ったサイトでは、如何に攻略するかを模索しています。

Google のシステムを導入する企業に大手はいません。それはやはり自社のシステムに他社の無償提供されたシステムを使う事を良しと思わないからでしょう。Google に何でもかんでも依存していたら、いずれはネット支配された世界になってしまいます。

体力に自信がない企業はサーバの強度増幅に費用を掛けられないのでGoogle に頼ることになるのでしょう。しかし、Google を100%信用している企業は無いと思います。

私自身、Google のサービスはよく利用していますが、攻略を諦めている訳ではないので、常に隙を伺っています。

2021/09/05追記

画像認証をたまたま見ることができたため、調査したところ、混雑している状況のときに最初にreCAPTCHA V3でチケットをカートに入れるのですが、同じページに戻された場合は、今度はreCAPTCHA V2で画像認証を出してきて、それを突破してようやく支払い画面に進みます。
ブラウザはChromeで行ったため、Googleにログインした状態でも画像認証が出てきたので、強度は一番強いものにしているようです。

2021/09/06追記

第１段階として、reCAPTCHA V3が出ている場合のみ自動突破を試みる対応をします。
その後にreCAPTCHA V2が出たときは、ブラウザに表示するようにします。
本来であれば、reCAPTCHA V2用に備えて、動作開始前に第３者認証を動かしておいて、reCAPTCHA V3後にreCAPTCHA V2が出ても自動突破するようにしたいのですが、当方は何のチケットが人気があるのかが判断できないために、こちらで動作確認が出来ないため、少しずつ対応をしていき、ログで判断していきたいと思います。
人気になるチケット情報とFeedbackがあると嬉しいです。

2021/09/07追記

reCAPTCHA V3対策をリリースしました。LivePocket 自動購入を起動するとアップデートされます。
reCAPTCHA V3からV2に変化した場合はまだ対応出来てないのでご了承ください。

2021/09/09追記

reCAPTCHA V3が出る確率をログから判断すると３％以下でした。当方は何が人気のチケットかは分からないので、３日間の中で混み合うチケットは少なかったのかもしれません。
数は少ないながらreCAPTCHA V3が出現したケースは、必ずreCAPTCHA V2に遷移していたので、第３者認証を導入することにします。
2captchaとanti-captchaを導入予定なので、各サイトの残高を確認しておいてください。

2021/09/12追記

reCAPTCHA V2に対応しました。
混雑が予想される、或いは以前出たことがあるチケットについては、第３者認証の設定を行ってください。

TIGET更新しました

クレジットカード支払いによる事前支払いが動いていないと報告を受けたため、調べたところ、正しく動いていなかったのは勿論ですが、reCATPCHA V3の考え方がそもそも間違っていたのと、それに加えてバグがあったこともあり、修正したら９～１０秒ぐらいで購入手続きが完了するようになりました。※当日支払いは６〜７秒ぐらい

Chrome拡張を使うやり方は不要になり、当BOT内でreCAPTCHA V3トークンを生成するようにしました。

ご利用頂いているユーザは、遠慮なくフィードバックしてください。
よろしくおねがいします。

次の対応タイトル

要望を頂いている中で、自分としても挑戦したいサイトがzozoused です。

データ解析をすると、恐らくアカマイと関連がある通信データが介在していて、これをクリアしない限り、以前のバージョンと同等の機能を搭載出来ません。

これはもう挑戦というか、攻略というか、裏ワザ探しに尽力しないと完成できません。

サイト側も以前より相当お金を掛けて対策していつと思うので、当社が対応してもすぐに対策するのは難しいと思われるので、何としても対応させたいと思います！

2021/07/09 追加

アクセス過多による制限がとても厳しくなっているため、同時カート挿入数は最大で３つまでに制限しました。

また、リストックされるタイミングに合わせてカート挿入動作を少しずつずらして行う機能についても、アクセス過多になってしまい、一時的なIPBANになってしまうため、単純に３つの商品を指定した時間に一斉にカート挿入するだけのものになりました。

試したい！！という方がいましたらお声がけください。
１か月利用可能なライセンスを無償提供させて頂きますので、フィードバックをお願いします。

2021/07/11 追記

既存のZOZOUSED自動カート挿入ライセンスコードをお持ちの方は、以下のページより、新しいバージョンを試してみて下さい！
https://zatturight.com/community/viewtopic.php?f=5&t=237

TIGET自動購入の大型アップデート

TIGET自動購入が今までよりも速くなって帰ってきました。

最新版を販売サイトよりダウンロード＆インストールしてください！

これまでの購入タイムよりも更に速くなっていることが確認できると思います。

2021/07/06 追記
利用者が少しづつ増えてきているのはありがたいですが、Chrome拡張を使わないと速くならないのは同じなので、コミュニティサイトを申請してください！！

最近思うこと

酔っ払っているので、普段思っていることを書き連ねていきます。

最近よく思うのは、人々の職業の選択が偏りが無くどの職業についても続いていることに感動しています。

勿論、自分の意と反する職業を営んでいる人も中にはいるでしょうが、経済がしっかり回っているように均等に職業が異なるものを選んでいるのは奇跡だと思います。

と思う一方で、歳を重ねていて雰囲気はプロフェッショナルな感じを出しているにも関わらず、実際は新人に毛が生えた程度の考え方しか持っていない自分より年上の人もいて、一緒に仕事をする事自体ストレスが溜まっています。

私は社会人になった時から、とにかくプロフェッショナルとは何かと考えながらそれに近づくためには何えお吸収すれば良いか考えていました。

リーマンショックのときは、腐りかけました。その結果、とても苦しい時代を歩みました。

その苦労があったからこそ、自ら稼ぐことの必要性を感じて、fastBOT を立ち上げました。

今年で５年目になりますが、遂に会社設立に動き出します。

ですが、特にやること自体は変わりありません。

今後ともよろしくお願いします！