すべてのモデル候補を比較し、そのどれでもエクスポート
ランダムフォレスト、XGBoost、そして複数のニューラルネットワーク探索戦略の中から 手動で選ぶには、それぞれを個別にトレーニングして結果を見比べる必要があります。Data Sensorsのモデル コンペティションは、同じ測定データに対してこれらすべてを同時にトレーニングし、保留検証精度でランク付け したうえで、ランキング内の任意のエントリ - 勝者だけでなく - をC、C++、Python、MATLABへエクスポート できます。
複数のモデルタイプを1つずつではなく同時にトレーニング
ランダムフォレスト、XGBoost、そしてランダム探索、グリッド探索、ベイズ(ガウス過程)最適化、 ランダムフォレスト/XGBoost代理探索といったニューラルネットワーク探索戦略を、任意の組み合わせで 選択でき、これらはすべて同じ入力/出力チャンネルに対して一度に同時にトレーニングされます。自動調整 はニューラルネットワークに限られません - ランダムフォレストとXGBoostの候補もそれぞれ自身のハイパー パラメータを自動調整できるため、公平に調整された比較を行うために3種類のハイパーパラメータ空間を 手動で探索する必要はありません。候補ごとにトレーニングダイアログを開き直したり、前回試した構成を 覚えておいたり、別途結果のスプレッドシートを管理したりする必要もありません。
当てずっぽうではなく、保留検証精度でランク付け
各候補は、一度もトレーニングに使われていないデータで評価されるため、ランキングは各モデルが トレーニングセットをどれだけ暗記したかではなく、実際にどれだけ汎化しているかを反映します。 ランキングには各エントリの検証RMSEとR²が並べて表示され、トレーニング時間や適合診断も 確認できるため、ある候補が未学習なのか、過学習なのか、それとも本当に競争力があるのかが一目で 分かります。
検証RMSEでランク付けされたランキング
大規模なデータセット向けの、本物の未使用テストセット
ランキング自体の評価には、勝者を選ぶために使われるという性質上、わずかな楽観的バイアスが含まれます。 十分な大きさのデータセットについては、Data Sensorsはランク付けが始まる前に、トレーニングやモデル 選定の間一切触れられることのない、本物の保留テストセットを自動的に切り分けます。これにより、実際に 展開する予定のモデルについて、より信頼できる第二の精度指標が得られます。
検証精度と並んで表示されるテストセット精度
勝者を、あるいは他の任意のエントリをエクスポート
最上位のモデルが常に正しい選択とは限りません - 精度がわずかに劣るランダムフォレストのほうが ターゲットハードウェア上で高速に動作したり、より小さなニューラルネットワークのほうがフラッシュ 容量の予算に合っていたりすることもあります。ランキング上のすべてのエントリは、勝者だけでなく、 C、C++、Python、MATLABへエクスポートでき、フル精度またはint8量子化 を選択でき、保存前にサイズと精度のライブプレビューを確認できます。完全なコンペティションを実行せずに単一のモデルを直接 トレーニングする方法については仮想センサートレーニング をご覧ください。
