機械学習とニューラルネットワーク - ページ 3

[MetaQuotes]

進化する AI アート

進化する AI アート

この動画では、AI を使用してイメージを進化させるプロセスについて説明しています。イメージの選択から始まり、プロンプトが表示され、進化するプロセスによってバリエーションが生成されます。このプロセスの目的は、想像を絶するほど巨大で検索不可能な画像空間を利用して、想像を絶する美しいアートワークやかわいい猫を見つけるための探索です。テキストから画像へのモデルの入力により、ユーザーは単純なプロンプトを入力し、そのプロンプトを満たす膨大な数の可能な画像を受け取ることができます。また、まったく新しい画像を作成し、既存の画像を潜在空間に整理してカタログ化することもできます。ピック ブリーダー法は、画像を作成するのに最適な遺伝子を突然変異、選択、および再生する効率的かつ自然な方法であり、人々は進化の糸をたどり、強力な AI ツールを使用して分岐経路を通じて予期しない美しさを発見することができます。

• 00:00:00 作成者は、与えられたテキスト プロンプトに基づいて画像を生成するためにニューラル ネットワークを使用するテキストから画像へのアルゴリズムである Mid-Journey と呼ばれる AI モデルについて説明します。作成者は、Discord サーバーでこのアルゴリズムを実験しており、ユーザーが画像を選択して変異させ、生命の進化ツリーを作成できるようにしています。このプロセスの創造性は、モデルのトレーニングに使用されるプロンプトとデータセットによって制限されますが、結果として得られる画像は、作成者がこれまでに見たどのアートワークとも異なり、そのプロセスは興味深いユニークな作品につながっています。作成者は、独自の GPU で実行できる Stable Diffusion と呼ばれる別のオープンソース モデルについても言及しています。
  
  
• 00:05:00 このセクションでは、クリエイターが AI を使用して画像を進化させるプロセスについて説明します。このプロセスは、画像の選択から始まり、プロンプトが表示され、進化するプロセスを通じてバリエーションが生成されます。進化するプロセスは、コミュニティの側面を避けるために絞り込むか、単独で実行することができます。画像を進化させる目的は、画像空間 (各画像が点またはベクトルを占める文字通りの数学的空間) を探索することによる探索であり、美しく想像を絶する芸術作品や非常にかわいい猫など、画像空間が想像を絶するほど巨大でランダムなノイズを超えた何かを見つけることです。絶望的に検索不能。
  
  
• 00:10:00 このビデオでは、テキストから画像へのモデルの入力プロセスについて説明しています。これにより、ユーザーは簡単な言語でプロンプトを入力し、そのプロンプトを満たす膨大な数の可能な画像を受け取ることができます。これらのジェネレーティブ検索エンジンは、まったく新しい画像を作成するだけでなく、潜在空間で整理、カタログ化、ラベル付けされた既存の画像を発見することもできます。潜在ベクトルなどのランダムな値をモデルに与えることにより、画像出力はより多様になり、潜在空間を移動することで変更できます。 Pick Breeder 法は、画像を作成するのに最適な遺伝子を突然変異、選択、および再生するための効率的かつ自然な方法です。人々は興味深いプロンプトと画像の進化の糸をたどり、これらの強力なツールを使用して分岐経路を通じて予想外の美しさを発見することができます。

[MetaQuotes]

思い通りの絵を作るAIの解説

テキストから画像への革命の説明

このビデオでは、機械学習アルゴリズムを使用してテキストの説明に基づいて画像を生成する方法と、このテクノロジを使用してアートワークを作成する方法について説明します。このビデオでは、アメリカのイラストレーターである James Gurney にインタビューし、この技術が著作権法とアートの世界に与える影響について語っています。

• 00:00:00 このパートでは、機械学習アルゴリズムが画像にキャプションを付ける方法と、開発者がこれらのアルゴリズムを使用してテキストから画像へのジェネレーターを作成した方法について説明します。このビデオでは、これらのモデルと効果的に通信するために迅速なエンジニアリングがどのように必要であるかについても説明しています。
  
  
• 00:05:00 必要な画像を作成する AI は、何百万もの画像とそれに付随するキャプションのトレーニング データセットから始まると説明されています。モデルはこれらの画像のパターンを認識することを学習し、その認識に基づいて新しい画像を生成します。この方法で生成された画像は、拡散プロセスのランダム性により、人やモデルによって異なる場合があります。
  
  
• 00:10:00 このビデオでは、ディープ ラーニングを使用して、有名なアーティストが作成した画像を直接コピーすることなく、類似の画像を作成する方法を説明しています。このビデオは、テキストから画像への変換モデルのユーザーに人気のリファレンスとなったアメリカのイラストレーター、ジェームズ・ガーニーにインタビューしています。ガーニー氏によると、アーティストは自分の作品が他のアートワークを作成するためのデータセットとして使用されることをオプトインまたはオプトアウトできるようにする必要がありますが、モデルのトレーニングに使用される画像とモデルから生成される画像に関する著作権の問題はまだ解決されていません。さらに、これらのモデルの潜在的なスペースには、出力がフォトリアリスティックになるにつれて怖くなるいくつかの暗いコーナーが含まれています。しかし、このテクノロジーが非常にユニークな理由は、私たちが見たいものを想像するようにマシンに指示できることです。

[MetaQuotes]

MidJourney AI Art のガイド - 無料で始める方法

MidJourney AI Art のガイド - 無料で始める方法

このビデオでは、スピーカーは、プロンプトに基づいて AI アートを生成するツールである MidJourney を紹介し、それを開始する方法について段階的な手順を提供します。 「3D レンダリング」や「滴るインク スケッチ」などの例を使用して、コマンドを使用して、生成されたイメージのスタイルと品質を変更する方法を示します。さらに、MidJourney Web サイトのコミュニティ セクションについても説明しています。ここでは、ユーザーがインスピレーションを見つけたり、プロンプトをコピーして自分で試したりすることができます。また、講演者は AI アートとの歩みを共有し、詳細を知りたい人向けに追加のリソースとコードを提供します。

• 00:00:00 このパートでは、プロンプトに基づいて AI アートを生成するツールである MidJourney の使用を開始する方法について説明します。サインアップするには、MidJourney の Web サイトにアクセスし、プロンプトに従って登録し、Discord の招待を受け入れます。 Discord に入ったら、コマンド「/imagine」を入力し、続いて「紫の翼のある人間」などのプロンプトを入力して、画像を生成します。講演者は、画像をアップスケールして詳細を表示する方法や、「3D レンダリング」や「滴るインク スケッチ」などのさまざまなコマンドを使用して画像のスタイルを変更する方法も示します。コマンドが入力されるたびに、結果の画像は一意になります。
  
  
• 00:05:00 このセクションでは、ナレーターが、MidJourney AI アートで利用できるさまざまなスタイルと品質オプションを探ります。キーワードとコマンドを使用して、ハイパーリアリズムや様式化など、3D レンダリングでさまざまな効果を作成する方法を示します。また、自分自身の画像をプロンプトとして使用し、画像の重みを調整してさまざまな結果を生成することも試しています。
  さらに、MidJourney Web サイトのコミュニティ セクションについても説明します。ここでは、ユーザーがインスピレーションを見つけたり、プロンプトをコピーして自分で試したりすることができます。ナレーターは、生成されたアートをオンラインで共有するときに免責事項を追加するなど、MidJourney を責任を持って使用する方法に関するヒントも提供します。
  
  
• 00:10:00 ナレーターは、Discord と MidJourney AI アートへのリンク、および AI アートの旅に関連するその他のリソースとコードを提供します。彼らは、視聴者が自分の旅を自分でチェックすることを奨励し、詳細を知りたい人のために追加情報を提供します.

[MetaQuotes]

MidJourney -Getting Started [New & Updated] AI アート生成を始めるための簡単なチュートリアル

MidJourney -Getting Started [New & Updated] AI アート生成を始めるための簡単なチュートリアル

ビデオ チュートリアルでは、Discord からのみアクセスできる MidJourney の AI アート生成プラットフォームの使用方法を包括的に説明しています。スピーカーは、利用可能なさまざまなサブスクリプション モード、アーティストとさまざまな条件を使用してプロンプトを作成する方法、スイッチを使用して AI が生成した画像から不要な要素を削除する方法、画像のアップスケールとアスペクト比を調整する方法について説明します。また、視覚的にアピールするプロンプトを使用し、アップスケーリングの前にバリエーション ボタンを使用して、独自の AI アートを生成する方法に関するヒントも提供します。全体として、MidJourney は、完成した芸術作品を作成する手段ではなく、芸術的な探求と出発のためのツールとして提示されています。

• 00:00:00 このパートでは、旅の途中と Discord の概要を説明し、旅の途中には Discord からのみアクセスできることを説明します。彼らは、Discord がボイス チャットに使用されるプラットフォームであり、ボットの作成にも使用できる方法について話し合っています。また、旅の途中で作成されたアセットの所有権と、サービスを使用するために利用できる価格オプションについても説明します。次にスピーカーは、Discord 内のさまざまな部屋と機能、およびスラッシュから利用できるさまざまなコマンドの使用を含め、旅の途中で始める方法について説明します。
  
  
• 00:05:00 チュートリアルのこのセクションでは、ナレーターが、リラックス モードやプライベート モードなど、MidJourney で利用できるさまざまなサブスクリプション モードについて説明します。また、さまざまなアップスケーリング モードについても説明しています。ナレーターは、ユーザーが他のユーザーの作成物を表示したり、プロンプトをコピーしたりできるコミュニティ フィードなど、ジャーニー Web サイトについても簡単に説明します。最後に、ナレーターが「imagine」コマンドを紹介し、プロンプトとさまざまなスイッチを使用してイメージを作成するプロセスについて説明します。
  
  
• 00:10:00 チュートリアルのこのセクションでは、ユーザーは MidJourney の AI アート生成プラットフォームをナビゲートする方法を説明します。これには、画像生成の無料時間のために画像を評価する方法、画像をアップスケールしてバリエーションにアクセスする方法、およびプロンプトを作成する方法が含まれますアーティストおよびその他の条件の使用。彼らは、迅速なエンジニアリングが AI アート作成の重要な側面である一方で、ユーザーは予期しない結果に備える必要があり、プラットフォームを完成品ではなくアイデア エンジンと見なす必要があると警告しています。
  
  
• 00:15:00 このビデオ チュートリアルでは、特定のスイッチを使用して、AI が生成した画像から不要な要素を削除する方法について説明します。たとえば、「no -- people」スイッチなどです。ただし、このような切り替えの有効性は、選択したアーティストと画像の複雑さによって異なります。このチュートリアルでは、「非常に詳細」や「油絵」など、AI アート プロンプトに追加できる一般的なディレクティブと、AI ボットの混乱を避けるためにプロンプトを簡潔に保つことの重要性についても説明します。最後に、チュートリアルでは、MidJourney を使用して画像をアップスケールし、アスペクト比を調整する方法について説明します。
  
  
• 00:20:00 著者は、画像をアップスケーリングしながら追加のフラグを使用して異なる結果を得る方法を説明しています。フラグは縦横比を表す「AR」で始まり、その後にコロンで区切られた幅と高さが続きます。講演者は、指、顔、余分な手足の問題など、技術には限界があることに注意しています。また、cryengine や水彩画などのさまざまなタイプのプロンプトと、それらをリミックスする方法についても説明します。最後に、スピーカーは、基本的なプロンプトから始めて、リミックスとアップスケーリングによって完成させることをお勧めします。最終的な画像は、MidJourney の Web サイトから保存およびダウンロードできます。
  
  
• 00:25:00 このパートでは、MidJourney で独自の AI アートを生成するためのさまざまな戦略について説明します。彼は、「ブレード ランナー」や「サイバーパンク」などの視覚的な魅力や特定の外観を備えたプロンプトを使用すると、MidJourney の出力を導くのに役立つ可能性があると述べています。彼はまた、可能な限り最良の結果を得るために、画像を拡大する前にバリエーション ボタンを使用することを提案しています。最後に、MidJourney は芸術的な探求と出発のためのツールであり、必ずしも完成した芸術作品のためではないことを視聴者に思い出させます。

[MetaQuotes]

ChatGPT の説明: OpenAI のチャットボットについて知っておくべきこと |テック ニュース ブリーフィング ポッドキャスト |ウォールストリートジャーナル

ChatGPT の説明: OpenAI のチャットボットについて知っておくべきこと |テック ニュース ブリーフィング ポッドキャスト | WSJ

チャットボットは現在一般公開されており、質問をして回答を得るために使用できます。これらのツールがどのように使用されるかについては懸念がありますが、専門家は、人々は自分の役割を置き換えるのではなく、仕事を強化するために使用する必要があると述べています。

• 00:00:00 最先端の会話型 AI モデルである ChatGPT は、人間のような会話に参加し、質問に回答することができます。これは膨大な量のデータに基づいて構築されており、人工知能企業である OpenAI によって、画像を作成する AI プラットフォームである Dolly を開発するために使用されています。 ChatGPT には制限がありますが、その人気と洗練度により、潜在的な用途や誤用について疑問が生じます。
  
  
• 00:05:00 チャットボットが一般公開され、質問をして回答を得るために使用できます。これらのツールがどのように使用されるかについては懸念がありますが、専門家は、人々は自分の役割を置き換えるのではなく、仕事を強化するために使用する必要があると述べています。

[MetaQuotes]

CS 156 講義 01 - 学習問題

Caltech の機械学習コース - CS 156.講義 01 - 学習の問題

Yaser Abu-Mostafa の機械学習コースの最初の講義では、人間の介入なしに予測を行うためにデータのパターンを見つけるプロセスである学習問題を紹介します。彼は、実用的な学習問題を抽象化するための数学的形式化の必要性を説明し、コースで機械学習の最初のアルゴリズムであるパーセプトロン モデルを紹介します。パーセプトロン モデルは、重みベクトルを使用してデータ ポイントをバイナリ カテゴリに分類します。講義では、教師あり学習、教師なし学習、強化学習など、さまざまな種類の学習についても説明し、教師あり学習の問題を聴衆に提示して、学習の対象関数を決定する問題に対処します。教授は、機械学習に関連するさまざまなトピックを取り上げます。彼は、データセットを選択する際にバイアスを避ける必要があること、および十分な量のデータを収集することの重要性を強調しています。教授はまた、機械学習における仮説セットの役割と、最適化手法に対する誤差関数の選択の影響についても説明します。彼はまた、コースに機械学習手法を含める基準と、純粋な理論ではなく実践的な知識を提供することに重点を置いていることにも触れています。

• 00:00:00 このセクションでは、Yaser Abu-Mostafa が機械学習のコース概要を紹介し、この主題の数学的側面と実践的側面の両方の重要性について説明します。彼は、コースのトピックは別々のものではなく、論理的なストーリーに従うことを意図していると述べています.次に、視聴者が映画を評価する方法の例を挙げて、学習の問題を掘り下げます。これは、Netflix を使用して顧客向けの推奨事項をパーソナライズするために使用する場合に関連しています。彼は、実際の学習問題を抽象化する上での数学的形式化の重要性に言及し、コースで機械学習の最初のアルゴリズムを紹介します。彼はまた、学習の種類についての調査を提供し、興味深いパズルで締めくくります。
  
  
• 00:05:00 このセクションでは、講師は機械学習の本質はパターンの存在とデータの可用性にあると説明しています。さらに、適切なデータがなければ数学的に不可能なパターンを見つける必要性についても説明しています。映画の評価の例を使用して、視聴者の好みを要因のベクトルとして使用して評価を予測し、それらを映画のコンテンツと比較するシステムの作成について話します。このシステムは機能しますが、人間の介入が必要なため、機械学習とは見なされません。機械学習の考え方は、パターンを見つけてシステムを改善するための是正措置を講じることで、人間の介入なしに問題を解決できるというものです。
  
  
• 00:10:00 このセクションでは、スピーカーは、学習アプローチと、評価プロセスをリバースエンジニアリングして、どの要素がその評価と一致するかを調べる方法について説明します。機械学習プロセスは、ランダムな要因から始まり、1 億件の評価を何度も繰り返すことで評価値に向けて微調整し、最終的に評価に関して意味のある要因を見つけます。次に、スピーカーは、金融アプリケーション、信用承認の比喩を使用して、学習問題を構成する数学的要素を説明します。これには、申請者情報、信用力パターン、および信用を承認または拒否する決定が含まれます。
  
  
• 00:15:00 このセクションでは、講師が学習上の問題と、それが単位承認にどのように適用されるかについて説明します。目標関数は未知の理想的な与信承認式であり、仮説は目標関数を近似するために作成された式です。データを使用して仮説を学習し、学習アルゴリズムを使用して、仮説セットと呼ばれる一連の候補数式から数式を作成します。学習アルゴリズムを仮説セットに制限する理由は、制限のない式を持つことのマイナス面を回避し、事前定義された一連の式から選択できることのメリットを享受するためです。
  
  
• 00:20:00 このセクションでは、スピーカーは学習問題を画像として示し、図のソリューション コンポーネントについて説明したと説明します。彼は、仮説セットが学習の理論において重要な役割を果たしていると述べています。彼は、仮説セット、学習アルゴリズム、および最終的な仮説が、パーセプトロン モデルなどの学習モデルとパーセプトロン学習アルゴリズムを構成していると説明しています。彼はさらに、顧客のさまざまな属性に基づくクレジット スコア式を使用した単純なパーセプトロン モデルの例を示します。これは、しきい値に基づいてクレジット カードの申し込みを承認または拒否できます。
  
  
• 00:25:00 このセクションでは、教授は仮説 h と、同じ関数形式を持つすべての仮説を含む仮説セットを定義する方法について説明します。データを 2 つの領域に分割するパーセプトロン モデルを使用することで、学習アルゴリズムはパラメーターをいじって、正しい解に到達することを期待して線を動かします。教授はまた、パーセプトロン学習アルゴリズムを紹介します。これは、トレーニング データを取得し、仮説の空間をナビゲートして、顧客に提供する最終的な仮説を導き出します。アルゴリズムはランダムな重みから始まり、最終的な仮説で使用される正しい重みが見つかるまで移動します。
  
  
• 00:30:00 このセクションでは、スピーカーはパーセプトロン学習アルゴリズム (PLA) について説明します。PLA は、データ ポイントをバイナリ カテゴリに分類できる線形モデルです。アルゴリズムは、データセット内のすべての属性を考慮した重みベクトルを使用します。ポイントが誤分類された場合、アルゴリズムは重みベクトルを更新して、その特定のポイントでより適切に動作するようにします。講演者はまた、このアプローチと PLA の反復にはどのように問題があるかについても説明しますが、データが元々線形分離可能であった場合、誤分類されたポイントを選択してそれに反復を適用することにより、最終的には正しい解にたどり着くことができます。
  
  
• 00:35:00 このセクションでは、講師がさまざまなタイプの学習について説明します。まず、最も一般的なタイプの教師あり学習から始めます。このタイプの学習には、顧客の信用行動など、明示的に与えられた出力を持つデータを使用して、将来のインスタンスを分類することが含まれます。講師は、サイズや質量などの物理的な測定値を使用して、さまざまなコインを認識するよう機械に学習させる例を使用します。コインは測定値に基づいてグループ化できるため、マシンがそれらを区別するのに役立ちます。言及されている他のタイプの学習には、コースの後半で詳しく説明する教師なし学習と、簡単に紹介する強化学習が含まれます。
  
  
• 00:40:00 このセクションでは、講師がコインの分類と言語学習の例を使用して、教師あり学習と教師なし学習について説明します。教師あり学習では、トレーニング データと正しい出力が与えられ、システムがトレーニングされると、将来の例を分類するために使用できます。ただし、教師なし学習では、入力データのみが提供され、目的の関数はわかりません。それにもかかわらず、教師なし学習は、データをクラスターにグループ化し、将来の分類に役立つパターンを特定するのに依然として役立ちます。講師はまた、教師なし学習を言語学習にどのように使用できるかを説明します。言語に没頭し、言語に触れることで言語のモデルを開発します。
  
  
• 00:45:00 このセクションでは、システムが経験を通じて学習できるようにする方法として、強化学習の概念をビデオで説明しています。講師は、幼児が熱いお茶に触れる例を使用して、強化学習がどのように機能するかを説明します。システムが任意のアウトプット (クレイジーなアウトプットも含む) を作成できるようにし、結果に報酬を与えたり罰を与えたりすることで徐々にコンディショニングに依存するようにすることで、システムは最終的にバックギャモンなどのゲームをナビゲートすることを学習できます。このアプローチは、コードを記述してその背後にある数学を研究する代わりに、目的のシステムを作成するための便利で簡単な方法です。
  
  
• 00:50:00 講義のこのセクションでは、教授が教師あり学習の問題をクラスとオンラインの聴衆に提示します。この問題には、いくつかの点が +1 にマップされ、他の点が -1 にマップされたトレーニング データが含まれます。目標は、ターゲット関数を学習し、テスト ポイントの関数の値を決定することです。教授は、ターゲット関数が不明であり、任意の関数である可能性があることを強調しています。そのため、与えられたトレーニング セットの外部に適用されるパターンを決定することは不可能です。これは学習にとって困難な課題であり、単に例を暗記する以上の方法が必要です。
  
  
• 00:55:00 講義のこのセクションでは、教授が質疑応答セッションからの質問について話し合います。彼は線形分離可能性の問題に取り組み、それは単純化された仮定ですが、線形不可分の場合を処理できるアルゴリズムがあり、非線形に分離できない点を線形に分離可能にする手法が来週研究されると説明しています。教授はまた、パーセプトロン アルゴリズムの収束率は次元によって変化し、永遠にかかる病理学的ケースを構築できるとも述べています。さらに、検出する特定のパターンがあるかどうかを知ることは難しいが、目的の機能とそれを学習できるかどうかは分離されていると説明しています。これについては、後で完全な講義で説明します。
  
  
• 01:00:00 ビデオのこのセクションでは、教授は、与えられた特定のデータ セットを見ないようにする方法や、別のデータ セットが現れたときに失望しないようにシステムを調整する方法について説明しています。彼は、機械学習は最小限の仮定で最大限の領域をカバーしようとする分野であり、実際にも科学的にも適用できると説明しています。さらに教授は、最適化は機械学習のツールであり、機械学習者がそれ自体のために研究するものではないと述べています。最後に、機械学習の仮説セットは、連続的または離散的のいずれでもかまいません。
  
  
• 01:05:00 このセクションでは、クレジット承認におけるサンプリング バイアスと、それが使用されるデータの品質にどのように影響するかについて教授が話します。彼は、偏ったサンプルを取得すると不正確な結果につながる可能性があると説明していますが、顧客ベースは分類領域の奥にあるため、顧客ベースを使用して意思決定を行うことができます.次に、データ収集の理論的および実際的な側面と、合理的なシステムを作成するために必要なデータの量について説明します。最後に、彼は仮説セットのサイズを選択する問題に取り組み、学習の目標はデータを使用して予測し、データセットの外で一般化する合理的なパターンを考え出すことであると述べています。
  
  
• 01:10:00 学習問題に関する講義のこのセクションでは、教授は機械学習における理論の役割、具体的には仮説セットの洗練度と一般化に関するステートメントを作成するために必要なデータ量をどのように測定するかについて説明します。教授は、検証を使用してフィードバックを修正する方法や、仮説に対するさまざまなタイプの関数の使用など、オンラインの聴衆からの質問にも対応します。さらに、誤差関数の選択が最適化手法の選択にどのように影響するかに焦点を当てて、学習アルゴリズムと仮説セットの役割について説明します。最後に、教授は、出力がパーセプトロン アルゴリズムのしきい値に正確に達した場合に何が起こるかを明らかにします。
  
  
• 01:15:00 講義のこのセクションでは、教授は、機械学習が機能するためにはパターンが必要であるという考えについて説明します。パターンがなければ、学ぶことは何もありません。彼はまた、データの重要性と、データが学習の鍵であることにも言及しています。教授は、学習を可能にするコンポーネントを完全に理解するために、アウトラインの数学的に傾斜したセクションを調べることの重要性を強調しています。彼はまた、なぜパーセプトロンがしばしばニューロンに関連するのかという問題にも簡単に触れ、生物学との類似性については後で詳しく説明することに言及しています。最後に、教授は、モデルの選択とベイジアンの原則については、コースの後半で説明すると述べています。
  
  
• 01:20:00 このセクションでは、講演者がコースに機械学習手法を含める基準について説明します。彼は、実際に最も有用な方法が含まれており、実際にそれらを使用するための概念とツールの全体像を理解することを目指していると述べています.彼は、サポート ベクター マシンについて議論する際に触れる可能性のある、一般化に影響を与えるさまざまな階層的方法があると述べていますが、全体として、彼の焦点は純粋な理論ではなく実践的な知識を提供することにあります。

[MetaQuotes]

講義 2. 学習は実現可能か?

Caltech の機械学習コース - CS 156. 講義 02 - 学習は実現可能ですか?

講義では、学習の実現可能性、特に与えられたデータからパターンを決定する際の機械学習の使用について説明します。講師は、確率における nu と mu の概念と、それが学習問題にどのように関係しているかを紹介します。確率の追加が検討され、ターゲット関数を損なうことなく学習の実現可能性が可能になります。つまり、学習される関数について仮定を行う必要はありません。オーバーフィッティングの概念と、それがモデルの洗練度にどのように関係するかについて説明し、仮説の数が多いと一般化が不十分になります。最終的に、講義は、nu が mu に等しいという意味についてのスライドを確認するよう要求して終了します。

• 00:00:00 このセクションでは、Yaser Abu-Mostafa が、機械学習がアプリケーションにとって適切な手法であるかどうかを判断するための 3 つの基準について説明します: 学習可能なパターンがあるかどうか、そのパターンを数学的に特定できないかどうか、およびパターンを表すのに十分なデータが存在する場合。さらに、パターンがなくても機械学習を試すことはできますが、失敗する可能性があり、パターンが数学的に決定できる場合、機械学習は最適な手法ではない可能性があると説明しています。 Abu-Mostafa はさらに、ターゲット関数は不明ですが、データの入力と出力が提供される教師あり学習について説明し、出力が学習プロセスのスーパーバイザーとして機能するため、「教師あり」と呼ばれる方法について説明します。
  
  
• 00:05:00 このセクションでは、講師が学習の実現可能性と、未知の関数を学習することがいかに不可能であるかについて説明します。この問題に対処するために、講義では、赤または緑のビー玉のビンからサンプルが採取され、mu で表される赤いビー玉が選択される確率に焦点を当てます。講義では、この状況を学習に置き換え、ジレンマの解決策を見つけ、最終的に学習は特定の意味で実行可能であると宣言します。
  
  
• 00:10:00 ビデオのこのセクションでは、ビー玉が入った不透明な容器を使った実験についてプレゼンターが説明しています。赤いビー玉を選ぶ確率は mu で、緑色のビー玉を選ぶ確率は 1 - mu です。 mu の値は不明であり、目標は、サンプル頻度 nu (ビー玉のサンプル中の赤いビー玉の割合) が mu に関する情報を提供できるかどうかを判断することです。小さいサンプルの場合、答えはノーですが、大きいサンプルの場合、nu は mu に近い可能性が高くなり、統計的推論の可能性が開かれます。科学と工学では、可能性と可能性を区別することが重要です。
  
  
• 00:15:00 このセクションでは、講師がヘフディングの不等式を紹介します。これは、VC 次元について何かを証明するためにコース全体で使用される公式です。この不等式は、サンプル頻度が所定の許容範囲内でビン頻度に近似しないイベントの確率が小さく、サンプル サイズが大きくなると指数関数的に減少することを示しています。ただし、許容誤差を小さくすると指数が高くなり、負の指数関数の利点が弱まります。 2 の数式は、元の数式よりも優先されます。
  
  
• 00:20:00 講義のこのセクションでは、真の周波数からのサンプル周波数の偏差を制限するツールとして、ヘフディングの不等式が紹介されています。この不等式はすべての N とイプシロンに当てはまるため、指数関数が含まれているにもかかわらず、非常に魅力的な命題となっています。 nu の確率分布は、未知の値である mu に明示的に依存しますが、不等式は mu に依存しないという利点があります。 N とイプシロンの間のトレードオフについても説明します。イプシロンが小さいほど、同じレベルの確率限界を補償するために必要な N が大きくなります。最後に、nu が mu とほぼ同じであるというステートメントの論理が説明され、mu が nu とほぼ同じであることを意味します。
  
  
• 00:25:00 ビデオのこのセクションでは、スピーカーは確率における mu と nu の概念と、学習の問題との関係について説明します。彼らは、確率の目的は、さまざまなサンプルを生成して確率を計算することによって nu から mu を推測することですが、学習の問題では、未知の量は 10 次のユークリッド空間である可能性があるドメインを持つフル関数であると説明しています。次にスピーカーは、仮説と目標関数の間の一致を示すために、このシナリオでの色分けの概念を紹介します。このマッピングを通じて、話者は効果的に確率を学習問題に追加しました。
  
  
• 00:30:00 このセクションでは、学習問題への確率の追加について説明します。確率は、入力空間に確率分布を適用することによって入力空間に導入されます。これにより、ポイントが個別に生成されます。導入される確率分布は仮定を必要とせず、機械は任意の確率分布に適用できます。確率の追加により、ターゲット関数を損なうことなく学習の実現可能性が可能になります。つまり、学習される関数について仮定を行う必要はありません。ただし、検証の問題について説明します。ここで説明する状況は、与えられたデータに基づいて信用承認のための特定の公式を求める銀行に相当します。
  
  
• 00:35:00 このセクションでは、講師が単純な仮説検定問題を学習可能なバイナリ問題に変換する方法を説明します。単一のビンと高いしきい値から始めて、学習問題への寄与が弱いため、居住年数に対して 0.1 の重みを選択します。ただし、この手法は複数の仮説を考慮していません。つまり、複数のビンから選択する方が賢明です。これには、効果的な学習を可能にするさまざまなサンプルをスキャンする必要があります。講師は、残りの講演で使用される表記法を紹介します。nu と mu は、それぞれサンプル内とビン内の周波数を表すため、わかりやすい名前で呼び、E_in をサンプル内エラー率として紹介します。
  
  
• 00:40:00 講義のこのセクションでは、教授がサンプル内パフォーマンスとサンプル外パフォーマンスの表記法を紹介します。サンプル外のパフォーマンスとは、これまでに見られなかったものを指し、モデルがサンプル外のデータでうまく機能する場合、それは学習したことを意味します。サンプル内とサンプル外のパフォーマンスの違いを測定するために使用されるヘフディング不等式は、仮説の複数のビンに適用されますが、教授は、この場合は適用されないと説明しています。次に、それが当てはまらない理由が議論され、聴衆はポイントを説明するためにコインを 5 回投げ、結果を記録するよう求められます。
  
  
• 00:45:00 このセクションでは、データが 2 つのカテゴリのいずれかにランダムに分類される学習状況に Hoeffding の不等式がどのように適用されるかについて教授が説明します。彼は、ビンが複数あると問題の処理が難しくなり、ビンが 5 つの表を出す確率を計算するため、Hoeffding の不等式の保証が希薄になると説明しています。各ビンは 5 つの表のテストに合格する可能性がありますが、どこかで何か悪いことが起こる可能性が非常に高いため、ビンの実際の確率を示すものではありません。教授は、複数のビンを効率的に処理できるものを見つける必要があると述べて、このセクションを終了します。
  
  
• 00:50:00 このセクションでは、講師は、サンプル内エラーに基づいてセットから 1 つの仮説を選択することを含む、本物の学習シナリオの下で、サンプル外エラーに近いサンプル内エラーの確率について説明します。基準。このイベントの確率は、有限集合からの仮説が正しくない確率以下であり、これは確率のユニオン バウンドを使用して計算されます。この境界は悲観的で重複を考慮していませんが、すべての確率の上限を計算するために使用できます。この範囲内の各項は固定仮説に対応し、Hoeffding 範囲で置き換えることができます。最終的に、サンプル内誤差がサンプル外誤差に近い確率は、指数関数を含む項によって制限されますが、厄介な追加要因が含まれています。
  
  
• 00:55:00 このセクションでは、オーバーフィッティングの問題と、それが使用されるモデルの洗練度とどのように関係しているかについて教授が説明します。仮説の数が多いほど、何か悪いことが起こる可能性も高くなります。教授は、より洗練されたモデルを使用すると、サンプル内の記憶とサンプル外の一般化が不十分になる可能性があると説明しています。質疑応答セッションでは、ヘフディングの不等式とその意味について説明します。結果が些細な場合や、モデルを学習するための仮説の数がしばしば無限になる場合なども含まれます。講義は、nu が mu に等しいという意味についてのスライド 6 の復習を要求して終了します。
  
  
• 01:00:00 ビデオのこのセクションでは、統計学における原因と結果の概念と、それが機械学習にどのように関係しているかについて、教授が説明しています。彼は、サンプルの周波数が効果であり、ビンが原因であることを強調しています。この理解は、ヘフディングの不等式を使用してサンプルに基づいてビンを推測し、mu を定数として、nu を原因として扱う場合に重要です。教授はまた、機械学習の各 h は仮説であり、モデルは選択可能な仮説のセットであることを明確にしています。モデルの複雑さと個々の仮説については、コースの後半で説明します。最後に、教授は、サンプル平均に対する何かの期待値を取ることによって達成できるバイナリ応答だけでなく、さまざまな応答をサポートするために方程式を拡張する方法について説明します。
  
  
• 01:05:00 このセクションでは、教授は、学習は可能ですが、変数の分散を考慮する必要があると説明しています。彼は、関数の期待値とサンプル平均は確率に関連しており、それは確率とサンプル平均の単純なケースにすぎないと述べています。さらに、異なる仮説は異なる色につながるため、学習において複数の仮説を表すには複数のビンの使用が必要であることを明確にしています。教授はまた、最適な超平面を選択する方法と、学習アルゴリズムが特定の解を選択することでこの問題を解決する方法についても説明します。最後に、彼は、学習に必要な唯一の確率の呼び出しは、確率分布を X に置くことで、学習における確率分析の利点を得ることができるが、ベイジアン アプローチは確率分布を最後に H に置くことを指摘しています。コース。
  
  
• 01:10:00 このセクションでは、学習アルゴリズムで使用される仮説セット (H) の柔軟性を中心に説明します。記号「g」は、H からアルゴリズムによって選択された最終的な仮説を示すために使用されます。ただし、g は、データと学習ルールに従って仮説セットからそれを選択するために行われた学習プロセス全体を指すため、異なる場合があります。また、パーセプトロン アルゴリズムまたは任意の線形学習アルゴリズムは各ステップで仮説を選択しますが、目的は H から 1 つの正しい最終仮説 g を選択することであるため、分析の観点からは隠れたプロセスであることに注意することが重要です。最後に、修正ヘフディング不等式は単純なヘフディング不等式の拡張であり、悪いことが起こる可能性を考慮しながら、良好なパフォーマンスを保証するために、仮説セット内の多数の仮説について同時にステートメントを作成できるようにします。
  
  
• 01:15:00 このセクションでは、教授はヘフディングの不等式と統計における p 値の関係について説明します。彼は、ヘフディングの不等式は、サンプルの信頼性と偏差の確率の推定に関連していると説明しています。彼はまた、統計には他にも大数の法則があると指摘していますが、一般化の理論を理解するのに最も役立つ公式として、この公式に焦点を当てています。教授は、インサンプルがアウトオブサンプルに近いというさまざまな兆候とエラーの確率を研究することは有用ですが、それはコースの中心的な主題ではないと述べています。講義は終了し、学生は翌週まで解雇されます。

[MetaQuotes]

講義 3 -線形モデル I

Caltech の機械学習コース - CS 156. 講義 03 - 線形モデル I

この講義では、機械学習における線形モデル、入力表現、パーセプトロン アルゴリズム、ポケット アルゴリズム、および線形回帰のトピックについて、分類での使用を含めて説明します。教授は、実際のデータを使用してさまざまなアイデアを試すことの重要性を強調し、学習アルゴリズムの生活を簡素化する機能の概念を紹介します。この講義では、線形回帰における疑似逆行列の計算上の側面と、分離不可能なデータの分類に線形回帰を使用するときに発生する可能性がある問題についても説明します。最後に、非線形変換を使用してデータをより線形にする概念が提示され、原点からの変換 x1² および x2² を使用して分離可能なデータを実現する方法を示す例が示されます。

また、教授は、機械学習における線形モデルに関連するさまざまなトピックをカバーしています。彼は、非線形変換とそれらの選択に関するガイドライン、バイナリ分類におけるサンプル内エラーとサンプル外エラー、相関分析のための線形回帰の使用、および入力からの意味のある特徴の導出について説明しています。教授はまた、E_in と E_out の違いと、それらがモデルのパフォーマンスにどのように影響するかを理解することの重要性を強調しています。最後に、線形回帰と最尤推定の関係、非線形変換の使用、機械学習の概念を理解する上での理論の役割について触れています。

• 00:00:00 このセクションでは、Yaser Abu-Mostafa がモデル内の複数の仮説について詳しく説明します。何か悪いことが起こる可能性が複数の仮説に蓄積される可能性があるため、結合境界 (数学的規則) を適用できます。この手法により、イベントまたは別のイベントの確率を個々の確率の合計以下にすることができ、何か悪いことが起こる確率を制限するための便利なツールが提供されます。 1 つの仮説セットまたはビンが 1 つの仮説に対応する場合、最終的な仮説が正しくない可能性は低くなります。ただし、仮説セットが大きくなると、M ファクターが大きくなり、確率が無意味になります。
  
  
• 00:05:00 このセクションでは、講師が機械学習における線形モデルの重要性について説明し、講義で取り上げる一連のトピックを提供します。これには、パーセプトロンとその非分離データへの一般化、実数値関数、そして最終的には非線形のケースに。彼はまた、さまざまなアイデアを試すために使用される郵便局の郵便番号からの実用的なデータ セットを紹介し、実際のデータでアイデアを試すことの重要性を強調しています。講師は入力表現の問題を調べ、16 x 16 グレー レベル ピクセルの生入力の 256 の実数をエンコードするという課題を強調します。
  
  
• 00:10:00 このセクションのビデオでは、入力表現の概念と、学習アルゴリズムを簡素化する機能のアイデアについて説明します。講師は、強度や対称性などの画像の記述子を抽出して、生の情報のより高いレベルの表現を取得する例を示します。これらの機能を使用することで、アルゴリズムは元の空間の 257 個のパラメーターすべてではなく、いくつかのパラメーターの値を決定するだけで済みます。これは一般化に適しています。次に、強度座標と対称座標の散布図を提示して、特徴が問題を線形分離可能にする方法を説明し、決定境界を決定する際のパーセプトロン学習アルゴリズムの役割を紹介します。
  
  
• 00:15:00 このセクションでは、データが線形分離可能でない場合のパーセプトロン学習アルゴリズムの動作について学習します。誤分類を一度に 1 つずつ修正するという性質上、誤差が上下する場合があり、そのような場合の収束は保証されません。これを解決するために、ポケット アルゴリズムを導入します。これは、反復ごとに中間仮説のサンプル内誤差を測定し、最良のものだけをポケットに保持することを意味します。最後に、ポケットにある仮説を最終仮説として報告します。ポケット アルゴリズムは、その後の値よりも優れていることがわかった各反復でのポケット値を考慮するため、より良い結果を提供します。
  
  
• 00:20:00 講義のこのセクションでは、Abu-Mostafa 教授が、一般的な不可分データに使用できるパーセプトロン学習アルゴリズムの修正版であるポケット アルゴリズムについて説明します。アルゴリズムは特定の反復で終了し、ポケット値を報告します。彼は、ポケット アルゴリズムの分類境界はパーセプトロン学習アルゴリズムの分類境界よりも優れていると説明していますが、データはまだ完全に分離可能ではありません。次に、変数間の関係を見つけるため、特に異なるコースの GPA と将来の収入との関係を分析するために、一般的に使用される統計的アプローチとして線形回帰が導入されます。最後に、与信承認の例を再検討して、顧客のデータに基づいて顧客の与信限度額を予測するために回帰を使用する方法を示します。
  
  
• 00:25:00 このセクションでは、教授は線形回帰の概念を紹介し、入力変数に基づいて実際の出力値を予測するために使用されることを説明します。出力は、入力変数に関して線形形式をとる仮説です。変数は入力としてエンコードされ、アルゴリズムは信号の線形性に依存します。この例のデータ セットは、担当者が与信申請を評価し、与信枠を決定した以前の顧客からの履歴データです。目標は、信用枠を決定するシステムを自動化するために専門家が行うことを再現することです。線形回帰アルゴリズムは誤差を測定し、f を適切に近似する仮説を決定するために最適な重みを見つけようとします。線形回帰で使用される標準誤差関数は二乗誤差です。
  
  
• 00:30:00 このセクションでは、講師はクレジット ラインを推定する方法と、線形回帰で一般的に使用される二乗誤差などの誤差測定値を定義することの重要性について説明します。サンプル内エラーは、各例がエラーに寄与しているデータセットで仮説がどの程度うまく機能しているかを測定するために使用されます。線形回帰アルゴリズムは、二乗誤差規則に従ってデータに適合する直線を見つけることにより、この誤差を最小限に抑えようとします。このアルゴリズムは、ラインが超平面である高次元空間に適用されます。 E_in の式は、さまざまな x_n を統合するものの二乗ノルムとして表されます。
  
  
• 00:35:00 このセクションでは、入力データが出力 y のベクトルを持つ行列 X として表される線形モデルの概念が導入されます。勾配は、パラメーター w に関して E_in を最小化するために取得されます。これは、X 転置 X (可逆正方行列) を含む単純な二次方程式を解くことにつながります。このため、解決策は簡単です。w の式は X^† です。ここで、X^† は X の疑似逆数であり、X 転置 X に X 転置を乗じた逆数の省略形です。 X は可逆でないため、従来の逆はありませんが、疑似逆はあります。
  
  
• 00:40:00 このセクションでは、講師が線形回帰における疑似逆数の計算面について説明します。疑似逆行列の式には、逆行列と乗算が含まれます。これは、大きな行列の場合、計算量が多くなる可能性があります。ただし、講師は、疑似逆数または線形回帰の解を計算するために利用できる多くのパッケージがあるため、これはほとんどの実際のアプリケーションでは問題ではないことに注意しています。線形回帰を使用するには、データを正しい形式で入力し、行列 X とベクトル y を作成し、これらを疑似逆行列の式に代入する必要があります。結果の乗算により、線形モデルの重みである w の値が得られます。
  
  
• 00:45:00 このセクションでは、分類に線形回帰を使用するという概念が紹介されています。 2 値分類関数も実数値であり、線形回帰を使用してこれらの関数を近似的に学習できることが説明されています。線形回帰から得られた重みは、パーセプトロン アルゴリズムなどの分類アルゴリズムの初期重みとして使用することもできます。これにより、ジャンプ スタートが可能になり、収束が速くなる可能性があります。さらに、線形回帰から得られた信号の符号を使用して +1 または -1 として分類するという考え方について説明します。最後に、線形回帰境界について、例を使用して説明します。
  
  
• 00:50:00 講義のこのセクションでは、分類に線形回帰を使用する場合、特に分離不可能なデータを扱う場合に発生する可能性のある問題について教授が説明します。彼は、アルゴリズムがすべての値を同じ分類に強制しようとするため、分類プロセスでエラーが発生することが多いことを示しています。次に、居住年数に基づいて与信枠の安定性を判断する場合など、非線形変換を使用してデータをより線形にするというアイデアを紹介します。ただし、これらのモデルを効果的に使用するためには、「線形」が何を意味するのかを理解することが重要であると彼は強調します。
  
  
• 00:55:00 このセクションでは、パーセプトロンや線形回帰などの学習アルゴリズムを導出する際の重みの線形性の重要性について講師が説明します。これにより、線形モデルの領域を離れることなく、入力に対して非線形変換を行う可能性が開かれます。これは、非線形機能に与えられる重みがパラメーターに線形的に依存するためです。原点からの x1² および x2² 測定値を使用してデータが変換され、分離可能なデータが得られる非線形変換の例が示されています。ただし、非線形変換は、一般化の問題に敏感な負荷の高い問題であるため、ガイドラインについては次の講義で詳しく説明します。
  
  
• 01:00:00 このセクションでは、教授が非線形変換と、それらを選択する際にどこまで行けるかについてのガイドラインについて説明します。彼は、非線形変換を選択する際の一般化と理論的知識の重要性を強調しています。次に、特にバイナリ分類のコンテキストで、サンプル内エラーとサンプル外エラーに議論が移ります。教授は、学習ではサンプル内のエラーのみが処理され、サンプル外のエラーは暗黙のうちに処理され、サンプル内でうまくいくとサンプル外でもうまくいくという保証があることを明確にしています。分類におけるエラーの確率とエラーの頻度の違いについても説明します。次に、線形回帰を使用して、GPA と将来の収入との相関関係を決定する方法に触れます。データの入手可能性と線形回帰への w_0 の組み込みについても簡単に説明します。
  
  
• 01:05:00 このセクションでは、教授は、変数の値に応じてオフセットを補正し、適切なモデルを可能にするため、線形回帰にはしきい値が必要であると説明しています。バイナリの場合、+1 または -1 を出力として使用すると、線形回帰からの仮説は例のターゲットからの最小二乗誤差を持ち、仮説の出力は値 +1 または -1 に最も近くなります。平均二乗誤差。この手法は機能しますが、線形回帰は分類を台無しにする可能性のある無関係なポイントを当てはめようとするため、ポイントを正しく分類できない場合があります。教授は、線形回帰を初期重みとして使用し、適切な分類アルゴリズムを使用してさらに微調整することを提案しています。機能の導出に関して、一般的なアルゴリズムはありません。最適なアプローチは、生の入力を見て、問題のステートメントに基づいて意味のある機能を推測することです。ただし、機能が多すぎると問題になる可能性があり、非線形変換が機能空間の簡素化に役立つ場合があります。
  
  
• 01:10:00 このセクションでは、生の入力のより高いレベルの表現である機能の概念について教授が説明します。線形モデルは、機械学習における多数のモデルの構成要素であり、場合によっては他のモデルの方が増分パフォーマンスが向上する可能性がありますが、線形モデルがその役割を果たしていることを彼は強調しています。教授はまた、E_in と E_out の違いを強調しています。E_in は簡単に評価できますが、E_out ではサンプル内エラーがサンプル外エラーを追跡するという理論的な保証が必要です。さらに、線形回帰は、入力変数を非線形変換によって変換することにより、多項式のフィッティングに引き続き使用できると説明しています。最後に、彼は確率とノイズに関するより多くの仮定を含む、統計文献における線形回帰の最小二乗と最尤推定の関係について簡単に話します。
  
  
• 01:15:00 このセクションでは、教授は線形回帰モデルと最尤の関係について話しますが、分布についてあまり多くの仮定を行うことなく、機械学習のコンテキストで線形回帰を提示することを好みます。教授はまた、非線形変換と、多項式や動径基底関数などの機械学習での非線形変換の使用方法についても説明します。彼はまた、疑似乱数ジェネレーターでのパターンの検出に関する質問と、目前の問題に応じた連続応答と離散応答のさまざまな処理についても説明します。最後に、教授は、機械学習技術をより深く理解する上での理論の重要性を強調しています。

[MetaQuotes]

講義 4 - エラーとノイズ

Caltech の機械学習コース - CS 156. 講義 04 - エラーとノイズ

機械学習コースの講義 04 では、Abu-Mostafa 教授が実際の機械学習の問題におけるエラーとノイズの重要性について説明しています。学習において線形性を保つために不可欠な、特徴空間 Z を使用した非線形変換の概念について説明しています。講義では、教師あり学習図のコンポーネントについても説明し、仮説のパフォーマンスを定量化する際のエラー測定の重要性を強調します。ノイズの多いターゲットは、実世界の学習問題の典型的なコンポーネントとして導入されます。これは、サンプル内エラーを最小限に抑えるときに考慮する必要があります。講義は、学習の理論と、サンプル内エラー、サンプル外エラー、およびモデルの複雑さの評価におけるその関連性に関する議論で終わります。

教授は、確率分布の変化が学習アルゴリズムにどのように影響するか、およびアプリケーションごとにエラー測定値がどのように異なるかを説明しています。彼はまた、線形回帰のアルゴリズム、最適化における誤差尺度の二乗誤差と絶対値の使用、および機械学習モデルにおける複雑さとパフォーマンスの間のトレードオフについても説明しています。教授は、入力空間と特徴抽出の違いを明確にし、一般化を同時に改善し、エラーを最小限に抑える方法の理論については、今後の講義で取り上げる予定であると述べています。

• 00:00:00 このセクションでは、Abu-Mostafa 教授が、機械学習における実際の問題を考える際のエラーとノイズの重要性について説明します。彼は最初に、非線形変換の概念と、それが変数を変換し、学習プロセスに不可欠な重みベクトルである w の線形性を維持するのにどのように役立つかを再検討します。次に、学習図にエラーとノイズの概念を導入し、実際の状況で発生する実際的な考慮事項を認めます。講義には、非線形変換によって分離できる非分離データの例も含まれています。
  
  
• 00:05:00 このセクションでは、phi と呼ばれる非線形変換について説明します。この変換では、サンプル空間 x_n 内のすべての点が変換され、対応する点 z_n が特徴空間 Z で取得されます。これは高度に非線形な空間である可能性があります。これにより、データセットが新しい特徴空間で線形に分離可能になり、線形回帰や分類などの単純な線形モデルアルゴリズムによって適用され、分離境界が取得されます。ただし、テスト ポイントが指定された場合、それは入力空間内にあるため、逆変換を使用してこのポイントを変換し、それに応じて分類される特徴空間内の場所を特定する必要があります。この手順は、非線形変換の任意のサイズの次元で適切に機能しますが、一般化の問題を回避するために変換に注意することが重要です。
  
  
• 00:10:00 このセクションでは、インストラクターが教師あり学習図の構成要素について説明し、エラー測定とノイズの多いターゲットの概念を紹介します。彼は、誤差測定の目的は、仮説が未知のターゲット関数をどの程度近似しているか、どの程度近似しているかを定量化することであると説明しています。誤差測度は 2 つの関数の E として定義され、彼はそれが定量的な測度であることを強調しています。彼はさらに、ノイズの多いターゲットは、考慮に入れなければならない実際の学習問題の実際的な要素であると述べています.
  
  
• 00:15:00 このセクションでは、スピーカーは、機械学習アルゴリズムで仮説関数がターゲット関数をどの程度近似しているかを測定するためにエラー関数がどのように使用されるかを説明します。エラー関数は、2 つの関数の値を同じ時点で比較して計算された数値を返します。点ごとの定義が一般的に使用され、点ごとの誤差の平均を使用して、空間全体の誤差関数を定義します。エラー関数のサンプル内エラーはトレーニング セット内の点ごとのエラーの平均ですが、サンプル外エラーではデータをトレーニング セットとテスト セットに分割する必要があります。スピーカーは、正確な仮説関数を開発するために、誤差関数を最小限に抑えることの重要性を強調しています。
  
  
• 00:20:00 このセクションでは、講師は誤差測度の標本外バージョンである標本外誤差について説明します。期待値は、入力空間 X 内のすべての点を平均することによって得られます。バイナリ エラーは、入力空間 X の確率分布を使用して計算される全体的なエラーの確率です。学習ダイアグラムは、エラー測定値の追加で更新されます。 、ポイントごとに定義されます。エラー測定値は、2 種類のエラー (偽の受け入れと偽の拒否) による指紋認証のコンテキストで定義されます。誤差測定を定義するとき、より良い仮説を得るために、各タイプの誤差にペナルティが課されます。
  
  
• 00:25:00 このセクションでは、講演者は、指紋認証システムにおけるエラーとノイズの概念と、機械学習を使用して、指紋に基づいて個人を承認または拒否する仮説を作成する方法について説明します。講演者は、あるエラー関数を別のエラー関数よりも選択することに固有の利点はなく、それはアプリケーション ドメインに依存することに注意します。たとえば、スーパーマーケットの場合、虚偽の拒否は、顧客をイライラさせ、他の場所にビジネスを移す可能性があるため、コストがかかりますが、虚偽の受け入れはそれほど大きな問題ではありません.ただし、CIA の場合、偽の承認はセキュリティ侵害につながる可能性があり、偽の拒否よりもコストがかかります。したがって、特定のアプリケーションに基づいて誤差行列を調整する必要があります。
  
  
• 00:30:00 このセクションでは、スピーカーは、実際の学習問題におけるエラー測定の重要性について説明し、使用するエラー測定は、不完全なシステムを使用するユーザーが指定する必要があることを説明します。彼は、ユーザーが定量的な誤差関数を明確に表現できる場合、それが使用する誤差関数であると示唆しています。ただし、ユーザーが特定のエラー関数を指定しない場合は、他のもっともらしいまたは友好的な手段を使用できます。もっともらしい尺度には分析上のメリットがあり、友好的な尺度は使いやすいです。話者は学習図を修正してエラー測定を導入します。これは、システムが何を学習する必要があるかを明確にする上で重要です。
  
  
• 00:35:00 このセクションでは、誤差測定と学習アルゴリズムにおけるその役割に焦点を当てます。誤差測定には、最終的な仮説を評価してターゲット関数を近似する機能と、誤差測定値を学習アルゴリズムに供給してサンプル内誤差を最小化する機能の 2 つの主な機能があります。さらに、実生活の問題の標準としてノイズの多いターゲットが導入されます。ターゲット関数は常に関数であるとは限らず、説明されていない情報や状況からのノイズの影響を受ける可能性があるため、決定論的ではなく確率論的になります。ターゲット関数の代わりにターゲット分布が使用されます。ここで、y は x が与えられた確率分布によって生成され、確率依存性を表します。ノイズの多いターゲットの概念は、決定論的なターゲット関数とノイズのアイデアを導入することで対処されます。このアプローチは、ターゲット分布の概念を単純化するために使用されます。
  
  
• 00:40:00 このセクションでは、スピーカーは機械学習におけるノイズの概念と、それが学習プロセスに与える影響について説明します。ターゲット関数は、x が与えられた場合の y の期待値として定義され、残りの部分はノイズと呼ばれます。ターゲット関数が明確に定義されていない場合は、確率分布として提示できます。ノイズの多いターゲットは、x が与えられた場合の y の条件付き確率分布として表すことができます。教師あり学習の学習図にはノイズの多いターゲットが含まれており、x が与えられた場合の x と y の確率が区別されます。関係する複雑さにもかかわらず、話者は、学習ダイアグラムのすべてのコンポーネントには、そこにある理由があることに注目しています。
  
  
• 00:45:00 このセクションでは、スピーカーは、入力が与えられた場合の信用力の確率分布であるターゲット分布の概念を説明し、それが教師あり学習を通じて学習しようとしていることを強調します。一方、入力分布は、ターゲット分布における入力の相対的な重要性を定量化する役割を果たしますが、学習しようとしているものではありません。講演者はまた、理論的には可能である 2 つの分布を混合すると、真のターゲット分布について混乱を招く可能性があることにも注意を促します。最後に、スピーカーは学習の理論を紹介します。この理論は、目標分布を近似することを目的としており、洞察を得て二次ツールを獲得する上での重要性を強調しています。
  
  
• 00:50:00 このセクションでは、講師は、関数 g の標本外誤差はゼロに近くなければならないと説明しています。これは、適切な一般化を意味するからです。ただし、この量を知ることは不可能であるため、適切なチェックが行われている限り、サンプル内エラーをサンプル外エラーの代用として使用できます。学習の完全なストーリーには、2 つの質問が含まれます。サンプル外のパフォーマンスがサンプル内のパフォーマンスに十分近いことを確認できるか (理論的な問題)、サンプル内のエラーを十分に小さくできるか (実際的な問題) )?講師は、純粋にノイズの多いデータが存在する財務予測など、一部のアプリケーションではサンプル外のパフォーマンスをゼロに近づけることは不可能であると述べています。それにもかかわらず、ヘッジファンドは、わずかな非効率性を利用して利益を上げることができます。
  
  
• 00:55:00 講義のこのセクションでは、教授が標本外誤差の重要性と、今後 2 週間で取り上げる理論について説明します。この理論では、サンプル内エラー、サンプル外エラー、およびモデルの複雑さを理解することを扱い、これらの要因を評価するために正式な定義が与えられます。この理論の主な目的は、パーセプトロンや線形回帰モデルのように、仮説セットが無限である場合の学習の実現可能性を特徴付けることです。理論は、モデルの精巧さを反映する単一のパラメーターによってモデルを測定します。これは、実際の学習に大きな違いをもたらすのに役立ちます。教授はまた、1 つの質問に答え、学習アルゴリズムにおける P of x の相対的な影響について説明します。
  
  
• 01:00:00 このセクションでは、確率分布の変化が学習アルゴリズム、特に学習例の選択にどのように影響するかについて教授が説明します。教授は、入力の確率分布が技術的な役割を果たしていると説明していますが、空間の特定の部分を他の部分よりも強調すると、アルゴリズムによる選択に影響を与える可能性があります。 x と y の N 対または x ごとの N y のいずれかを選択する最善の方法について、教授は、入力空間の非常に特定の部分を処理することを避け、一般化を改善するために、同じ入力ではなく、それらを個別に取得することを提案しています。最後に、教授は、一般化が不十分であるか一般化が良好であるかを測定する方法があり、それは理論の一部になると述べています。
  
  
• 01:05:00 このセクションでは、教授は、同じシステムと同じトレーニング データであっても、アプリケーション ドメインが異なれば誤差の測定値が異なる可能性があると説明しています。彼は、誤った受け入れと誤った拒否の適切なバランスが、スーパーマーケットと CIA でどのように異なるかの例を挙げています。教授はまた、同じ分布がトレーニングとテストに使用される限り、x の確率の構造 (P(x)) は教師あり学習では問題にならないことを明確にしています。彼はさらに、学習問題への確率論的アプローチを呼び出す目的には、任意の確率分布で十分であると説明しています。最後に、教授は、二乗誤差測定と閉じた形式のソリューションのケースを単純化するという要求を認めます。これについては、レビューで取り上げます。
  
  
• 01:10:00 このセクションでは、二乗誤差の最小化に基づいて線形回帰のアルゴリズムが導き出され、単純な閉形式解が得られた方法について教授が説明します。彼はまた、y の確率の不均衡が学習プロセスにどのように影響し、報酬とコストが等しいかについても説明しています。さらに、機械学習で入力空間を参照する場合、それは入力部分の観点からのみ可能なすべてのポイントを含むのに対し、特徴抽出は入力を処理して無関係な情報を削除することを含むことを明らかにします。主成分分析は、入力表現空間で有益な方向を検出するための別の方法です。
  
  
• 01:15:00 講義のこのセクションでは、教授は、最適化における誤差測定の絶対値と二乗誤差測定の使用について説明します。彼は、二乗誤差は滑らかな関数であり、多くの望ましい特性を持っているのに対し、絶対値は滑らかではなく、組み合わせ最適化につながる可能性があると説明しています。ただし、特定のメリットのために絶対値を使用する必要がある場合は、それでも使用できます。さらに、ターゲットは x を転置した w ではなく x の関数 f であり、ノイズは y と特定の x が与えられた場合の y の期待値との差であることを明確にしています。最後に、教授は、機械学習モデルの複雑さとパフォーマンスの間にはトレードオフがあると述べていますが、一般化を同時に改善し、エラーを最小限に抑える方法については、次の 4 つの講義で説明します。

[MetaQuotes]

講義 5 - トレーニングとテスト

Caltech の機械学習コース - CS 156. 講義 05 - トレーニングとテスト

データからの学習に関する彼のコースの講義 5 で、Abu-Mostafa 教授は、機械学習におけるエラーとノイズの概念、トレーニングとテストの違い、および生成できる二分法の最大数を測定する成長関数について説明します。与えられた点数に対して設定された仮説。彼はまた、仮説セットの複雑さに対応し、N の多項式成長率が存在する場合にそれを保証するブレーク ポイントを紹介し、正の光線、間隔、および凸セットなどの仮説セットのさまざまな例について説明します。講義では、仮説セットの複雑さと実行可能な学習の可能性を完全に理解するために、これらの概念とその数学的フレームワークを理解することの重要性を強調します。

教授は、トレーニングとテストに関連するさまざまなトピックを取り上げました。彼は聴衆からのノンバイナリーの目標関数と仮説関数、および破砕点のトレードオフについての質問に答えました。教授は、成長関数を見つけることの重要性と、一般化が高い確率を測定するために 2 の N 乗を使用するよりも好まれる理由を説明しました。さらに、彼はブレークポイントと学習状況の関係について議論し、ブレークポイントの存在は学習が実行可能であることを意味し、ブレークポイントの値は特定のパフォーマンスを達成するために必要なリソースを教えてくれることを指摘しました.最後に教授は、ヘフディングの代替案と、人々がそれに慣れ親しむように彼がそれに固執している理由を説明しました.

• 00:00:00 このセクションでは、Abu-Mostafa 教授がエラーとノイズの概念と、それらが実際の状況で機械学習にどのように関係しているかについて説明します。彼は、誤差測定値を定義することの重要性と、仮説とターゲット関数のパフォーマンスを決定するためにそれらがどのように使用されるかを説明しています。さらに、ターゲットが決定論的関数ではなく、x の影響を受け、確率分布に従って分散される、ノイズの多いターゲットの概念についても説明します。 Abu-Mostafa 教授はまた、次の 3 つの講義で続く理論トラックを紹介し、トレーニングとテスト、およびそれを現実的な方法で説明する数学的フレームワークに焦点を当てています。
  
  
• 00:05:00 このセクションでは、講師が最終試験のコンテキストでトレーニングとテストの違いを探ります。最終試験の前に提供される練習問題と解決策は、トレーニング セットとして機能します。最終試験は、テスト セットとして機能します。講師は、目標は最終試験で良い成績を収めることではなく、教材を理解することであり、それは小さな E_out に反映されることを強調しています。テストの数学的記述には、最終試験での成績が含まれますが、トレーニングの数学的記述には、練習問題での成績が含まれます。練習セットの汚染により、E_in メトリックのパフォーマンスが低下します。講師は、仮説セットの複雑さを測定する際に、M 量をより使いやすいものに置き換える必要性を強調しています。
  
  
• 00:10:00 このセクションでは、スピーカーは、仮説 M がどこから来たのか、それを置き換えるためにそれを取り巻くコンテキストを理解することの重要性について説明します。話者は、B と呼ばれる悪いイベントがあることを説明します。目的は、サンプル内のパフォーマンスがサンプル外のパフォーマンスを追跡しない状況を回避することです。目標は、イベント間の相関関係に関係なく、悪いイベントの確率を確実に小さくすることです。次に、スピーカーは、パーセプトロンの例と、より適切な境界を確保するために画像の観点から悪いイベントを定義する方法を説明します。
  
  
• 00:15:00 このセクションでは、講師が E_in と E_out の概念について説明します。これらは、それぞれ仮説のサンプル内エラーとサンプル外エラーを表します。次に、ある仮説から別の仮説に移動するときに E_in と E_out の変化がどのように比較されるかを調べ、仮説間の重複領域のためにそれらは小さく、同じ方向に移動すると主張します。講師は、以前の複雑さの尺度である M を、任意のモデルの複雑さを特徴付ける新しい量に置き換えることができると示唆していますが、これは次の講義で証明する必要があります。彼は量を紹介し、証明に進む前にそれをよく理解する必要があることを強調しています。
  
  
• 00:20:00 このセクションでは、講師が二分法とは何か、またそれらが仮説とどのように関係しているかを説明します。二分法は、ポイントのサブセットに対してのみ定義された複数の仮説であり、データ ポイントの有限セット上で考えられる赤と青のさまざまなパターンを表します。たとえば、二分法の数が少ない場合、仮説セットは強力ではありませんが、多数ある場合、仮説セットは強力です。講師は、二分法を、入力スペースの上に置かれた穴の開いた不透明な紙のシートとして説明し、赤と青の点のパターンのみを示します。二分法は仮説を表現する正式な方法であり、関数は青と赤の領域に対して -1 または +1 を生成します。
  
  
• 00:25:00 このセクションでは、パーセプトロンの場合の仮説と二分法の数について講師が説明します。彼は、パーセプトロンが無限の値を持つため、無限の数の仮説が存在する可能性があると説明しています。ただし、+1 または -1 を返すポイントの数は限られているため、二分法の数は限られています。 「m」で表される成長関数は、任意の N 個のポイントで設定された仮説を使用して取得できる最大の二分法をカウントすることで、仮説の数を置き換えます。講師は、成長関数は、入力空間からの任意の N 点の選択に関して、二分法の数を最大化することによって計算されると述べています。
  
  
• 00:30:00 このセクションでは、講師が成長関数の概念と、それがパーセプトロンにどのように適用されるかを説明します。仮説セットの成長関数は、特定の数のポイントに対して作成できる二分法の最大数を示す関数です。パーセプトロンの場合、成長関数を取得するのは困難です。これは、1 から始めて、ポイントの数ごとに成長関数を見つける必要があるためです。さらに、点の数ごとに、パーセプトロンが生成できない特定の点のコンスタレーションがあります。それにもかかわらず、パーセプトロンは単純なアルゴリズムを使用した単純なモデルであるため、これらの制限は予想されます。
  
  
• 00:35:00 このセクションでは、講師は、正の光線と正の間隔を含むさまざまなモデルの例を使用して、成長関数の概念について説明します。彼は、正の光線の成長関数は N+1 であると説明しています。これは、二分法の数が N 点間で可能な線分の数に依存することを意味します。一方、正の間隔は、異なる二分法を取得するために間隔の開始と終了の 2 つのパラメーターを変更できるため、より大きな成長関数を持ちます。
  
  
• 00:40:00 このセクションでは、講師がさまざまな複雑度の仮説セットの成長関数について説明します。ライン内の二分法の最も単純な仮説セットの場合、成長関数の式は単純に、N+1 セグメントから 2 つのセグメントを選択する方法の数であり、これは (N+1) が 2 を選択することに相当します。次の仮説セットについては、平面内の凸領域のうち、一部の領域は凸ではないため無効であると講師は指摘します。このセットの成長関数の式は、すべての二分法が有効であるとは限らないため、より複雑なカウントが必要です。次に、講師は、この仮説セットの成長関数を最大化するために、円の周囲にあるポイント配置の最適な選択を提案します。
  
  
• 00:45:00 このセクションでは、講師が凸集合の成長関数と、それが正の区間の成長関数ほど強力ではないことについて説明します。講師は、仮説ごとに成長関数がどのように機能するかを示します。また、最大の M を、成長関数である有限数 m に置き換える方法についても説明しています。講師は、成長関数が多項式である場合、その仮説を使用して学習が可能であると結論付けています。しかし、講師は、成長関数を明示的に評価することは容易ではないことを認めています。
  
  
• 00:50:00 このセクションでは、ブレーク ポイントの概念を導入して、仮説セットがすべての可能な二分法を取得できないポイントを定義します。ブレークポイントは仮説セットの複雑さに対応し、サイズ k のデータセットが仮説セットによって粉砕できない場合、k はそのブレークポイントです。 2D パーセプトロンのブレーク ポイントは 4 であることがわかります。講義では、正の光線、間隔、および凸集合の例も取り上げ、各仮説セットのブレーク ポイントを見つける方法を説明します。さらに、仮説セットにブレークポイントがない場合、無限に成長することが確立されています。
  
  
• 00:55:00 このセクションでは、教授は成長関数の概念と、ブレークポイントが存在する場合に N の多項式成長率を保証する方法について説明します。ブレークポイントの制約により、可能性のある二分法を大量に排除し、無制限の 2 から N への成長関数を多項式に削減する巨大な組み合わせ制限があります。教授は、分岐点が 2 の 3 点仮説セットの例を挙げています。この場合、二分法は制限され、制約を満たす二分法が 1 つだけになるまで違反者が削除されます。
  
  
• 01:00:00 このセクションでは、教授は聴衆からの非バイナリ ターゲット関数と仮説関数、および粉砕点のトレードオフに関する質問に答えます。彼は、彼が開発している理論は 2 項関数で扱いやすいと説明していますが、より技術的な実数値関数の対応する理論があり、バイアスと分散のトレードオフ法を通じて説明します。破滅的な点に関して、彼は、データのフィッティングには良いが、一般化には悪いと述べており、近似と一般化の間の適切なバランスを見つけることが重要です.さらに、彼は多項式の成長の重要性と、それが何か悪いことが起こる可能性が低いことをどのように保証するかを明確にしています。
  
  
• 01:05:00 このセクションでは、教授が 3 ビットをすべての行に配置するパズルについて説明し、2 つの点を粉砕できないという制約の下で、できるだけ多くの異なる行を取得しようと試みます。教授は、制約に違反しないように、行を追加し、考えられるすべての組み合わせに注意を払います。最終的に、教授は、この制約の下で実現できるパターンは 4 つだけであり、それ以上行を追加できないと結論付けています。この制限は、仮説の数がパーセプトロンでは無限大であり、成長関数が 2 から N または多項式であり、その間に何もないという事実によるものです。
  
  
• 01:10:00 講義のこのセクションでは、教授は成長関数を見つけることの重要性と、一般化の確率が高いことを測定するために 2 の N 乗を使用するよりも好まれる理由について説明します。教授は、多項式成長関数を見つけると、扱いやすい右辺が得られ、一般化の可能性が高くなると説明しています。教授はまた、テスト ポイントとトレーニング ポイントの数、さまざまな仮説のサンプル外エラー、なぜそれが成長関数と呼ばれるのかについて、学生からの質問に答えます。教授は、成長関数を見つけるにはさまざまな方法があり、ブレークポイントの推定値は正確な値ではなく単なる推定値である場合があると指摘しています。
  
  
• 01:15:00 このセクションでは、ブレークポイントと学習状況の関係について教授が説明します。彼は、ブレークポイントの存在は学習が実行可能であることを意味し、ブレークポイントの値は特定のパフォーマンスを達成するために必要なリソースを教えてくれると説明しています。彼はまた、ヘフディングの代替案と、それにこだわる理由についても触れています。目標は、変更が導入されたときに迷子にならないように、人々が Hoeffding に慣れ親しむことです。