Разложить матрицу по строке онлайн: Разложение по строкам при нахождении определителя

Чтобы увидеть, как будут выглядеть базисные векторы на основе SVD, матрица A также был разложен с помощью SVD. При этом в обеих матрицах U и V были обнаружены положительные и отрицательные элементы. Визуальное представление первых четырех векторов-столбцов матрицы U , образующих базисные векторы, оказалось таким, как показано ниже. В этом случае я включил шкалу серого, используемую при визуализации, рядом с каждым изображением, чтобы выделить наличие положительных и отрицательных компонентов. [Затенение в центре изображений связано с масштабированием фона] Нетрудно заметить, что интерпретация различных рисунков цифр как комбинации разных базисных векторов в этом случае затруднена, поскольку включает сложение и вычитание сегментов с разными множителями. .

Чтобы суммировать основное различие между NMF и SVD, достаточно сказать, что NMF-разложение делает упор на представлении по частям , что помогает лучше понять результаты факторизации. Другой связанный с этим результат заключается в том, что результирующие факторизованные матрицы имеют тенденцию быть разреженными.

NMF используется для кластеризации документов, предоставления рекомендаций, распознавания визуальных образов, таких как распознавание лиц, анализ экспрессии генов, извлечение признаков, разделение источников и т. д. матрица A не имеет отрицательных элементов.

Я собираюсь использовать небольшой пример, чтобы продемонстрировать, как можно использовать NMF для кластеризации. Рассмотрим матрицу 7 x 9, показывающую некоторые питательные компоненты девяти различных видов продуктов питания.

Применяя NMF-факторизацию к этой матрице с k = 3, мы получаем матрицу W в виде: Я выделил самую высокую запись в каждой строке, используя другой цвет. Выделенные записи в каждом столбце обозначают функции, подчеркнутые соответствующими кластерами. Давайте посмотрим на 3 x 9 H матрица, полученная в результате факторизации.

Интерпретация этой матрицы заключается в том, что индекс строки самой высокой записи в каждом столбце указывает принадлежность этого столбца к кластеру. Я выделил самую высокую запись в каждом столбце одним из трех цветов, используемых в матрице W . Таким образом, факторизация NMF показывает, что яблоко, банан и груша образуют один (желтый) кластер, синий краб и креветка — второй (красный) кластер, а сладкий перец, брокколи и морковь — третий (зеленый) кластер.

Таким образом, на вопрос «что вы можете делать с NMF?» ответ заключается в том, что NMF можно использовать для выполнения различных задач машинного обучения, пока у нас есть положительная матрица данных. Мало того, факторизацию NMF можно расширить до факторизации тензоров (наборов матриц) для выполнения таких задач, как сегментация видео и распознавание активности.

Нравится:

Нравится Загрузка…

Опубликовано Krishan

Я профессионал с многолетним опытом работы в области компьютерного зрения, интеллектуального анализа данных, машинного обучения, нейронных сетей и распознавания образов. Я предоставляю консультационные и обучающие услуги через свою компанию Integrated Knowledge Solutions. Просмотреть все сообщения Кришана

Опубликовано 21 марта 2016 г. 7 апреля 2016 г.

Разложение по сингулярным значениям (SVD) в рекомендательной системе .

Найти и порекомендовать множество подходящих товаров, которые понравились бы пользователям и которые они выбрали бы, всегда сложно. Для этой задачи используется множество методов, и SVD является одним из таких методов. В этой статье представлено краткое введение в рекомендательные системы, введение в декомпозицию по сингулярным значениям и ее реализацию в рекомендациях фильмов.

Что такое рекомендательная система?

Рекомендательная система — это интеллектуальная система, которая прогнозирует рейтинг и предпочтения пользователей в отношении продуктов. Основное применение рекомендательных систем — найти взаимосвязь между пользователем и продуктом, чтобы максимизировать взаимодействие пользователя с продуктом. Основное применение рекомендательных систем заключается в предложении связанного видео или музыки для создания списка воспроизведения для пользователя, когда он занимается связанным элементом.

Аналогичное приложение используется в сфере электронной коммерции, где покупателям рекомендуются сопутствующие товары, но в этом приложении используются другие методы, такие как изучение правил ассоциации. Он также используется для рекомендации контента на основе поведения пользователей на платформах социальных сетей и новостных сайтах.

Существует два популярных подхода, используемых в рекомендательных системах для предложения товаров пользователям:

1. Совместная фильтрация: Предполагается, что этот подход заключается в том, что людям, которым понравился товар в прошлом, он понравится и в будущем. . Этот подход строит модель на основе прошлого поведения пользователей. Поведение пользователя может включать ранее просмотренные видео, приобретенные товары, присвоенные оценки товарам. Таким образом, модель находит связь между пользователями и элементами. Затем модель используется для прогнозирования элемента или рейтинга элемента, который может заинтересовать пользователя. Разложение по сингулярным значениям используется в качестве подхода к совместной фильтрации в рекомендательных системах.
2. Фильтрация на основе содержимого: Этот подход основан на описании элемента и записи предпочтений пользователя. Он использует последовательность дискретных, предварительно помеченных характеристик элемента, чтобы рекомендовать дополнительные элементы с аналогичными свойствами. Этот подход лучше всего подходит, когда имеется достаточно информации об элементах, но не о пользователях. Рекомендательные системы на основе контента также включают рекомендательную систему на основе мнений.

Помимо двух вышеупомянутых подходов, существует еще несколько подходов к созданию рекомендательных систем, таких как многокритериальные рекомендательные системы, рекомендательные системы с учетом рисков, мобильные рекомендательные системы и гибридные рекомендательные системы (сочетающие совместную фильтрацию и фильтрацию на основе контента). ).

Разложение по сингулярным значениям

Разложение по сингулярным значениям (SVD) — метод линейной алгебры, который обычно используется в качестве метода уменьшения размерности в машинном обучении. SVD — это метод матричной факторизации, который уменьшает количество признаков в наборе данных за счет уменьшения размерности пространства с N-размерности до K-размерности (где K

Разложение этой матрицы на множители осуществляется с помощью разложения по сингулярным числам. Он находит факторы матриц из факторизации матрицы высокого уровня (рейтинга пользователя). Разложение по сингулярным числам — это метод разложения матрицы на три другие матрицы, как указано ниже: где A — матрица полезности m x n , U — m x r ортогональная левая сингулярная матрица, которая представляет отношения между пользователями. и латентные факторы, S представляет собой диагональную матрицу r x r , которая описывает силу каждого скрытого фактора, а V представляет собой диагональную правую сингулярную матрицу r x n , которая указывает на сходство между элементами и скрытыми факторами. Скрытыми факторами здесь являются характеристики предметов, например, жанр музыки. SVD уменьшает размерность матрицы полезности A , извлекая ее скрытые факторы. Он отображает каждого пользователя и каждый элемент в r — мерное скрытое пространство. Это сопоставление облегчает четкое представление взаимосвязей между пользователями и элементами.

Пусть каждый элемент представлен вектором x _i , а каждый пользователь представлен вектором y _u . Ожидаемая оценка пользователем элемента  может быть представлена ​​следующим образом: Здесь  является формой факторизации в разложении по сингулярным числам. x _i  и y _u  можно получить таким образом, чтобы разница квадратичной ошибки между их скалярным произведением и ожидаемым рейтингом в матрице пользовательских элементов была минимальной. Это можно выразить так: чтобы модель хорошо обобщалась и не соответствовала обучающим данным, в приведенную выше формулу в качестве штрафа добавляется член регуляризации. Чтобы уменьшить ошибку между значением, предсказанным моделью, и фактическим значением, алгоритм использует член смещения. Пусть для пары пользователь-элемент (u, i) , μ — средний рейтинг всех элементов, b _i — средний рейтинг элемента i минус μ и b _u 0 — средний рейтинг, заданный 0 . пользователем u минус μ , окончательное уравнение после добавления члена регуляризации и смещения может быть дано как:

Приведенное выше уравнение является основным компонентом алгоритма, который работает для системы рекомендаций, основанной на разложении по сингулярным значениям.

Разложение по сингулярным значениям (SVD) на основе рекомендации фильмов

Ниже представлена ​​реализация разложения по сингулярным значениям (SVD) на основе совместной фильтрации в задаче рекомендации фильмов. Эта задача реализована на Python. Для простоты использовался набор данных MovieLens 1M. Этот набор данных был выбран потому, что он не требует предварительной обработки, поскольку основное внимание в этой статье уделяется SVD и рекомендательным системам.

Импорт необходимых библиотек Python:

 импортировать numpy как np 
 импортировать pandas как pd 

Прочитать набор данных, откуда он загружен в системе. Он состоит из двух файлов «ratings.dat» и «movies.dat», которые необходимо прочитать.

 data = pd.io.parsers.read_csv('data/ratings.dat', 
    names=['user_id', 'movie_id', 'rating', 'time'], 
    engine='python', delimiter= '::') 
 movie_data = pd.io.parsers.read_csv('data/movies.dat', 
    names=['movie_id', 'название', 'жанр'], 
    engine='python', delimiter= '::') 
 

Создайте матрицу оценок со строками в виде фильмов и столбцами в виде пользователей.

 ratings_mat = np.ndarray( 
    shape=(np.max(data. movie_id.values), np.max(data.user_id.values)), 
    dtype=np.uint8) 
 ratings_mat[data.movie_id.values -1, data.user_id.values-1] = data.rating.values ​​

Нормализация матрицы.

 normalized_mat = ratings_mat - np.asarray([(np.mean(ratings_mat, 1))]).T 

Вычислить разложение по сингулярным числам (SVD).

 A = normalized_mat.T / np.sqrt(ratings_mat.shape[0] - 1) 
 U, S, V = np.linalg.svd(A) 

Определите функцию для вычисления сходства косинусов. Отсортируйте по наиболее похожим и верните первые N результатов.

 def top_cosine_similarity(data, movie_id, top_n=10): 
    index = movie_id - 1 # Идентификатор фильма начинается с 1 в наборе данных 
    movie_row = data[index, :] 
    величина = np.sqrt(np.einsum(' ij, ij -> i', data, data)) 
    подобие = np.dot(movie_row, data.T) / (величина[индекс] * величина) 
    sort_indexes = np.argsort(-simiarity) 
    return sort_indexes[:top_n] 

Определите функцию для вывода первых N похожих фильмов.

 def print_similar_movies(movie_data, movie_id, top_indexes): 
    print('Рекомендации для {0}: \n'.format( 
    movie_data[movie_data.movie_id == movie_id].title.values[0])) 
    для id in top_indexes + 1: 
        print(movie_data[movie_data.movie_id == id].title.values[0]) 

Инициализировать значение k основных компонентов, идентификатор фильма, указанный в наборе данных, и количество верхних элементов для печати.

 k = 50 
 movie_id = 10 # (получение идентификатора из movie.dat) 
 top_n = 10 
 sliced ​​= V.T[:, :k] # репрезентативные данные 
 indexes = top_cosine_similarity(sliced, movie_id, top_n) 

Print топ N похожих фильмов.

 print_similar_movies (movie_data, movie_id, indexes) 

Связывание всех вместе:

 # Импорт библиотек 
 import numpy as np 
 import pandas as pd 
 Набор данных #Reading (набор данных рейтингов фильмов MovieLens 1M: загружен с https://grouplens. org/datasets/movielens/1m/) 
 data = pd.io.parsers.read_csv('data/ratings.dat ', 
    names=['user_id', 'movie_id', 'рейтинг', 'время'], 
    engine='python', delimiter='::') 
 movie_data = pd.io.parsers.read_csv('data /movies.dat', 
    names=['movie_id', 'title', 'genre'], 
    engine='python', delimiter='::') 
 
 #Создание матрицы оценок (строки как фильмы, столбцы как пользователи) 
 ratings_mat = np.ndarray( 
    shape=(np.max(data.movie_id.values), np.max(data.user_id.values)), 
    dtype=np.uint8) 
 ratings_mat[data.movie_id.values- 1, data.user_id.values-1] = data.rating.values ​​
 
 # Нормализация матрицы (вычесть среднее значение) 
 normalized_mat = ratings_mat - np.asarray([(np.mean(ratings_mat, 1))]). T 
 
 #Вычисление разложения по сингулярным числам (SVD) 
 A = normalized_mat.T / np.sqrt(ratings_mat.shape[0] - 1) 
 U, S, V = np.linalg.svd(A) 
 
 # Функция для вычисления косинусного сходства (сортировка по наибольшему сходству и возврат наибольшего N) 
 def top_cosine_similarity(data, movie_id, top_n=10): 
    index = movie_id - 1 # Идентификатор фильма начинается с 1 в наборе данных 
    movie_row = данные [индекс,:] 
    величина = np. sqrt(np.einsum('ij, ij -> i', данные, данные)) 
    сходство = np.dot(movie_row, data.T) / (величина [индекс ] * величина) 
    sort_indexes = np.argsort(-подобие) 
    возврат sort_indexes[:top_n] 
 
 # Функция для печати первых N похожих фильмов 
 def print_similar_movies(movie_data, movie_id, top_indexes): 
    print('Рекомендации для {0}: \n'.format( 
    movie_data[movie_data.movie_id == movie_id].title. values[0])) 
    для id в top_indexes + 1: 
        print(movie_data[movie_data.movie_id == id].title.values[0]) 
 
 #k-главных компонентов для представления фильмов, movie_id для поиска рекомендаций, top_n вывести n результатов        
 k = 50 
 movie_id = 10 # (получение идентификатора из movie.dat) 
 top_n = 10 
 sliced ​​= V.T[:, :k] # репрезентативные данные 
 indexes = top_cosine_similarity(sliced, movie_id, top_n) 
 
 # Печать первых N похожих фильмов примеры выходных данных приведены ниже: 
 
 Оператор CREATE MODEL для матричной факторизации | BigQuery ML 
   Примечание.   Матричные модели факторизации доступны только клиентам с фиксированной ставкой или
клиентов с резервированием. На лету
клиентам рекомендуется использовать гибкие слоты
использовать матричную факторизацию. 
 Чтобы создать матричную модель факторизации в BigQuery, используйте
Оператор BigQuery ML  CREATE MODEL  и укажите  MODEL_TYPE  как  'MATRIX_FACTORIZATION'  . 
 
 Для получения информации о поддерживаемых типах моделей каждого оператора SQL и функции,
и все поддерживаемые операторы SQL и функции для каждого типа модели, прочитайте
Сквозной путь пользователя для каждой модели. 
 
 
 СОЗДАТЬ МОДЕЛЬ  синтаксис  
{СОЗДАТЬ МОДЕЛЬ | СОЗДАТЬ МОДЕЛЬ, ЕСЛИ НЕ СУЩЕСТВУЕТ | СОЗДАТЬ ИЛИ ЗАМЕНИТЬ МОДЕЛЬ}
  имя_модели 
ОПЦИИ (MODEL_TYPE = 'MATRIX_FACTORIZATION'
        FEEDBACK_TYPE = {'EXPLICIT' | 'СКРЫТЫЙ'},
        NUM_FACTORS =  int64_value ,
        USER_COL =  строковое_значение ,
        ITEM_COL =  строковое_значение ,
        RATING_COL =  string_value  ,
        WALS_ALPHA =  float64_value ,
        L2_REG =  float64_value ,
        MAX_ITERATIONS =  int64_value ,
        EARLY_STOP = {ИСТИНА | ЛОЖНЫЙ },
        МИН_РЕЛ_ПРОГРЕСС =  float64_value ,
        DATA_SPLIT_METHOD = { 'AUTO_SPLIT' | 'СЛУЧАЙНЫЙ' | 'ПЕРСОНАЛ' | 'ПОСЛЕДОВАТЕЛЬНОСТЬ' | 'NO_SPLIT'},
        DATA_SPLIT_EVAL_FRACTION =  float64_value ,
        DATA_SPLIT_COL =  строковое_значение  )
AS  запрос_оператор 
 
 CREATE MODEL 
 Создает новую модель машинного обучения BigQuery в указанном наборе данных. Если модель
имя существует,  CREATE MODEL  возвращает ошибку.
 СОЗДАТЬ МОДЕЛЬ, ЕСЛИ НЕ СУЩЕСТВУЕТ 
 Создает новую модель BigQuery ML, только если модель в настоящее время не существует.
существуют в указанном наборе данных.
 СОЗДАТЬ ИЛИ ЗАМЕНИТЬ МОДЕЛЬ 
 Создает новую модель BigQuery ML и заменяет любую существующую модель новой
то же имя в указанном наборе данных.
 имя_модели 
  имя_модели  — это имя модели машинного обучения BigQuery, которую вы создаете или
замена. Имя модели должно быть уникальным для каждого набора данных: никакая другая модель или таблица
может иметь одно и то же имя. Имя модели должно соответствовать тем же правилам именования, что и
Таблица BigQuery. Название модели может содержать следующее:
 До 1024 символов
 Буквы любого регистра, цифры и символы подчеркивания
  имя_модели  регистр не учитывается.
 Если у вас нет настроенного проекта по умолчанию, добавьте идентификатор проекта перед
имя модели в следующем формате, включая обратные кавычки:
 `[PROJECT_ID].[DATASET].[MODEL]`
 Например:
 `myproject.mydataset.mymodel`
  CREATE MODEL  поддерживает следующие параметры:
 МОДЕЛЬ_ТИП 
  Синтаксис 
 MODEL_TYPE = 'MATRIX_FACTORIZATION'
 
  Описание 
 Указывает тип модели. Чтобы создать матричную модель факторизации, установите  model_type  до  'MATRIX_FACTORIZATION'  .
 model_option_list 
 В  model_option_list  требуется параметр  model_type . Все остальные
являются необязательными.
 Модели матричной факторизации поддерживают следующие параметры:
 FEEDBACK_TYPE 
  Синтаксис 
 FEEDBACK_TYPE = { 'EXPLICIT' | 'СКРЫТЫЙ' }
 
  Описание 
 Указывает тип обратной связи для матричных моделей факторизации. Тип обратной связи
определяет алгоритм, который используется во время обучения.
 Существует два типа оценок (отзывы пользователей):  'ЯВНАЯ'  и  'ЯВНАЯ'  .
Используйте нужный тип обратной связи в параметрах создания модели в зависимости от ваших
вариант использования.
 Если пользователь явно поставил рейтинг (например, 1–5) элементу
например рекомендации фильмов, затем укажите  FEEDBACK_TYPE='EXPLICIT'  .
Это обучит модель, используя
Чередование наименьших квадратов
алгоритм.
 Большинство проблем, связанных с рекомендацией продукта, не имеют явной обратной связи с пользователем.
Вместо этого значение рейтинга должно быть искусственно сконструировано на основе пользовательского
взаимодействие с элементом (например, клики, просмотры страниц и покупки).
В этой ситуации укажите  ОБРАТНАЯ СВЯЗЬ_TYPE='НЕЯВНАЯ'  . Это позволит обучить
модель с использованием
Алгоритм взвешенных чередующихся наименьших квадратов.
 Для получения дополнительной информации о различиях между двумя типами обратной связи и
когда использовать какой тип, см.
Дополнительная информация о типах обратной связи.
  Аргументы 
 Значение по умолчанию:  'ЯВНОЕ'  .
 NUM_FACTORS 
  Синтаксис 
  NUM_FACTORS =  int64_value  
  Описание 
 Указывает количество скрытых факторов для использования в матричных моделях факторизации.
  Аргументы 
   int64_value   является  'INT64'  . Допустимые значения: 2-200.
Значение по умолчанию:  log  2  (n)  , где  n  — число
обучающих примеров.
 USER_COL 
  Синтаксис 
  USER_COL =  string_value  
  Описание 
 Имя пользовательского столбца для матричных моделей факторизации.
  Аргументы    string_value   является  'STRING'  . Значение по умолчанию  'пользователь'  .
 ITEM_COL 
  Синтаксис 
  ITEM_COL =  string_value  
  Описание 
 Имя столбца фактора факторизации для матрицы.
  Аргументы    string_value   является  'STRING'  . Значение по умолчанию  'предмет'  .
 RATING_COL 
  Синтаксис 
  RATING_COL =  string_value  
  Описание 
 9000 Имя столбца факторизации для моделей рейтинга.
  Аргументы    string_value   является  'STRING'  . Значение по умолчанию  'рейтинг'  .
 WALS_ALPHA 
  Синтаксис 
  WALS_ALPHA =  FLOAT64_VALUE  
  Описание 
 AIRPARATER для 7 .
 Для получения дополнительной информации см.
Дополнительная информация о типах обратной связи
  Аргументы    float64_value   — это  'FLOAT64'  . Значение по умолчанию — 40.
 L2_REG 
  Синтаксис 
  L2_REG =  float64_value  
  Описание 
 Сумма  Применена регуляризация L2.
  Аргументы 
   float64_value   - это  FLOAT64  . Значение по умолчанию — 1,0.
 MAX_ITERATIONS 
  Синтаксис 
  МАКСИМАЛЬНЫЕ ИТЕРАЦИИ =  int64_value  
  Описание 
 Максимальное количество итераций или шагов обучения.
  Аргументы 
   int64_value   является  INT64  . Значение по умолчанию — 20.
 EARLY_STOP 
  Синтаксис 
 EARLY_STOP = { TRUE | ЛОЖНЫЙ }
 
  Описание 
 Следует ли останавливать обучение после первой итерации, в которой
снижение потерь меньше, чем значение, указанное для
MIN_REL_PROGRESS.
  Аргументы 
 Значение  BOOL  . Значение по умолчанию —  ИСТИНА .
 MIN_REL_PROGRESS 
  Синтаксис 
  MIN_REL_PROGRESS =  float64_value  
  Описание 
 Минимальное улучшение относительных потерь, необходимое для продолжения обучения, когда  EARLY_STOP  имеет значение true. Например, значение 0,01 указывает
что каждая итерация должна уменьшать потери на 1% для продолжения обучения.
  Аргументы 
   float64_value   — это  FLOAT64  . Значение по умолчанию — 0,01.
 DATA_SPLIT_METHOD 
  Синтаксис 
 DATA_SPLIT_METHOD = { 'AUTO_SPLIT' | 'СЛУЧАЙНЫЙ' | 'ПЕРСОНАЛ' | 'ПОСЛЕДОВАТЕЛЬНОСТЬ' | 'NO_SPLIT' }
 
  Описание 
 Метод разделения входных данных на наборы для обучения и оценки. Тренировочные данные
используется для обучения модели. Данные оценки используются, чтобы избежать  переоснащение через раннюю остановку.
  Аргументы 
 Принимает следующие значения:
  'AUTO_SPLIT'  Стратегия автоматического разделения следующая:
 данные тренировки.
 Если во входных данных содержится от 500 до 50 000 строк, 20 % данных
используется в качестве оценочных данных в разделении  RANDOM .
 При наличии более 50 000 строк во входных данных только 10 000 из них
используются в качестве оценочных данных в  СЛУЧАЙНЫЙ  разделить.
  'СЛУЧАЙНЫЙ'  Случайное разделение данных. Случайное разделение является детерминированным: разные
тренировочные прогоны дают одинаковые результаты разделения, если базовое обучение
данные остаются прежними.
  'CUSTOM'  Разделить данные, используя предоставленный пользователем столбец типа  BOOL  . Ряды
со значением  TRUE  используются в качестве данных оценки. Строки со значением  FALSE  используются в качестве обучающих данных.
  'ПОСЛ.'  Последовательное разделение данных с использованием предоставленного пользователем столбца. Колонка может
иметь любой упорядоченный тип данных:  NUMERIC  ,  BIGNUMERIC  ,  STRING  или  ОТМЕТКА ВРЕМЕНИ  . Все строки со значениями разделения меньше порогового значения используются как
данные тренировки. Остальные строки, включая  значений NULL , используются в качестве данных оценки.
  'NO_SPLIT'  Использовать все данные для обучения.
  Примечание:  Значение по умолчанию для моделей матричной факторизации равно 9.0550 'NO_SPLIT'  . Пока
другие методы поддерживаются, используйте их с осторожностью. Из-за характера
алгоритм матричной факторизации, если разделение устраняет все рейтинги для
пользователь и/или элемент, для пользователя не генерируется вектор весов факторов
и/или предмет.
 DATA_SPLIT_EVAL_FRACTION 
  Синтаксис 
  DATA_SPLIT_EVAL_FRACTION =  float64_value  
  Описание 
 Этот вариант используется с  'СЛУЧАЙНЫЙ'  и  'ПОСЛЕДОВАТЕЛЬНОСТЬ'  разделяются. В нем указывается
часть данных, используемых для оценки, с точностью до двух знаков после запятой.
  Аргументы 
   float64_value   - это  FLOAT64  . Значение по умолчанию — 0,2.
 DATA_SPLIT_COL 
  Синтаксис 
  DATA_SPLIT_COL =  string_value  
  Описание используется для разделения данных  9000 Этот столбец нельзя использовать в качестве
характеристика или метка и будет автоматически исключена из характеристик.
 Когда значение  DATA_SPLIT_METHOD  равно  'CUSTOM' , соответствующий столбец
должен быть типа  BOOL  . Строки со значениями  TRUE  или  NULL  используются как
данные оценки. Строки с  значениями FALSE  используются в качестве обучающих данных.
 Когда значением  DATA_SPLIT_METHOD  является  'SEQ'  , последний  n Используется  строк от наименьшего к наибольшему в соответствующем столбце
в качестве оценочных данных, где  n  — значение, указанное для  DATA_SPLIT_EVAL_FRACTION  . Первые ряды используются
как обучающие данные.
 Информацию о поддерживаемых типах ввода см. в разделе Поддерживаемые
типы ввода для  DATA_SPLIT_COL  .
  Аргументы 
   string_value   является  STRING  .
 query_statement 
 Предложение  AS query_statement  указывает стандартный SQL-запрос, который используется для
генерировать обучающие данные. Для получения информации о поддерживаемом синтаксисе SQL  query_statement  пункт, см.
Стандартный синтаксис SQL-запроса.
 Для матричных моделей факторизации ожидается, что query_statement будет содержать
ровно 3 столбца ( пользователь ,  элемент  и  рейтинг ), если пользователь не укажет  DATA_SPLIT_METHOD , который требует использования  DATA_SPLIT_COL  .
 Поддерживаемые входные данные 
 Оператор  CREATE MODEL  поддерживает следующие типы данных для пользователя,
элемент и столбцы рейтинга.
 Поддерживаемые типы данных для входных данных модели матричной факторизации 
 BigQuery ML поддерживает различные стандартные типы данных SQL для входных данных
столбцы для матричной факторизации. Поддерживаемые типы данных для каждого
столбец включает:
  Входной столбец матричной факторизации 
  Поддерживаемые типы 
  пользователь 
 Любой группируемый тип данных
  позиция 
 Любой группируемый тип данных
  рейтинг 
  INT64  
  NUMERIC  
  BIGNUMERIC  
  FLOAT64 
 Дополнительная информация о типах обратной связи 
 Важная часть создания хорошей матричной модели факторизации для
рекомендации, чтобы убедиться, что данные обучены алгоритму, который
лучше всего подходит для этого. Для моделей матричной факторизации существуют два разных
способы получить рейтинг для пары пользователь-элемент.
 Оценки, которые пользователь должен ввести и установить, считаются явными
Обратная связь. Низкий явный рейтинг, как правило, означает, что пользователь чувствовал себя очень негативно.
о предмете, в то время как высокий явный рейтинг, как правило, подразумевает, что пользователю понравилось
вещь. Сайты потокового кино, на которых пользователи выставляют оценки, являются примерами явно
помеченные наборы данных. Для задач с явной обратной связью мы используем знакопеременный наименьший
алгоритм квадратов, обычно называемый ALS. БАС стремится свести к минимуму
следующая функция потерь: 92)$$
 Где
 \(r_{ui} = \) оценка, которую пользователь \(u\) дал элементу \(i\) 
 \(x_u = \) вектор скрытых факторных весов для пользователя \(u\). Длина  ЧИСЛО_ФАКТОРОВ  . 
 \(y_i = \) вектор скрытых весов факторов для элемента \(i\). Длина  ЧИСЛО_ФАКТОРОВ  . 
 \(\lambda = \)  L2_REG 
 Однако в большинстве случаев данные редко помечаются пользователями. Зачастую единственным
метрики, которые есть у компании относительно того, понравился ли пользователю товар или фильм.
по рейтингу кликов или времени взаимодействия. Его часто можно использовать в качестве прокси-рейтинга,
но это не обязательно является окончательным указанием на то, является ли пользователь
нравится или не нравится что-то. Данные в этих наборах данных считаются
неявная обратная связь. Для задач с неявной обратной связью мы используем вариант этого
алгоритм взвешенных чередующихся наименьших квадратов или WALS, который описан
в http://yifanhu.net/PUB/cf.pdf. Этот подход
использует эти прокси-рейтинги и рассматривает их как достоверность наблюдения, которое
пользователь отдает за товар. WALS стремится минимизировать следующую функцию потерь: 92) $$
 Где, помимо переменных, определенных выше, функция также вводит
следующие переменные:
 \(p_{ui} = 1\), когда \(r_{ui} > 0\), и \(p_{ui} = 0\), когда \(r_{ui}
\(c_{ui} = 1 + \alpha r_{ui}\) 
 \(\alpha = \)  WALS_ALPHA 
 известный фиксированный диапазон. Для неявной матричной факторизации входные рейтинги могут
быть двойными или целыми числами, которые охватывают более широкий диапазон. Рекомендуем вам убедиться
во входных оценках нет никаких выбросов, и вы масштабируете входные данные
оценки, если модель работает плохо.
 Известные ограничения 
  CREATE MODEL Операторы  для моделей матричной факторизации должны соответствовать
следующие правила:
  Если возникает ошибка "Модель слишком велика (>100 МБ)", проверьте ввод
данные. Это вызвано наличием слишком большого количества оценок для одного пользователя или одного
вещь. Хэширование столбцов пользователя или элемента в значение  INT64  или уменьшение
размер данных может помочь. Общая формула для определения того, произойдет ли это:
следующее:
  макс(num_rated_user, num_rated_item) < 100 миллионов 
 Где num_rated_user — максимальный рейтинг элемента, который имеет один пользователь. введено, а num_rated_items — максимальный рейтинг пользователя для данного элемента.
 СОЗДАТЬ МОДЕЛЬ  примеры
 В следующем примере создаются модели с именем  mymodel  в  mydataset  в вашем
проект по умолчанию.
 Обучение модели матричной факторизации с явной обратной связью 
 В этом примере создается явная модель факторизации матрицы обратной связи.
 СОЗДАТЬ МОДЕЛЬ `project_id.mydataset.mymodel`
 ОПЦИИ (MODEL_TYPE = 'MATRIX_FACTORIZATION') КАК
ВЫБРАТЬ
  пользователь,
  вещь,
  рейтинг
ИЗ
  `mydataset.mytable`
 
 Обучение модели факторизации матрицы с неявной обратной связью 
 В этом примере создается модель факторизации матрицы неявной обратной связи.
No related posts.