Собака порода фото: Датско-шведская фермерская собака: описание породы, характера

3 — CNN с TensorFlow — определение слоев

Архитектура будет такой:

• 1-й сверточный уровень с 32 фильтрами
• Максимальный пул
• Relu
• 2-й сверточный слой с 64 фильтрами
• Максимальный пул
• Relu
• 3-й сверточный уровень со 128 фильтрами
• Максимальный пул
• Relu
• DropOut
• Flatten Layer
• Полностью подключенный уровень с 500 узлами
• Relu
• DropOut
• Полностью подключенный уровень с n узлы (n = количество пород)

Вот краткое объяснение этих терминов:

• Слой свертки: Как объяснялось в разделе CNN выше, на этом уровне мы сохраняем пространственные отношения между пикселями, изучая особенности изображения с использованием небольших квадратов входных данных.Эти квадраты входных данных также называются , фильтрами, или ядрами. Матрица, сформированная путем перемещения фильтра по изображению и вычисления скалярного произведения, называется картой характеристик . Чем больше у нас фильтров, тем больше функций изображения извлекается и тем лучше становится наша сеть в распознавании шаблонов в невидимых изображениях.
• Уровень ReLU: Для того, чтобы нейронная сеть была мощной, она должна содержать нелинейность.ReLU — одна из таких нелинейных операций, что расшифровывается как Rectified Linear Unit. Это поэлементная операция, которая заменяет все отрицательные значения пикселей в карте признаков на 0. Мы передаем результат из сверточного слоя через функцию активации ReLU .
• Максимальный уровень пула: После этого мы выполняем операцию пула , чтобы уменьшить размерность каждой карты функций. Это позволяет нам уменьшить количество параметров и вычислений в сети, тем самым контролируя переоснащение.CNN использует max-pooling , в котором он определяет пространственную окрестность и берет самый большой элемент из исправленной карты признаков в этом окне. После уровня объединения наша сеть становится инвариантной к небольшим преобразованиям, искажениям и трансляциям во входном изображении.
• Полностью подключенный уровень: После этих слоев мы добавляем пару полносвязных слоев, чтобы завершить архитектуру CNN. Выходные данные слоев свертки и объединения представляют собой высокоуровневые функции входного изображения.Слои FC используют эти функции для классификации входного изображения по различным классам на основе набора обучающих данных. Помимо классификации, добавление слоев FC также помогает изучить нелинейные комбинации этих функций.
• Dropout Layer: Dropout — это метод регуляризации, который помогает сети избежать переобучения. Обычно во время обучения половина нейронов на определенном слое будет деактивирована. Это улучшает обобщение, поскольку вы заставляете свой слой учиться с разными нейронами.Обычно мы используем Dropout на полностью подключенных слоях, но также можно использовать Dropout после максимального объединения слоев, создавая некоторый вид увеличения шума изображения.

Если смотреть в целом, архитектура CNN выполняет 2 основные задачи: извлечение признаков (свертка + объединение слоев) и классификация (полносвязные уровни). В общем, чем больше у нас шагов свертки, тем более сложные функции наша сеть сможет научиться распознавать.

Здесь мы определяем наши веса, смещения и другие константы.

Здесь мы определяем наш сверточный слой.

Здесь мы определяем наш плоский слой.

Здесь мы определяем наш полностью связанный слой.

4 — CNN с TensorFlow — Настройка тензора заполнителя

Здесь мы настраиваем заполнитель для тензора в TensorFlow.

 x = tf.placeholder (tf.float32, shape = [None, img_size, img_size, num_channels], name = 'x') x_image = tf.reshape (x, [-1, img_size, img_size, num_channels]) # -1 поместите все как 1 arrayy_true = tf.placeholder (tf.float32, shape = [None, num_classes], name = 'y_true') y_true_cls = tf.argmax (y_true, axis = 1) keep_prob_fc = tf.placeholder (tf.float32) keep_prob_conv = tf.placeholder (tf.placeholder float32) 

5 — CNN с TensorFlow — Создание слоя

В этой части вы можете поиграть с размерами и количеством фильтров. Лучшая модель — это модель с нужным количеством слоев, но также с хорошим выбором размеров и количества фильтров.

6 — CNN с TensorFlow — потеря кросс-энтропии

Здесь мы определяем нашу функцию потерь для обучения нашей модели.

 cross_entropy = tf.nn.softmax_cross_entropy_with_logits (logits = layer_fc2, labels = y_true) cost = tf.reduce_mean (cross_entropy) optimizer = tf.train.AdamOptimizer (Learning_rate = 1e-4 cost). (y_pred_cls, y_true_cls) precision = tf.reduce_mean (tf.cast (right_prediction, tf.float32)) 

7 — CNN с TensorFlow — Обучите модель

Теперь давайте фактически обучим нашу нейронную сеть!

 сеанс = tf.Session () def init_variables (): сеанс.run (tf.global_variables_initializer ()) 

Функция ниже создает пакет из набора данных. Мы используем пакет для обучения нашей модели.

 init_variables () total_iterations = 0optimize (num_iterations = 3500, X = 250) 

Как видите, модель имеет тенденцию к переобучению и не очень хороша.

8 — CNN с TensorFlow — Результаты

Результаты не так хороши, поскольку точность составляет всего 44%. Использование предварительно обученной модели с Keras даст вам лучший результат, но с этой моделью вы будете знать, как создать с нуля свою собственную CNN с помощью TensorFlow.

Имея больше фотографий собак, мы можем повысить точность. Кроме того, мы можем создавать новые изображения в нашем наборе обучающих данных, вращая изображения. это то, что мы называем увеличением изображения. Это поможет модели обнаружить узор, который может иметь различное «положение» в пространстве.

Ниже приведены некоторые функции для отображения некоторых изображений из новых данных испытаний с соответствующими породами и прогнозируемыми породами. Также есть матрица путаницы, чтобы увидеть результаты.

Давайте посмотрим на результаты!

 feed_dict_validation = {x: X_validation, y_true: y_validation, keep_prob_conv: 1, keep_prob_fc: 1} df_validation_Predicted_cls = session.run (y_pred_cls, feed_dict = feed_dict_validation) plot_images (images = X_validation [50:62], cls_true = df_validation_toPred_cls [50:62], cls_pred = df_validation_Predicted_cls [50:62] = 6365} (
) / {1} "). Format (df_validation_toPred_cls [i], label_name [df_validation_toPred_cls [i]])) print ((" Pred: {0} / {1} "). Format (df_validation_Predicted_cls [i], label_name [df_validation_Pred i]])) lum = X_validation [i,:,:,:] plt.show () 
 plot_confusion_matrix (df_validation_toPred_cls, df_validation_Predicted_cls) 
 Как вы можете видеть, модель не позволяет различать породы 1: 900_35 bernese_master Порода 2:  entlebucher .Эти 2 породы очень похожи друг на друга (одинакового цвета и формы). Итак, кажется нормальным, что наша модель сделала несколько ошибок между этими двумя породами.
 Столкнувшись с проблемой точности при переносе обучения, я решил решить ее, создав простой в использовании облачный сервис глубокого обучения, использующий переносное обучение. Он содержит набор предварительно обученных моделей, которые были обучены по миллионам параметров. Я могу загрузить данные Fashion MNIST, а затем служба выберет лучшую модель для использования в этой задаче.Наконец, он создает новую NanoNet поверх существующей предварительно обученной модели и подгоняет NanoNet к данным.
 Поскольку модели NanoNets в значительной степени предварительно обучены, я использовал гораздо меньший обучающий набор данных, всего ~ 100 изображений на класс. От этой модели я получил точность теста 83,3%. Это на 7% больше, чем у модели VGG19, несмотря на использование 1/60 данных! Причина, по которой модель NanoNets работает лучше, заключается в большом объеме предварительного обучения, оптимальном выборе гиперпараметров и увеличении данных.
 Самое замечательное в NanoNets то, что каждый может загружать данные и строить свои собственные модели. Вы можете создавать модели двумя способами:
 2. Использование NanoNets API: 
 Ниже мы дадим вам пошаговое руководство по обучению вашей собственной модели с использованием Nanonets API в 9 простых шагов.
 Шаг 1. Клонируйте репо 
 git clone https://github.com/NanoNets/image-classification-sample-python.git 
 cd image -classification-sample-python 
 sudo pip install requests 
 Шаг 2: Получите бесплатный ключ API 
 Получите бесплатный ключ API из http: // app.nanonets.com/#/keys
 Шаг 3: Установите ключ API в качестве переменной среды 
 export NANONETS_API_KEY = YOUR_API_KEY_GOES_HERE 
 Шаг 4. Создайте новую модель 
 python ./code/create-model.py 
 Примечание: это генерирует MODEL_ID, который вам нужен для следующего шага
 Шаг 5: Добавьте идентификатор модели в качестве переменной среды 
 export NANONETS_MODEL_ID = YOUR_MODEL_ID 
 Шаг 6: Загрузите обучающие данные 
 Соберите изображения желаемых объектов обнаружить.Когда у вас есть готовый набор данных в папке  images  (файлы изображений), начните загрузку набора данных.
 python ./code/upload-training.py 
 Шаг 7: Обучите модель 
 После загрузки изображений начните обучение модели
 python ./code/train-model.py 
 Шаг 8: Получить Состояние модели 
 Обучение модели занимает ~ 30 минут. Вы получите электронное письмо после обучения модели. А пока вы проверяете состояние модели
 watch -n 100 python./code/model-state.py 
 Шаг 9: Сделайте прогноз 
 После обучения модели. Вы можете делать прогнозы, используя модель
 python ./code/prediction.py PATH_TO_YOUR_IMAGE.jpg 
 ФОТО: Проверьте свою личность на основе вашей любимой породы собак 
 Дом
/ Фото
/ Образ жизни
/ ФОТО: Оцените свою индивидуальность на основе любимой породы собак
 Наши предпочтения в отношении собак действительно многое говорят о нас. Вам больше нравится немецкая овчарка, золотистый ретривер, мопс или песик? Если вы любитель собак, проверьте свою индивидуальность на основе вашей любимой породы собак
 Подробнее
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST 9 Фото
 /
 Владельцев собак или любителей собак привлекают определенные породы, которые имеют общие черты характера, подражают их темпераменту или имеют те же характеристики, поэтому собаки считаются нашими лучшими друзьями.Однако вы бы солгали, если бы сказали, что любите все породы собак одинаково. Ознакомьтесь со списком ниже, чтобы узнать больше о своей личности на основе вашей любимой породы собак (Фото Ричарда Брутио на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 1. Лабрадор ретривер: Если вы больше всего любите лабрадоров, вы спокойны, круты, собранны и даже расслаблены. Владельцы и любители лабрадоров-ретриверов гостеприимны. Вы не относитесь к жизни слишком серьезно и всегда держите подбородок высоко.Вы добры и нежны по своей природе, что заставляет людей терять бдительность вокруг вас. (Фото Бена Хансона на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 2. Далматинец: для любителей далматинцев мир - это их устрица, поскольку они жаждут открывать для себя новые вещи и переходить от круга к кругу. Вы всегда полны удивительных историй, которые можете рассказать своим друзьям и семье, поскольку вы всегда гонитесь за своей мечтой или новым большим приключением, но у вас также есть более спокойная и чувствительная сторона, тонкий аспект, с которым невозможно бороться.(Фото Майкла Уолка на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 3. Золотистый ретривер: Любовь к ним означает только то, что вы настолько дружелюбны, насколько это возможно. Золотистый ретривер - самые дружелюбные собаки на планете. Вы хорошо общаетесь со всеми типами людей и являетесь открытым человеком, который всегда ищет новых друзей (фото Джастина Айкина на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 4.Пудель: Вы излучаете уверенность, особенно в своей походке, что может заставить людей думать, что вы надменны, но вы тоже знаете, как распустить волосы и хорошо провести время. Слабость к пуделям означает, что вы одновременно уверены в себе и общительны, помимо того, что вам нравится быть в центре внимания. (Фото Элисон Панг на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 5.Хаски: Никто из тех, кто прославился как бездельник, вы можете делать все самостоятельно и снимать стресс, оставаясь активным.Любители собак хаски - целеустремленные, прирожденные лидеры, обладающие сильной волей и не испытывающие проблем, показывая другим путь или добиваясь того, чего они хотят в жизни. (Фото photo nic на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 6. Мопсы: Как любитель мопсов, вы невероятно обаятельны и умны, энергичный шар и родственный дух, который любит играть, обниматься и ловить свой прекрасный сон, но чтобы уравновесить личность, вы иногда можете быть упрямыми и можете '' не сдвинуться с места, когда вы приняли решение.(Фото Инди Палмер на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 7. Немецкая овчарка: Вы сильны, надежны и часто действуете как маяк, который помогает увести людей домой. Поклонники породы немецкая овчарка считаются сильным лидером благодаря своей спортивной и умной стороне. Ваша защитная природа делает людей навсегда преданными вам. (Фото Кейтлин МакМиллан на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 /
 8.Бигль: Привет, ты беспечный человек. Вам нелегко скучать, но ваши шалости часто приводят к неприятностям. Любители гончих любят узнавать новое, временами могут быть излишне любопытными и знают, чем занять себя. (Фото Паоло Хуана на Unsplash) 
 ОБНОВЛЕНО 27 АВГУСТА 2021 г. 12:34 IST
 Создайте свой первый проект компьютерного зрения - Классификация пород собак | by Tuan Nguyen 
 Начните создавать свой первый проект компьютерного зрения менее чем за 30 минут.
 Фото Джо Кайоне на Unsplash
 Для нас, людей, довольно легко отличить одну породу собак от другой. Это если вы говорите о 10–20 популярных породах собак. Когда мы говорим о более чем 100 видах собак, это совсем другая история. Чтобы человек мог правильно и последовательно классифицировать большое количество пород, нам нужен другой подход, чем чистое запоминание. Нам нужно начать извлекать «черты», соответствующие разным породам, такие как цвет шерсти, форма ушей, форма лица, длина хвоста и т. Д.Даже в этом случае нам нужно запомнить, какая порода и какие особенности имеют, и это непростая или увлекательная задача.
 Изображение предоставлено: сложно классифицировать большое количество пород собак.
 Люди, испытывающие трудности с определением большого количества видов, являются прекрасным примером ситуаций, в которых компьютеры лучше нас. Это не означает, что Скайнет идет убить всех нас; Я считаю, что нам пока не стоит об этом беспокоиться. Вместо того, чтобы машины заменяли людей в рабочей силе, многие считают, что гибридный подход двух рас, работающих вместе, может превзойти любую отдельную гонку, работающую в одиночку.Вы можете прочитать больше по этой теме в книге Эндрю Макафи под названием Machine, Platform, Crowd.
 В этом проекте я расскажу вам, как построить и обучить сверточную нейронную сеть (CNN), которая классифицирует 133 разные породы собак. Этот проект является частью моей работы с Data сайтом Nanodegree, и вы можете узнать о нем больше здесь. Код этого проекта доступен в моем репозитории GitHub, убедитесь, что вы установили необходимые пакеты, если хотите следовать.
 Как компьютер распознает изображение 
 Мы очень хорошо умеем распознавать вещи благодаря миллионам лет эволюции, которая ушла на совершенствование наших глаз и мозга для улучшения зрения.Компьютер «видит» изображение как серию чисел. Пиксель на вашем экране представлен тремя числами от 0 до 255. Каждое число представлено как интенсивность красного, зеленого и синего цветов. Изображение 1024 * 768 можно представить как матрицу 1024 * 768 * 3, эквивалентную серии из 239 616 чисел.
 Изображение предоставлено: изображение, представленное числами
 Традиционно компьютеру сложно распознать или классифицировать объект на изображении. Благодаря недавним достижениям в области вычислительной мощности и исследований нейронных сетей, компьютеры теперь могут иметь возможность человеческого зрения для решения многих конкретных задач.
 Что такое нейронная сеть 
 Есть много замечательных ресурсов, объясняющих, что такое нейронная сеть. Вот мое любимое объяснение, заимствованное из этого поста:
 Нейронные сети
 состоят из следующих компонентов:
 Входной уровень  ,   x  
 Произвольное количество  скрытых слоев 
 Выходной слой  ,   ŷ  
 Набор весов   и  смещений  между каждым слоем,   W и b  
 Выбор функции активации   для каждого скрытого слоя,   σ  .В этом руководстве мы будем использовать функцию активации сигмовидной формы.
 На схеме ниже показана архитектура двухуровневой нейронной сети ( обратите внимание, что входной уровень обычно исключается при подсчете количества слоев в нейронной сети )
 Кредит изображения: упрощенная архитектура нейронной сети
 Объяснение в Подробная информация о том, как работает нейронная сеть, выходит за рамки этого поста. На Medium можно найти множество отличных статей, объясняющих, как работает нейронная сеть. Для нашего проекта классификации собак нашим входным слоем будет изображение собаки, представленное числами.Скрытые слои будут состоять из множества слоев с весами и смещениями, которые будут обновлены при обучении модели. Результатом будет серия вероятностей для каждой из наших 133 пород собак.
 Хотя существуют разные архитектуры нейронных сетей для различных задач машинного обучения, сверточная нейронная сеть (CNN) является наиболее популярной для задач классификации изображений.
 Что такое сверточная нейронная сеть 
 CNN - это архитектура нейронной сети, которая обычно используется для задач классификации изображений.Типичная архитектура включает в себя входной уровень, несколько сверточных слоев, за которыми следует уровень объединения, полностью связанный уровень (FC) и выходной уровень. Вы можете прочитать более подробное объяснение CNN здесь и здесь.
 Изображение предоставлено: Архитектура CNNImage Кредит: Визуализация сверточного слоя
 Что такое трансферное обучение 
  Передаточное обучение  позволяет использовать знания, полученные при решении одной проблемы, и применять их к другой, но связанной проблеме.
 Современные сверточные сети обучаются на огромных наборах данных, таких как ImageNet, и на это уходит несколько недель. Поэтому в большинстве случаев вы не хотите обучать новую ConvNet самостоятельно.
 Существует множество известных предварительно обученных моделей, таких как VGG-16, ResNet-50, Inception, Xception и т. Д. Эти модели были обучены на большом наборе данных, и вы можете использовать этапы извлечения признаков и применять их. как экстракторы функций для вашей конкретной проблемы. Вы можете узнать больше о трансферном обучении здесь.
 Изображение предоставлено: Визуализация архитектуры трансферного обучения
 Получение данных 
 Вы можете скачать набор данных здесь. Набор данных содержит 8 351 изображение собак, 133 породы собак, которые были разделены на 6 680 изображений для обучения, 836 изображений для тестирования и 835 изображений для проверки.
 Обратите внимание, что вам следует следовать этому руководству, если у вас графический процессор NVIDIA. Обучение на CPU занимает много времени. Кроме того, вы можете бесплатно использовать Google Colab здесь.
 Загрузка словарей пар ключ-значение меток и путей к файлам может быть выполнена следующим образом:
  из   sklearn.наборы данных   import  load_files 
  from   keras.utils   import  np_utils 
  import   numpy   as   np  
  from   glob   import  glob  # define function , тестовые и проверочные наборы данных  
  def  load_dataset (path): 
 data = load_files (path) 
 dog_files = np.array (data ['filenames']) 
 dog_targets = np_utils.to_categorical (np.array (data ['target']), 133) 
  return  dog_files, dog_targets  # загрузить наборы данных train, test и validation  
 train_files, train_targets = load_dataset ('dogImages / train') 
 valid_files, valid_targets = load_dataset ('dogImages / valid') 
 test_files, test_targets = load_dataset ('dogImages / test') 
 Различные изображения могут иметь разные размеры. Следующие коды изменяют размер входного изображения до 224 * 224 пикселей и загружают его в память как numpy series:
  from   keras.предварительная обработка   import  image 
  from   tqdm   import  tqdm  def  path_to_tensor (img_path): 
  # загружает изображение RGB как PIL.Image.Image type  
 img = image.load_img (imgize_path, imgize_path, imgize_path, imgize_path, (224, 224)) 
  # преобразовать тип PIL.Image.Image в 3D-тензор с shape (224, 224, 3)  
 x = image.img_to_array (img) 
  # преобразовать 3D-тензор в 4D-тензор с shape ( 1, 224, 224, 3) и вернуть 4D тензор  
  вернуть  np.expand_dims (x, axis = 0)  def  paths_to_tensor (img_paths): 
 list_of_tensors = [path_to_tensor (img_path)  для  img_path  in  tqdm (img_paths)] 
  return  np.vstack (list_of_paths)) данные процесса  
 Нам необходимо нормализовать наши данные, чтобы исключить единицы измерения. Нормализация может помочь нашей модели лучше сравнивать данные разных масштабов. 
 
  из   PIL   импорт  ImageFile 
 ImageFile.LOAD_TRUNCATED_IMAGES =  True   # предварительно обработать данные для Keras  
 train_tensors = paths_to_tensor (train_files) .astype ('float32') / 255 
 valid_tensors = paths_to_tensor (valid_files) .astype ('float32' test) .astype ('float32' test) .astype ('float32' test). paths_to_tensor (test_files) .astype ('float32') / 255 
 Данные обучения 
 Даже людям сложно определить породу собак
 Давайте посмотрим на некоторые из наших данных. Наш пример показывает, что точно определить породу собаки непросто даже для человека.Есть множество других реальных факторов, которые могут повлиять на нашу модель:
  Условия освещения:  различных источников света изменяют способ отображения цветов
  Ориентация объекта:  наши собаки могут помочь во многих различных позах
  Рамка изображения:  портретная рамка крупным планом сильно отличается от кадра полного тела
  Недостающие черты:  На фотографии показаны не все черты собаки
 Таким образом, традиционные методы были невозможны для развития компьютерного зрения задания.Давайте посмотрим, что мы можем сделать с CNN и трансфертным обучением.
 Архитектура модели 
 Создание CNN с помощью Keras просто. Вы можете определить архитектуру своей модели с помощью следующего кода.
  из   keras.layers   import  Conv2D, MaxPooling2D, GlobalAveragePooling2D 
  из   keras.layers   import  Dropout, Flatten, Dense 
  из   Последовательный импорт keras.models   () 
 модель.add (Conv2D (Filters = 16, kernel_size = 2, padding = 'same', activate = 'relu', input_shape = (224,224,3))) 
 model.add (MaxPooling2D ()) 
 model.add (Conv2D (filters = 32, размер ядра = 2, padding = 'same', activate = 'relu')) 
 model.add (MaxPooling2D ()) 
 model.add (Conv2D (filters = 64, kernel_size = 2, padding = 'same', Activation = 'relu')) 
 model.add (MaxPooling2D ()) 
 model.add (GlobalAveragePooling2D ()) 
 model.add (Dense (133, Activation = 'softmax')) model.summary () 
 Наш примитив Архитектура модели имеет входной слой с формой 224 * 224 * 3.Затем входные данные подаются на два сверточных слоя, за которыми следует слой максимального объединения (для понижающей дискретизации). Затем выходные данные подаются на уровень глобального среднего пула, чтобы минимизировать переобучение за счет уменьшения количества параметров. Выходной слой возвращает 133 вероятности для наших пород.
 Изображение предоставлено: Визуализация объединяющих слоев, таких как MaxPooling и AveragePooling Краткое изложение нашей примитивной модели
 Метрики 
 В этом проекте наша цель - правильно предсказать породу изображения нашей собаки.Таким образом, мы используем точность как критерий выбора для улучшения нашей модели после каждой итерации. Точность - это просто то, сколько раз наша модель правильно предсказывает породу собаки.
 Скомпилируйте и обучите модель 
 Затем необходимо будет скомпилировать нашу модель. Мы используем  rmsprop  в качестве нашего оптимизатора, ategorical_crossentropy,  как функцию потерь и точность как нашу метрику.
 model.compile (optimizer = 'rmsprop', loss ='ategorical_crossentropy ', metrics = [' precision ']) 
 Затем мы можем обучить модель с помощью следующих кодов:
  from   keras.обратные вызовы   import  ModelCheckpointepochs = 5checkpointer = ModelCheckpoint (filepath = 'saved_models / weights.best.from_scratch.hdf5', 
 verbose = 1, save_best_only =  True ) model.fit (train_tar_tensation, train_tensation_tensors, train_tensation_tensors, train_tar_tensation valid_targets), 
 epochs = epochs, batch_size = 20, callbacks = [checkpointer], verbose = 1) 
 С  пятью эпохами  и примерно  восемь минут , мы достигли точности  3,2297% , лучше, чем случайный угадывание (1/133 = 0.75%).
 Хотя наша модель работает намного лучше, чем случайное угадывание, модель 3,2297% в действительности бесполезна. Обучение и настройка нашей модели для достижения значимой точности требует много времени, большого набора данных и больших вычислительных ресурсов. К счастью, мы можем использовать переносное обучение, чтобы сократить время обучения без ущерба для точности.
 Получение узких мест 
 Keras предлагает следующие предварительно обученные современные архитектуры, которые можно использовать за считанные минуты: VGG-19, ResNet-50, Inception и Xception.В этом проекте мы будем использовать ResNet-50, но вы можете попробовать и другую архитектуру самостоятельно. Следующий код загружает предварительно обученную модель и загружает узкие места.
  импорт   запросов  
 url = 'https://s3-us-west-1.amazonaws.com/udacity-aind/dog-project/DogResnet50Data.npz' 
 r = requests.get (url)  с открытым  ('bottleneck_features / DogResnet50Data.npz', 'wb')  как  f: 
 f.write (r.content) bottleneck_features = np.load ('bottleneck_features / DogResnet50Data.npz ') 
 train_Resnet50 = bottleneck_features [' train '] 
 valid_Resnet50 = bottleneck_features [' valid '] 
 test_Resnet50 = bottleneck_features [' test '] 
 Архитектура модели 
 С предварительно обученной моделью ResNet-50 мы создаем нашу полностью -связанные (FC) слои со следующими кодами. Мы также добавляем два слоя исключения, чтобы предотвратить переоснащение.
 Resnet50_model = Sequential () 
 Resnet50_model.add (GlobalAveragePooling2D (input_shape = train_Resnet50.shape [1:])) 
 Resnet50_model.add (Dropout (0.3)) 
 Resnet50_model.add (Dense (1024, activate = 'relu')) 
 Resnet50_model.add (Dropout (0.4)) 
 Resnet50_model.add (Dense (133, activate = 'softmax')) 
 Resnet50_model.summary () 
Наша архитектура модели с использованием трансферного обучения выглядит так:
 Производительность модели 
 Используя трансферное обучение (ResNet-50), с  двадцать эпох  и  менее двух минут , мы достигли точности теста  80,8612% . Какое фантастическое улучшение по сравнению с нашей примитивной моделью.
 Используя модель, описанную выше, я создал небольшое приложение командной строки. Если вы введете изображение собаки, приложение предскажет породу. Если вы введете изображение человека, скажем, одного из ваших друзей, приложение предскажет наиболее подходящую породу собак. Если собака или человек не представлены, приложение выдаст ошибку. Вы можете следовать инструкциям в файле README.md в моем репозитории GitHub.
 В этом проекте я познакомлю вас с некоторыми  основными концепциями , которые вам необходимо знать для создания вашего первого проекта компьютерного зрения.Я объяснил , как компьютеры понимают изображения , кратко рассмотрев, что такое нейронная сеть  , сверточная нейронная сеть  ,   и  с передачей обучения .
 Мы также построили и обучили архитектуру  CNN с нуля , а также применили трансферное обучение  , чтобы значительно повысить точность нашей модели  с 3,2% до 81%.  Во время работы над проектом я был очень впечатлен тем, как можно использовать переносное обучение для повышения точности при значительном сокращении времени обучения.Вот некоторые прогнозы наших моделей:
 Некоторые прогнозы нашей модели
 Если у меня будет больше времени, вот несколько будущих разработок для этого проекта:
  Дополнительные данные:  Текущая реализация принимает только стандартные изображения в качестве входных данных. В результате модель может быть недостаточно надежной в реальном контексте. Я могу дополнить обучающие данные, чтобы наша модель была менее подвержена чрезмерной подгонке. Я могу сделать это, произвольно обрезая, переворачивая, вращая обучающие данные, чтобы создать больше обучающих выборок.
  Настроить модель:  Я также могу настроить гиперпараметры модели для достижения большей точности. Некоторые потенциальные гиперпараметры для настройки включают оптимизатор, функцию потерь, функцию активации, архитектуру модели и т. Д. Я также могу использовать GridSearch из Sklearn с Keras.
  Попробуйте другие модели:  В этом проекте я попытался обучить модель на VGG-16 и ResNet-50. Следующим шагом может быть попытка обучения моделей с использованием разных архитектур, а также изменение архитектуры наших полностью связанных слоев.
  Создание веб-/ мобильного приложения:  Я также могу создать веб-приложение или мобильное приложение, используя эту модель для развлечения.
  Спасибо за чтение, надеюсь, вы кое-что узнали 🙂 
 50 самых популярных пород собак в Америке 
 Кто не любит игривого щенка? А с 360 различными породами собак по всему миру, не говоря уже о 190 в Соединенных Штатах, есть собака на любой вкус. На самом деле, существует так много видов четвероногих друзей, что Американский клуб собаководов проанализировал свою последнюю статистику регистрации за 2019 год, чтобы найти самые популярные породы в стране.Вот милые собаки, от милых корги до высоких датчан, которых вы захотите усыновить как можно скорее. А чтобы увидеть еще больше очаровательных собак, посмотрите эти 30 фотографий, которые показывают, почему пожилые собаки самые лучшие.
 Shutterstock
 Ни у одной собаки нет более привлекательных замков, чем у английского кокер-спаниеля. Даже Пантене гордился бы.
 Shutterstock
 Эти кудрявые милашки также являются отличными товарищами на рыбалке и любят играть в воде (отсюда и их название). А чтобы узнать больше о том, как собаки делают жизнь лучше, ознакомьтесь с 15 удивительными жизненными уроками, которые вы можете извлечь у своей собаки.
 Shutterstock
 Еще в 90-е годы Бетховен украл наши сердца. И теперь каждый хочет одного из этих нежных гигантов в своей семье.
 Shutterstock
 Акиты имеют древнее японское происхождение, поэтому они такие величественные. А чтобы увидеть еще более очаровательных щенков, посмотрите эти 27 драгоценных фотографий собак и младенцев, которые растопят ваше сердце.
 Shutterstock
 Ретривер из Чесапикского залива имеет прочную водонепроницаемую шерсть, которая отличает их от своих собратьев, но при этом у них такое же дружелюбное отношение, которое вы ожидаете от всех ретриверов.
 Shutterstock
 Шиба - самая популярная собака в Японии, и она быстро стала популярной и в Америке. Вы только посмотрите на эту счастливую улыбку!
 Shutterstock
 Эти маленькие гончие, известные как вести, представляют собой маленькие солнечные шары. А чтобы еще больше уютных щенков, подпишитесь на нашу ежедневную рассылку новостей.
 Shutterstock
 Бишоны фри из-за своего пушистого меха выглядят как маленькие хлопковые клубки. Они особенно любят выставлять свои вещи перед грумером.
 Shutterstock
 Нетрудно понять, как эта порода получила свое название.У собак есть отчетливый гребень или полоса растущей назад шерсти вдоль позвоночника. Они возникли в Африке как собаки-следопыты и являются быстрыми, сильными бегунами, а также игривыми приятелями.
 Shutterstock
 Вы захотите стать лучшими друзьями с Малом; эти верные щенки любят быть рядом с людьми.
 Shutterstock
 С первого взгляда можно спутать новичка с медведем. Но этот массивный щенок, как известно, особенно мил и заботится о маленьких детях.
 Shutterstock
 Этот немецкий пёс, прозванный «серым призраком», умён и быстр, особенно когда он тренируется или охотится со своими хозяевами.
 Shutterstock
 Лесси - одна из первых и самых известных пушистых подруг, прорвавшихся в поп-культуру. А теперь ты можешь взять с собой и этого длинноволосого пастуха.
 Shutterstock
 Вы могли заметить бассета за милю благодаря их большим гибким ушам, которые практически касаются земли.
 Shutterstock
 Эти стильные щенки привлекают внимание своим мехом до пола. Семьям также нравится наряжаться в луки и аксессуары.
 Shutterstock
 Чихуахуа могут быть достаточно крошечными, чтобы поместиться в вашей сумочке, но у них огромное сердце и большая личность.
 Shutterstock
 Эта великолепная собака золотистого окраса была выведена как компаньон на охоте, и сегодня они любят много активности, включая бег и тренировки.
 Shutterstock
 Невероятно умные, но добрые и милые бордер-колли - лучшее из обоих миров!
 Shutterstock
 Мастифы коренастые и иногда могут перевесить даже взрослого человека. Но не позволяйте их размеру вводить вас в заблуждение - они послушные чародеи.
 Shutterstock
 У мопсов может быть забавная мордашка, но это делает их еще более очаровательными.А если вам нужны более причудливые собаки, посмотрите 13 «уродливых» собак, которые действительно просто очаровательно уникальны.
 Shutterstock
 Вы можете проследить родословную этой собаки до древних римских времен. Фактически, имя кане корсо означает «собака-телохранитель» на латыни, что объясняет, почему они такие великие защитники.
 Shutterstock
 Эти мини-пастухи - одни из самых трудолюбивых работников. Они также подвижны и легко обучаются.
 Shutterstock
 Как можно не обожать кокер-спаниелей с их добрыми глазами и очень мягкими ушами?
 Shutterstock
 Не путать со своим двоюродным братом, английский спрингер-спаниель крупнее и у него более короткие волосы.
 Shutterstock
 Эти рыжие собаки олицетворяют спорт, их можно встретить бегающими по полям или любому ландшафту, где вы позволяете им размять ноги.
 Shutterstock
 Представьте себе компактного колли, и у вас есть шетландская овчарка. Шелти - супер-умный приятель, приехавший с шотландских островов.
 Shutterstock
 Несложно понять, почему этих собак называют помпонами. У некоторых так много волос, что их мордашки едва видны!
 Shutterstock
 Бернские зенненхунды - идеальное дополнение для семьи благодаря своему легкомысленному и дружелюбному характеру.
 Shutterstock
 Гаванцы - живые, общительные существа, единственная порода, обитающая на Кубе.
 Shutterstock
 Этих щеголеватых собак можно узнать по сочетанию бело-черного цвета, напоминающему смокинг. Бостонские терьеры также обладают прекрасными манерами, за что получили прозвище «американский джентльмен».
 Shutterstock
 Не произносите название породы слишком быстро, иначе вы можете взглянуть искоса. Но, несмотря на свое довольно веселое имя, Ши-тцу - забавные человечки, и с ними приятно находиться.
 Shutterstock
 Благородный доберман - одна из самых достойных собак в мире. Помимо того, что они верные опекуны, они также умные и дружелюбные домашние животные.
 Shutterstock
 Миниатюрные шнауцеры могут выглядеть так, как будто у них дедовское лицо, с седыми волосами, густыми бровями и длинной белой бородой, но из-за этого они тем более очаровательны.
 Shutterstock
 Конечно, датские доги примерно такого же роста, как лошадь, но они настоящие бездельники. Лучшего приятеля вы не найдете!
 Shutterstock
 У этой британской породы мечтательные круглые глаза, в которых можно легко раствориться.
 Shutterstock
 Хаски внешне напоминают своих предков-волков, с ледяными голубыми глазами и белоснежно-черной шерстью. Удивительно наблюдать, как эти мощные ездовые собаки мчатся по тундре в своей стихии, а также приятно свернуться с ними дома.
 Shutterstock
 Хотя название может заставить вас поверить в то, что они бойцы, боксеры терпеливы и игривы, особенно с детьми.
 Shutterstock
 Аусси - одна из самых красивых пород.У них часто бывает много разных оттенков шерсти и может быть два разных цвета глаз, как показано на фото этого щенка.
 Shutterstock
 Если вам нужна крошечная собачка, обратите внимание на доброго Йорка.
 Shutterstock
 Этих очаровательных щенков часто называют собачками, потому что их длинные стройные тела напоминают хот-доги.
 Shutterstock
 Corgis снова стал популярным. И кто мог их винить? Посмотрите на их ножки и тельца, похожие на буханку!
 Shutterstock
 Pointers почти кажутся королевскими с их фирменным прямым хвостом и тонкой рамкой.
 Shutterstock
 Не пугайтесь сильной, а иногда и властной внешности ротвейлера. Внутри они полнейшие твари!
 Shutterstock / kobkik
 Кто бы не хотел, чтобы Снупи был домашним животным? Бигль - лучший друг.
 Shutterstock
 Если вы выбираете собаку в первую очередь, то пудель - самый эффектный выбор.
 Shutterstock
 Этот массивный бульдог с морщинистыми мордами и сутулыми плечами - храбрая и добрая собака.
 iStock
 Французы - любимцы горожан, живущих в небольших квартирах. Но с их купированными хвостами, мягкими ушами и морщинистыми лицами они милы независимо от того, где вы живете!
 Shutterstock
 Вы можете поблагодарить  Air Bud  за то, что золотистый ретривер стал культовой американской собакой. Их мягкий дух и беззаботная улыбка - лишь некоторые из многих причин, по которым их любят.
 Shutterstock
 Немецкие овчарки популярны как в полиции, так и в семьях.Помимо того, что они совершенно красивы, они также умны, верны и нежны.
 Shutterstock
 Независимо от того, есть ли у вас черный, шоколадный или желтый, Labs - идеальные компаньоны для собак. Они счастливы в любой обстановке - от озера до вашей гостиной - и никогда не встречали человека, с которым не сразу подружились бы. А если вы еще больше счастливы, посмотрите эти 40 фотографий щенков, которые вызовут улыбку на вашем лице.
 20 французских пород собак - Список с фотографиями и информацией 
 Франция славится своей богатой историей и культурой.Их гастрономическое влияние огромно, их литература переводится по всему миру, и они были центром многих великих художников. Однако не все будут так же знакомы с их влиянием на собачью культуру  . Это начинает меняться, поскольку такие породы, как французский бульдог, становятся популярными во всем мире.
 Возможно, легко узнать французского бульдога как французскую породу по его названию, но известно, что более 40 пород собак возникли на территории Франции.К сожалению, многие из них вымерли по разным причинам. AnimalWised представляет вам  20 самых популярных французских пород собак , сохранившихся до сих пор. Мы предоставляем фотографии и информацию об их характере и характеристиках.
 1. Барбет 
 Мы начинаем наш список популярных французских пород собак с  Barbet , водяной собаки среднего размера. Водяные собаки известны своей способностью плавать. Они часто используются в профессиях, основанных на воде или вокруг воды, например, в качестве собак-спасателей.
 Тело Барбета хорошо подходит для водных задач, поскольку у него крепкое телосложение с длинным шерстяным и кудрявым мехом, похожим на пуделя. У них густой густой подшерсток, который защищает их от холода. Есть некоторые разногласия по поводу их происхождения, но барбет считается французской собакой. Отчасти загадка их происхождения связана с тем, что они являются одной из старейших европейских пород собак, если не самой старой.
 2. Пудель 
 Стандартный пудель - одна из самых популярных пород собак в мире и, возможно,  самая популярная французская порода собак  в этом списке.Хотя они выделяются своим очаровательным внешним видом, следует помнить, что они являются одними из самых умных пород собак в мире. Они особенно чувствительны к своим человеческим опекунам и имеют предрасположенность к тренировкам.
 Одна из их основных характеристик - вьющаяся шерсть. Это требует определенного ухода для  обслуживания , но многие также выбирают стрижку и уход в различных стилях для демонстрационных целей.
 3 Бассет-хаунд 
 Несмотря на свое несчастное лицо, бассет-хаунды - одна из самых нежных и довольных французских пород собак.Они являются частью группы из  гончих пород , которые возникли в Сен-Юбер в регионе Лотарингия во Франции. Некоторые теории утверждают, что бассет произошел от более мелких собак, выведенных из помесей французских гончих. Другие утверждают, что они происходят от определенных линий бладхаундов. Что известно наверняка, так это то, что слово  Basset  происходит от французского слова «bas», что означает «низкий» из-за их непосредственной близости к земле.
 Эти собаки быстро распространились по Европе,  считаются одной из самых эффективных французских охотничьих пород собак .Однако впоследствии они стали более популярными как животные-компаньоны. Их характерный «грустный» вид на протяжении всей истории делал их популярными в мультфильмах и культурных изображениях. В Америке они известны как талисманы производителя обуви Hush Puppies, поэтому многие называют эту породу «тихим щенком».
 Эти драгоценные гончие намного больше, чем их внешний вид  . Их мощный нос делает их образцовыми охотниками на тропах. Как собаки-компаньоны они выделяются своим преданным и веселым характером и считаются одними из самых тихих собак.Несмотря на свой замечательный охотничий инстинкт, они прекрасно уживаются с домашними животными и детьми, если хорошо социализированы.
 4. Французский бульдог. 
 Французский бульдог, также известный как «француз», - одна из  самых популярных французских малых пород собак. . Их маленькое, но крепкое и пухлое тело происходит от английских бульдогов. Они добродушны, общительны, игривы и ласковы, что помогает нам быстро понять, почему эти «ушастые» собаки являются такими любимыми товарищами.
 Однако важно помнить, что эти собаки требуют много внимания и очень нуждаются в компании, если они хотят поддерживать уравновешенный характер. Французский бульдог, проводящий слишком много времени самостоятельно, разовьет деструктивное поведение и тревогу разлуки. Поэтому, если вы проводите много времени вдали от дома или ведете очень независимую жизнь, это может вам не подойти.
 Кроме того, важно помнить, что это  брахицефальных собак , которые нуждаются в особом уходе для сохранения хорошего здоровья.Это также помогает предотвратить распространенные болезни французского бульдога.
 5. Папийон 
 Папийон - одна из самых изысканно выглядящих  маленьких   французских пород собак . У них изящная манера поведения и плавная походка, одна из причин, по которой они считаются одной из самых элегантно выглядящих собак в мире. Они умны и активны, а также ласковы и экстравертированы в своей семье, даже если не особенно общительны с незнакомцами. Название происходит от их характерной формы головы, которая похожа на бабочку с распростертыми крыльями.
 Конечно, мы должны помнить, что поведение каждой собаки будет зависеть от их образования и среды, предоставляемой их опекунами. Если мы хотим общительную и послушную собаку папийона, нам нужно уделять особое внимание их дрессировке и ранней социализации.
 6. Бордоский дог 
 Мало что известно о происхождении бордоских дог, но предполагается, что их предки были завезены кельтами  французским. Первый зарегистрированный образец этой французской породы собак датируется 14 веком, периодом, когда они в основном использовались для охоты на крупных животных и для защиты.К сожалению, бордоский мастиф (как его иногда называют) также использовался в качестве бойцовой собаки до запрещения этого вида деятельности в 19 веке.
 Бордоский мастиф выделяется как  крупная французская порода собак  с очень крепким телосложением и хорошо развитой мускулатурой. Их голова бросается в глаза, а кожа морщится при внимательном взгляде. Их внушительный внешний вид противоречит добродушной, чувствительной и спокойной собаке, верной своей человеческой семье.
 Однако из-за своего физического строения и мощной челюсти бордоский дог в некоторых странах считается потенциально опасной собакой.Хотя их морфология   не определяет их поведение, мы должны помнить, что эти собаки должны быть хорошо образованы и социализированы с раннего возраста. Вот почему они лучше подходят более опытным владельцам собак, у которых есть время и терпение, необходимые для ведения довольной жизни.
 7. Бриар 
 Бриар считается редкой породой собак за пределами своей родной Франции. Однако, когда их заметят, легко увидеть их привлекательность, поскольку они имеют привлекательную длинноволосую внешность.Это большая собака с прямоугольным телом, деревенской внешностью и хорошо развитой мускулатурой. У них длинный сухой мех  грубой текстуры , который иногда называют «козьей шерстью». Обычно на классических фотографиях собак породы бриар видно их морду и глаза, частично прикрытые длинной челкой.
 По характеру можно сказать, что бриар - активная, игривая и преданная собака. Они уравновешены и очень безопасны сами по себе. Поскольку они защищают свои семьи и преданы им, особенно с детьми, они могут быть несколько застенчивыми и подозрительными по отношению к незнакомцам.Еще одна причина, по которой так важно социализировать щенков, чтобы они могли позитивно взаимодействовать с другими животными и людьми.
 Как указывает их оригинальное французское имя  Пастор де Бри , эти пушистые парни происходили из региона Бри во Франции. Кроме того, об их точном происхождении мало что известно. Считается, что это одна из  старейших французских пород собак , вероятно, произошедших от старых пастушьих собак из парижских бассейнов.
 8.Grand Bleu de Gascogne 
 Родом из французского региона Гаскони, мало известен в  других европейских странах . Во Франции это одна из самых популярных охотничьих собак. Это гончая собака с большим и иногда внушительным внешним видом. У них сильная мускулатура, длинные и сильные ноги и длинные висячие уши.
 Благодаря высокоразвитому обонянию и физическому строению, исторически это была охотничья собака в стае. Впоследствии, благодаря своему преданному, безмятежному и благородному характеру, они превратились в любимых собак-компаньонов.
 Однако у них сильный лай, и нам нужно обратить особое внимание на их образование и социализацию  , чтобы предотвратить навязчивый лай. Опять же, они не рекомендуются для наставников без предыдущего опыта владения собакой.
 9. Босерон 
 Босерон иногда называют  Berger de Beauce , что означает  овчарку из региона Босе . Это большая французская собака с деревенской внешностью и мускулистым телом.У них короткая и плотная шерсть, часто черно-подпалая, но также может быть в стиле мрамор-мерль. Первая зарегистрированная собака этой породы была зарегистрирована во Франции в 1893 году.
 Их имя происходит от места их происхождения, а именно от равнин недалеко от Парижа, известных как  Le Beauce . Первоначально они работали полевыми работниками. Это включало все: от содержания стада до защиты земель от браконьеров. Впоследствии они сопровождали французскую армию в обеих мировых войнах.
 Несмотря на то, что собаки босерона мало известны за пределами Франции,  собак очень умные, энергичные и уверенные в себе  животных. Они очень привязчивы и преданы своей семье, но могут быть сдержанными с незнакомцами.
 10. Великие Пиренеи 
 Также известная как  Пиренейский зенненхунд , последняя собака в нашем списке популярных французских собак, пожалуй, самая «неоднозначная». Споры возникают из-за того, являются ли они изначально французскими.Это потому, что они происходят из горных Пиренеев, граничащих с Францией и Испанией. По этой причине некоторые могут считать их  франко-испанской собакой , а не исключительно французской.
 Тем не менее, будет справедливо сказать, что  Великие Пиренеи сохранили особую популярность во Франции  и даже зашли так далеко, что были объявлены королевской собакой французского двора Людовика XIV. Он был особым поклонником красоты и характера этой породы.
 В настоящее время Великие Пиренеи стали популярными собаками-компаньонами, но все еще используются в качестве пастушьих собак в некоторых горных регионах Франции и Испании.Они защитные, лояльные и в некоторой степени независимые, что демонстрирует отличную предрасположенность к обучению различным задачам и функциям.
 Из-за своего большого размера, Великие Пиренеи нуждаются в доме на , много места,  и достаточно еды, чтобы поддерживать их оптимальное питание. Кроме того, их густую шерсть нужно чистить два или три раза в неделю, чтобы шерсть оставалась здоровой. Вот почему они не очень хорошо переносят жару.
 Еще французские породы собак 
 В дополнение к вышеупомянутым волосатым породам, существует еще  других пород французских собак , которые менее известны за пределами галльских земель.Ниже мы перечисляем некоторые другие породы собак, которые возникли во Франции и обладают замечательными качествами в качестве служебных, охотничьих собак или домашних животных:
 Французский спаниель
 Braque Francais (французский пойнтер)
 Griffon Bleu de Gascogne
 Бретаньская собака
 Basset Fauve de Bretagne
 Griffon Fauve de Bretagne
 Braque Saint-Germain
 Grand Anglo-Francais Tricolore
 Braque de Bourbonnai
 Poitevin (Chien de Haut-Poitou)
 Эти большие французские породы собак относятся к  small , в зависимости от конкретного животного.Вы можете сами увидеть различия на фотографиях ниже. Если вы хотите узнать больше о различных европейских породах собак, прочтите нашу статью о различных итальянских породах собак.
 Если вы хотите прочитать статьи, похожие на  Французские породы собак , мы рекомендуем вам посетить нашу категорию «Что вам нужно знать».
 Какая порода моя собака? (4 способа узнать) 
 Вы когда-нибудь задумывались: «Какой породы моя собака?»
 От удовлетворения вашего любопытства до лучшего понимания своего питомца, чтобы вы могли обеспечить индивидуальный уход, есть несколько преимуществ, чтобы выяснить, какие породы составляют вашу загадочную смесь.
 Ваш ветеринар (или персонал приюта, если вы усыновили) может поделиться своими идеями о происхождении вашего щенка. Но если судить только по визуальным сигналам, даже эксперты неправильно определяют породу собаки примерно в 75% случаев.
 Итак, в этом посте вы узнаете четыре метода определения породы вашей собаки.
 1. Сравните физические характеристики вашего щенка с другими породами. 
 Пытаясь определить породу собаки, большинство людей начинают с поиска. Такой подход довольно прост и требует лишь немного времени и исследований.Но это, конечно, не самый точный способ определить породу вашего щенка.
 В конце концов, внешний вид может вводить в заблуждение из-за того, как собаки наследуют черты. А это означает, что даже эксперты могут ошибаться - как это сделала д-р Анджела Хьюз, предсказывая состав породы Тоби на видео ниже.
 
 Если вы хотите попробовать свои силы в визуальной идентификации, составьте список заметных физических характеристик вашей собаки, также называемых «фенотипом», таких как:
 Форма и длина головы, морды (например,г., короткие и плоские, узкие и заостренные)
 Форма уха и осанка (например, заостренные и прямостоячие, складчатые или опущенные)
 Тип хвоста (например, естественно подстриженный, длинный и закрученный)
 Телосложение и размер (например, , мускулистая и мощная, высокая и стройная)
 Текстура, цвет, длина и рисунок шерсти (например, жилистая, короткая, плотная, пятнистая)
 В общем, вам следует отдавать предпочтение подсказкам в форме вашей собаки (также известной как морфология) по цвету или типу шерсти, потому что первые лучше отражают общее происхождение вашей собаки.С другой стороны, окрасы и типы шерсти являются результатом отдельных генов. А когда у сотен пород одни и те же гены окраски шерсти, угадывать породы становится намного сложнее!
 Итак, сначала обратите внимание на форму головы вашей собаки, постановку хвоста, форму и размер ушей. Например, есть ли у вашего щенка:
 Сильно костяная и блочная голова? Это обычное дело для пород сторожевых собак.
 Длинный и узкий нос? Вполне вероятно, что колли, немецкая овчарка, такса или доберман.
 Кудрявый хвост? Это может означать древнюю породу, хотя есть исключения (например,г., померанский шпиц).
 Высоко посаженные уши? Это, вероятно, исключает такую ​​спортивную породу, как лабрадор ретривер.
 Увеличенные уши? Подумайте о собаках или спортивных породах (например, спаниели, ретриверы, пойнтеры, сеттеры).
 Одна морфология, о которой нужно помнить: 
 Один ген вызывает короткие ноги, и более 40 пород (не только такса, пемброк-вельш-корги и бассет-хаунд) несут его. Например, ши-тцу, чихуахуа и йоркширский терьер часто несут эту черту.Но большинство людей не принимают во внимание такие породы, когда думают о «коротких ногах».
 Помимо вышеперечисленного, обязательно запишите все уникальные черты, а также отличительные черты характера и поведения. Ваша собака любит воду? Пытаются ли они «пасти» людей и других животных? Это отличные подсказки!
 Когда у вас есть список, пора заняться расследованием. Начните поиск в Интернете собак, которые подходят вашему щенку. После того, как вы определили несколько потенциальных кандидатов, просмотрите нашу библиотеку пород, чтобы найти факты и фотографии собак, чтобы узнать о них больше.
 Гадать по одному лишь взгляду может быть весело, но это не надежно. В конце концов, некоторые генетические черты рецессивны, поэтому ваш щенок может не проявлять видимых признаков каждого предка.
 2. Пройдите тест на определение породы собак. 
 Нет времени на все исследования, необходимые для первого подхода? Онлайн-викторины по породам собак упрощают визуальную идентификацию. Ответив на несколько простых вопросов о внешности и характеристиках вашей собаки, вы получите список возможных совпадений.
 Как и в предыдущем случае, викторины основаны на визуальных подсказках. Таким образом, они, вероятно, не смогут определить происхождение на 100% правильно, особенно если в вашем миксе будет несколько пород. Тем не менее, брать их довольно весело.
 Существует много подобных викторин. Но, как ведущая в мире служба ДНК собак, мы решили создать свою собственную! Это коротко: вам просто нужно ответить на три вопроса об ушах, хвосте и форме головы вашей собаки.
 Пройти викторину по породам собак →
 3. Загрузите приложение для определения породы собак.
 Есть несколько бесплатных приложений, которые используют алгоритмы машинного обучения для прогнозирования породы собаки на основе фотографии. В результате этот вариант не намного более точен, чем два предыдущих, так как определить породу, основываясь только на внешнем виде, может быть непросто.
 Чтобы дать вам представление о том, насколько сложно, вот небольшой тест:  Как вы думаете, какая из следующих собак имеет бордер-колли в своем недавнем происхождении? 
 Правильный ответ - №2. Вы правильно угадали?
 Давайте попробуем еще раз:  У какой из следующих собак лабрадор ретривер является близким родственником? 
 Хотите верьте, хотите нет, но правильный ответ - №3.Не уверен насчет вас, но это была наша последняя догадка! И, вероятно, это тоже поставило бы в тупик алгоритм.
 Хотя и далекие от совершенства, приложения для определения породы - например, викторины - могут давать забавные результаты. Если вы хотите попробовать этот подход, вот приложение, которое мы опробовали.
 4. Используйте тест ДНК собаки. 
 Приведенные выше методы могут быть интересными. Но если вы действительно хотите быть уверены в макияже породы вашего щенка, на самом деле есть только один выбор: тест ДНК собаки.Этот вариант не учитывает внешний вид вашего щенка и использует генетические подсказки для определения его происхождения.
 Для максимальной точности вам понадобится тест с большой базой эталонных образцов. Почему? Поскольку алгоритмы тестирования ДНК сравнивают представленные генетические образцы с другими образцами в базе данных, чтобы определить наилучшее совпадение. Таким образом, больший объем образцов делает тест «умнее». А это означает более надежные результаты.
 Используя самую большую базу данных пород собак в мире, Wisdom Panel ™ проверяет более 350 пород, типов и разновидностей.В результате мы можем определять породы, которые другие службы даже не проверяют.
 Мы также сообщаем о снижении состава пород до 1%, прослеживаем происхождение трех поколений, проверяем состояние здоровья и черты характера и многое другое!
 Узнать больше о тестировании ДНК собак →
 Лучший способ определить породу вашей собаки? 
 Чтобы продемонстрировать различия между этими четырьмя подходами, давайте возьмем Кода, щенка, изображенного выше, в качестве примера.
 Как и большинство владельцев собак, родители Коды сначала использовали визуальные и поведенческие подсказки, чтобы угадать происхождение его породы.Они предсказали, что он был смесью:
 Сибирский хаски (из-за цвета его шерсти и отметин)
 Лабрадор-ретривер (потому что он любит воду и играть за собак)
 Немецкая овчарка (из-за своего телосложения)
 Next Koda's родители взяли «Что у меня за собака?» викторина, в результате которой были получены следующие результаты по породам:
 Цвергшнауцер
 Чесапикский ретривер
 Лабрадор-ретривер
 Как видите, ситуация уже становится немного противоречивой! Но подождите - станет лучше.Приложение «Dog Scanner» предсказало, что Koda представляет собой смесь:
 Perro de Presa Mallorquin
 Сибирский хаски
 Немецкая овчарка
 Carolina Dog
 Стремясь получить более точный ответ, родители Koda, наконец, использовали панель мудрости ™ Премиальный тест ДНК собаки. И после оценки его генетического профиля тест показал, что Кода был частью:
 Сибирский хаски (26%)
 Американский стаффордширский терьер (14%)
 Акита (13%)
 Лабрадор-ретривер (13%)
 Золотистый Ретривер (13%)
 Кишу Кен (6%)
 Муди (6%)
 Чау-чау (4%)
 Белая швейцарская овчарка (2%)
 Финский лаппхунд (1%)
 Древер (1 %)
 Норвежский бухунд (1%)
 Как видите, каждый из методов визуальной идентификации правильно угадал  или  пород.Но некоторые из них упустили другие или даже неверно предсказали некоторые.
 Однако ДНК-тест собаки предоставил наиболее полную и точную картину происхождения породы Кода, что позволило его родителям лучше понять его. Внезапно стало ясно, откуда взялись защитные тенденции Коды (Акита, AmStaff). И его плотная шерсть перестала быть загадкой (чау-чау, акита, хаски).
 В качестве дополнительных преимуществ тест ДНК Коды исключил опасные для жизни генетические состояния здоровья (уф!) И дал его родителям идеи для занятий и методов тренировок, которые ему понравятся.
 13,14. Идентификация породы собак (ImageNet Dogs) на Kaggle - погрузитесь в глубокое обучение 0.17.0 документация 
 В этом разделе мы попрактикуемся в определении породы собак.
на Kaggle. Веб-адрес этого конкурса:
https://www.kaggle.com/c/dog-breed-identification
 В этом конкурсе будут признаны 120 различных пород собак. В
Фактически, набор данных для этого конкурса является подмножеством ImageNet
набор данных. В отличие от изображений в наборе данных CIFAR-10 в
Раздел 13.13 изображения в наборе данных ImageNet являются
и выше, и шире в разных размерах. Рис. 13.14.1
показывает информацию на веб-странице конкурса. Вам нужен Kaggle
аккаунт, чтобы отправить свои результаты.
 Рис. 13.14.1 Сайт конкурса по определению породы собак. Конкурс
набор данных можно получить, щелкнув вкладку «Данные».
 импорт ОС
из mxnet импорт автограда, глюона, инициализации, npx
из mxnet.gluon import nn
из d2l импортировать mxnet как d2l

npx.set_np ()
 
 импорт ОС
импортный фонарик
импорт torchvision
из факела импорт нн
из d2l импортная горелка как d2l
 
 13.14.1. Получение и организация набора данных¶ 
 Набор данных соревнований разделен на обучающий набор и тестовый набор,
которые содержат 10222 и 10357 изображений JPEG трех (цветных) каналов RGB,
соответственно. Среди тренировочных данных 120 пород собак.
таких как лабрадоры, пудели, таксы, самоеды, хаски, чихуахуа,
и йоркширские терьеры.
 13.14.1.1. Загрузка набора данных¶ 
 После входа в Kaggle вы можете щелкнуть вкладку «Данные» в
веб-страница конкурса, показанная на рис.13.14.1 и загрузите
набор данных, нажав кнопку «Загрузить все». После распаковки
загруженный файл в  ../data , вы найдете весь набор данных в
следующие пути:
 ../data/dog-breed-identification/labels.csv
 ../data/dog-breed-identification/sample_submission.csv
 ../data/dog-breed-identification/train
 ../data/dog-breed-identification/test
 Вы могли заметить, что приведенная выше структура похожа на структуру
Конкурс CIFAR-10 в Разделе 13.13, где папки  train /  и  test /  содержат изображения собак для обучения и тестирования,
соответственно, а  label.csv  содержит метки для обучения
изображений. Точно так же, чтобы облегчить начало работы, мы предоставляем небольшой
образец набора данных, упомянутого выше:  train_valid_test_tiny.zip . Если
вы собираетесь использовать полный набор данных для конкурса Kaggle, вы
необходимо изменить  demo  переменную ниже на  False .
 # @ сохранить
d2l.DATA_HUB ['dog_tiny'] = (d2l.DATA_URL + 'kaggle_dog_tiny.zip',
                            '0cb91d09b814ecdc07b50f31f8dcad3e81d6a86d')

# Если вы используете полный набор данных, загруженный для конкурса Kaggle, измените
# указанная ниже переменная в `False`
demo = True
если демо:
    data_dir = d2l.download_extract ('dog_tiny')
еще:
    data_dir = os.path.join ('..', 'данные', 'идентификация породы собаки')
 
 Загрузка ../data/kaggle_dog_tiny.zip с http://d2l-data.s3-accelerate.amazonaws.com/kaggle_dog_tiny.zip ...
 
 # @ сохранить
d2l.DATA_HUB ['dog_tiny'] = (d2l.DATA_URL + 'kaggle_dog_tiny.zip',
                            '0cb91d09b814ecdc07b50f31f8dcad3e81d6a86d')

# Если вы используете полный набор данных, загруженный для конкурса Kaggle, измените
# указанная ниже переменная в `False`
demo = True
если демо:
    data_dir = d2l.download_extract ('dog_tiny')
еще:
    data_dir = os.path.join ('..', 'данные', 'идентификация породы собаки')
 
 Загрузка ../data/kaggle_dog_tiny.zip с http: //d2l-data.s3-accelerate.amazonaws.com/kaggle_dog_tiny.zip ...
 
 13.14.1.2. Организация набора данных¶ 
 Мы можем организовать набор данных аналогично тому, что мы делали в
Раздел 13.13, а именно разделение проверочного набора
из исходного обучающего набора и перемещение изображений во вложенные папки
сгруппированы по ярлыкам.
 Функция  reorg_dog_data  ниже считывает метки данных обучения,
разделяет проверочный набор и организует обучающий набор.
 def reorg_dog_data (data_dir, valid_ratio):
    метки = d2l.read_csv_labels (os.path.join (каталог_данных, 'labels.csv'))
    d2l.reorg_train_valid (каталог_данных, метки, допустимое_расположение)
    d2l.reorg_test (каталог_данных)

batch_size = 32, если демо, иначе 128
valid_ratio = 0,1
reorg_dog_data (каталог_данных, допустимое_расположение)
 
 def reorg_dog_data (data_dir, valid_ratio):
    метки = d2l.read_csv_labels (os.path.join (каталог_данных, 'labels.csv'))
    d2l.reorg_train_valid (каталог_данных, метки, допустимое_расположение)
    d2l.reorg_test (каталог_данных)

batch_size = 32, если демо, иначе 128
valid_ratio = 0,1
reorg_dog_data (каталог_данных, допустимое_расположение)
 
 13.14.2. Увеличение изображения¶ 
 Напомним, что этот набор данных о породах собак является подмножеством набора данных ImageNet,
изображения которых больше, чем изображения из набора данных CIFAR-10 в
Раздел 13.13. Ниже перечислены несколько изображений.
операции дополнения, которые могут быть полезны для относительно больших
изображений.
 transform_train = gluon.data.vision.transforms.Compose ([
    # Произвольно кадрируйте изображение, чтобы получить изображение площадью от 0,08 до 1 из
    # исходная площадь и соотношение высоты к ширине от 3/4 до 4/3.Потом,
    # масштабируем изображение, чтобы создать новое изображение 224 x 224
    gluon.data.vision.transforms.RandomResizedCrop (
        224, масштаб = (0,08, 1,0), соотношение = (3,0 / 4,0, 4,0 / 3,0)),
    gluon.data.vision.transforms.RandomFlipLeftRight (),
    # Произвольно изменяйте яркость, контраст и насыщенность
    gluon.data.vision.transforms.RandomColorJitter (яркость = 0,4,
                                                   контраст = 0,4,
                                                   насыщенность = 0,4),
    # Добавить случайный шум
    глюон.data.vision.transforms.RandomLighting (0.1),
    gluon.data.vision.transforms.ToTensor (),
    # Стандартизировать каждый канал изображения
    gluon.data.vision.transforms.Normalize ([0,485, 0,456, 0,406],
                                           [0,229, 0,224, 0,225])])
 
 transform_train = torchvision.transforms.Compose ([
    # Произвольно кадрируйте изображение, чтобы получить изображение площадью от 0,08 до 1 из
    # исходная площадь и соотношение высоты к ширине от 3/4 до 4/3. Потом,
    # масштабируем изображение, чтобы создать новое изображение 224 x 224
    torchvision.transforms.RandomResizedCrop (224, масштаб = (0,08, 1,0),
                                             соотношение = (3,0 / 4,0, 4,0 / 3,0)),
    torchvision.transforms.RandomHorizontalFlip (),
    # Произвольно изменяйте яркость, контраст и насыщенность
    torchvision.transforms.ColorJitter (яркость = 0,4, контраст = 0,4,
                                       насыщенность = 0,4),
    # Добавить случайный шум
    torchvision.transforms.ToTensor (),
    # Стандартизировать каждый канал изображения
    torchvision.transforms.Нормализовать ([0,485, 0,456, 0,406],
                                     [0,229, 0,224, 0,225])])
 
 Во время прогнозирования мы используем только операции предварительной обработки изображений без
случайность.
 transform_test = gluon.data.vision.transforms.Compose ([
    gluon.data.vision.transforms.Resize (256),
    # Обрезать квадратную область 224 x 224 от центра изображения.
    gluon.data.vision.transforms.CenterCrop (224),
    gluon.data.vision.transforms.ToTensor (),
    gluon.data.vision.transforms.Нормализовать ([0,485, 0,456, 0,406],
                                           [0,229, 0,224, 0,225])])
 
 transform_test = torchvision.transforms.Compose ([
    torchvision.transforms.Resize (256),
    # Обрезать квадратную область 224 x 224 от центра изображения.
    torchvision.transforms.CenterCrop (224),
    torchvision.transforms.ToTensor (),
    torchvision.transforms.Normalize ([0,485, 0,456, 0,406],
                                     [0,229, 0,224, 0,225])])
 
 13.14.3.Чтение набора данных¶ 
 Как и в Разделе 13.13, мы можем прочитать организованный набор данных
состоящий из файлов необработанных изображений.
 train_ds, valid_ds, train_valid_ds, test_ds = [
    gluon.data.vision.ImageFolderDataset (
        os.path.join (каталог_данных, 'train_valid_test', папка))
    для папки в ('train', 'valid', 'train_valid', 'test')]
 
 train_ds, train_valid_ds = [
    torchvision.datasets.ImageFolder (
        os.path.join (каталог_данных, 'train_valid_test', папка),
        transform = transform_train) для папки в ['train', 'train_valid']]

valid_ds, test_ds = [
    torchvision.наборы данных.ImageFolder (
        os.path.join (каталог_данных, 'train_valid_test', папка),
        transform = transform_test) для папки в ['valid', 'test']]
 
 Ниже мы создаем экземпляры итератора данных так же, как в
Раздел 13.13.
 train_iter, train_valid_iter = [
    gluon.data.DataLoader (набор данных.transform_first (трансформация_поезд),
                          batch_size, shuffle = True, last_batch = 'discard')
    для набора данных в (train_ds, train_valid_ds)]

valid_iter = gluon.data.DataLoader (valid_ds.transform_first (transform_test),
                                   batch_size, shuffle = False,
                                   last_batch = 'сбросить')

test_iter = gluon.data.DataLoader (test_ds.transform_first (transform_test),
                                  batch_size, shuffle = False,
                                  last_batch = 'сохранить')
 
 train_iter, train_valid_iter = [
    torch.utils.data.DataLoader (набор данных, batch_size, shuffle = True,
                                drop_last = True)
    для набора данных в (train_ds, train_valid_ds)]

valid_iter = факел.utils.data.DataLoader (valid_ds, batch_size, shuffle = False,
                                         drop_last = True)

test_iter = torch.utils.data.DataLoader (test_ds, batch_size, shuffle = False,
                                        drop_last = Ложь)
 
 13.14.4. Точная настройка предварительно обученной модели¶ 
 Опять же, набор данных для этого конкурса является подмножеством ImageNet
набор данных. Следовательно, мы можем использовать подход, обсужденный в
Раздел 13.2 для выбора модели, предварительно обученной на полную
Набор данных ImageNet и использовать его для извлечения функций изображения, которые будут загружены в
нестандартная мелкомасштабная сеть вывода.Высокоуровневые API глубокого обучения
фреймворки предоставляют широкий спектр моделей, предварительно обученных в ImageNet
набор данных. Здесь мы выбираем предварительно обученную модель ResNet-34, где просто
повторно использовать входные данные выходного слоя этой модели (т. е. извлеченные
Особенности). Затем мы можем заменить исходный выходной слой небольшим
настраиваемая сеть вывода, которую можно обучить, например, сложение двух
полносвязные слои. В отличие от эксперимента в
Раздел 13.2, нижеследующее не переключает
предварительно обученная модель, используемая для извлечения признаков.Это сокращает время обучения
и память для хранения градиентов.
 Напомним, что мы стандартизировали изображения с помощью средств и стандартных
отклонения трех каналов RGB для полного набора данных ImageNet. В
Фактически, это также согласуется с операцией стандартизации
предварительно обученная модель на ImageNet.
 def get_net (устройства):
    finetune_net = gluon.model_zoo.vision.resnet34_v2 (предварительно обученный = True)
    # Определить новую выходную сеть
    finetune_net.output_new = nn.HybridSequential (префикс = '')
    finetune_net.output_new.add (nn.Dense (256, активация = 'relu'))
    # Всего 120 категорий вывода
    finetune_net.output_new.add (nn.Dense (120))
    # Инициализировать выходную сеть
    finetune_net.output_new.initialize (init.Xavier (), ctx = устройства)
    # Распространение параметров модели на CPU или GPU, используемые для вычислений
    finetune_net.collect_params (). reset_ctx (устройства)
    вернуть finetune_net
 
 def get_net (устройства):
    finetune_net = nn.Sequential ()
    finetune_net.features = torchvision.models.resnet34 (предварительно обучено = True)
    # Определить новую сеть вывода (всего 120 категорий вывода)
    finetune_net.output_new = nn.Sequential (nn.Linear (1000, 256), nn.ReLU (),
                                            nn.Linear (256, 120))
    # Перенести модель на устройства
    finetune_net = finetune_net.to (устройства [0])
    # Заморозить параметры векторных слоев
    для параметра в finetune_net.features.parameters ():
        param.requires_grad = Ложь
    вернуть finetune_net
 
 Перед тем, как рассчитать убыток, мы сначала получаем вход предварительно обученного
выходной слой модели, т.е.е. извлеченный объект. Затем мы используем это
функция в качестве входа для нашей небольшой настраиваемой выходной сети для расчета
потеря.
 потери = gluon.loss.SoftmaxCrossEntropyLoss ()

def Assessment_loss (data_iter, net, devices):
    l_sum, n = 0,0, 0
    для функций метки в data_iter:
        X_shards, y_shards = d2l.split_batch (функции, метки, устройства)
        output_features = [net.features (X_shard) для X_shard в X_shards]
        output = [net.output_new (функция) для функции в output_features]
        ls = [
            потеря (выход, y_shard).сумма ()
            для вывода y_shard в zip (output, y_shards)]
        l_sum + = sum ([float (l.sum ()) для l в ls])
        n + = размер ярлыков
    вернуть l_sum / n
 
 убыток = nn.CrossEntropyLoss (сокращение = 'none')

def Assessment_loss (data_iter, net, devices):
    l_sum, n = 0,0, 0
    для функций метки в data_iter:
        features, labels = features.to (устройства [0]), labels.to (devices [0])
        output = net (функции)
        l = потеря (выходы, метки)
        l_sum + = l.sum ()
        n + = метки.numel ()
    вернуть l_sum / n
 
 13.14.5. Определение функции обучения¶ 
 Подберем модель и настроим гиперпараметры согласно
производительность модели на проверочном наборе. Функция обучения модели  train  выполняет итерацию только по параметрам небольшой настраиваемой выходной сети.
 def train (net, train_iter, valid_iter, num_epochs, lr, wd, devices, lr_period,
          lr_decay):
    # Обучаем только небольшую настраиваемую сеть вывода
    трейнер = глюон.Тренер (net.output_new.collect_params (), 'sgd', {
        'learning_rate': lr,
        'импульс': 0,9,
        'wd': wd})
    num_batches, timer = len (train_iter), d2l.Timer ()
    легенда = ['потеря поезда']
    если valid_iter не равен None:
        legend.append ('допустимая потеря')
    аниматор = d2l.Animator (xlabel = 'эпоха', xlim = [1, num_epochs],
                            легенда = легенда)
    для эпохи в диапазоне (num_epochs):
        метрика = d2l. Аккумулятор (2)
        если эпоха> 0 и эпоха% lr_period == 0:
            тренер.set_learning_rate (trainer.learning_rate * lr_decay)
        для i, (функции, метки) в перечислении (train_iter):
            timer.start ()
            X_shards, y_shards = d2l.split_batch (функции, метки, устройства)
            output_features = [net.features (X_shard) для X_shard в X_shards]
            с autograd.record ():
                выходы = [
                    net.output_new (функция) для функции в output_features]
                ls = [
                    потеря (выход, y_shard) .sum ()
                    для вывода y_shard в zip (output, y_shards)]
            для l в ls:
                л.назад ()
            trainer.step (размер_пакета)
            metric.add (sum ([float (l.sum ()) для l в ls]), labels.shape [0])
            timer.stop ()
            if (i + 1)% (num_batches // 5) == 0 или i == num_batches - 1:
                animator.add (эпоха + (i + 1) / num_batches,
                             (метрика [0] / метрика [1], нет))
        если valid_iter не равен None:
            valid_loss = оценить_loss (valid_iter, net, devices)
            animator.add (эпоха + 1, (Нет, valid_loss))
    меры = потеря пропуска {метрика [0] / метрика [1] :.3f} '
    если valid_iter не равен None:
        меры + = f ', допустимая потеря {valid_loss: .3f}'
    print (меры + f '\ n {метрика [1] * num_epochs / timer.sum () :. 1f}'
          f 'примеров / сек на {str (devices)}')
 
 def train (net, train_iter, valid_iter, num_epochs, lr, wd, devices, lr_period,
          lr_decay):
    # Обучаем только небольшую настраиваемую сеть вывода
    net = nn.DataParallel (net, device_ids = devices) .to (devices [0])
    трейнер = torch.optim.SGD (
        (параметр для параметра в net.parameters (), если параметр.требует_града), lr = lr,
        импульс = 0.9, weight_decay = wd)
    scheduler = torch.optim.lr_scheduler.StepLR (трейнер, lr_period, lr_decay)
    num_batches, timer = len (train_iter), d2l.Timer ()
    легенда = ['потеря поезда']
    если valid_iter не равен None:
        legend.append ('допустимая потеря')
    аниматор = d2l.Animator (xlabel = 'эпоха', xlim = [1, num_epochs],
                            легенда = легенда)
    для эпохи в диапазоне (num_epochs):
        метрика = d2l. Аккумулятор (2)
        для i, (функции, метки) в перечислении (train_iter):
            таймер.Начните()
            features, labels = features.to (устройства [0]), labels.to (devices [0])
            trainer.zero_grad ()
            output = net (функции)
            l = потеря (вывод, метки) .sum ()
            л. назад ()
            trainer.step ()
            metric.add (l, labels.shape [0])
            timer.stop ()
            if (i + 1)% (num_batches // 5) == 0 или i == num_batches - 1:
                animator.add (эпоха + (i + 1) / num_batches,
                             (метрика [0] / метрика [1], нет))
        меры = потеря пропуска {метрика [0] / метрика [1] :.3f} '
        если valid_iter не равен None:
            valid_loss = оценить_loss (valid_iter, net, devices)
            animator.add (эпоха + 1, (Нет, valid_loss.detach ()))
        scheduler.step ()
    если valid_iter не равен None:
        меры + = f ', допустимая потеря {valid_loss: .3f}'
    print (меры + f '\ n {метрика [1] * num_epochs / timer.sum () :. 1f}'
          f 'примеров / сек на {str (devices)}')
 
 13.14.6. Обучение и проверка модели¶ 
 Теперь мы можем обучить и проверить модель.Следующие гиперпараметры
все настраиваются. Например, можно увеличить количество эпох.
Поскольку  lr_period  и  lr_decay  установлены на 2 и 0,9,
соответственно, скорость обучения алгоритма оптимизации будет
умножается на 0,9 через каждые 2 эпохи.
 устройства, num_epochs, lr, wd = d2l.try_all_gpus (), 10, 5e-3, 1e-4
lr_period, lr_decay, net = 2, 0.9, get_net (устройства)
net.hybridize ()
поезд (net, train_iter, valid_iter, num_epochs, lr, wd, devices, lr_period,
      lr_decay)
 
 потеря поезда 0.917, действительный проигрыш 0,822
75,5 примеров / сек на [gpu (0), gpu (1)]
 
 устройства, num_epochs, lr, wd = d2l.try_all_gpus (), 10, 1e-4, 1e-4
lr_period, lr_decay, net = 2, 0.9, get_net (устройства)
поезд (net, train_iter, valid_iter, num_epochs, lr, wd, devices, lr_period,
      lr_decay)
 
 потеря поезда 1,266, действительная потеря 1,171
543,1 примеров в секунду на [устройство (type = 'cuda', index = 0), device (type = 'cuda', index = 1)]
 
 13.14.7. Классификация набора для тестирования и отправка результатов на Kaggle¶ 
 Аналогично последнему шагу в Разделе 13.13, в конце концов
все помеченные данные (включая набор для проверки) используются для
обучение модели и классификация набора для тестирования. Мы будем использовать
обученная настраиваемая сеть вывода для классификации.
 net = get_net (устройства)
net.hybridize ()
поезд (net, train_valid_iter, None, num_epochs, lr, wd, devices, lr_period,
      lr_decay)

preds = []
для данных метка в test_iter:
    output_features = net.features (data.as_in_ctx (устройства [0]))
    output = npx.softmax (net.output_new (output_features))
    предс.расширить (output.asnumpy ())
ids = отсортировано (
    os.listdir (os.path.join (каталог_данных, 'train_valid_test', 'test', 'unknown')))
с open ('submission.csv', 'w') как f:
    f.write ('id,' + ','. join (train_valid_ds.synsets) + '\ n')
    для i вывод в формате zip (ids, preds):
        f.write (
            i.split ('.') [0] + ',' + ','. join ([str (num)
                                              для числа на выходе]) + '\ n')
 
 Потеря поезда 0,817
108,8 примеров / сек на [gpu (0), gpu (1)]
 
 net = get_net (устройства)
поезд (net, train_valid_iter, None, num_epochs, lr, wd, devices, lr_period,
      lr_decay)

preds = []
для данных метка в test_iter:
    выход = факел.nn.functional.softmax (net (data.to (devices [0])), dim = 0)
    preds.extend (output.cpu (). detach (). numpy ())
ids = отсортировано (
    os.listdir (os.path.join (каталог_данных, 'train_valid_test', 'test', 'unknown')))
с open ('submission.csv', 'w') как f:
    f.write ('id,' + ','. join (train_valid_ds.classes) + '\ n')
    для i вывод в формате zip (ids, preds):
        f.write (
            i.split ('.') [0] + ',' + ','. join ([str (num)
                                              для числа на выходе]) + '\ n')
 
 потеря поезда 1.193
803,3 примеров в секунду на [устройство (type = 'cuda', index = 0), device (type = 'cuda', index = 1)]
 
 Приведенный выше код сгенерирует файл  submission.csv  для отправки
в Kaggle так же, как описано в Разделе 4.10.
 13.14.8. Резюме¶ 
 Изображения в наборе данных ImageNet больше (с разными размерами)
чем изображения CIFAR-10. Мы можем изменять операции увеличения изображения для
задачи в другом наборе данных.
 Чтобы классифицировать подмножество набора данных ImageNet, мы можем использовать
предварительно обученные модели на полном наборе данных ImageNet для извлечения функций
и обучать только настраиваемую мелкомасштабную сеть вывода.Это приведет к
меньше вычислительного времени и затрат памяти.
 13.14.9. Упражнения¶ 
 Какие результаты вы можете получить при использовании полного набора данных о соревнованиях Kaggle?
достигнуть, когда вы увеличите  batch_size  (размер партии) и  num_epochs  (количество эпох) при установке других
гиперпараметры как  lr = 0,01 ,  lr_period = 10  и  lr_decay = 0,1 ?
 Получите ли вы лучшие результаты, если используете более глубокую предварительно обученную модель? Как
вы настраиваете гиперпараметры? Можете ли вы улучшить результаты?
 .