Развитие технологий не стоит на месте, предоставляя все больше возможностей пользователям. Одной из таких функций, которая из разряда новинок уже стала переходить в нашу повседневную жизнь, является голосовое управление устройствами. Особой популярностью она пользуется у людей с ограниченными возможностями. Давайте узнаем, с помощью каких способов можно вводить команды голосом на компьютерах с Windows 7.
Если в Windows 10 имеется уже встроенная в систему утилита под названием Cortana, позволяющая управлять компьютером голосом, то в более ранних операционных системах, включая Виндовс 7, такого внутреннего инструмента нет. Поэтому в нашем случае единственным вариантом организовать голосовое управление является установка сторонних программ. О различных представителях такого программного обеспечения мы и поговорим в данной статье.
Способ 1: Typle
Одной из самых популярных программ, предоставляющей возможность управления голосом компьютером на Виндовс 7, является Typle.
- После загрузки активируйте исполняемый файл данного приложения для начала процедуры его инсталляции на компьютер. В приветственной оболочке установщика жмите «Next» .
- Далее отображается лицензионное соглашение на английском языке. Чтобы принять его условия, жмите «I Agree» .
- Затем появляется оболочка, где пользователь имеет возможность указать директорию установки приложения. Но без существенных причин изменять текущие настройки не следует. Для активации процесса инсталляции просто нажмите «Install» .
- После этого в течение буквально нескольких секунд будет выполнена процедура установки.
- Откроется окошко, где будет сообщаться, что операция по инсталляции выполнена успешно. Для того чтобы запустить программу немедленно после установки и разместить её иконку в стартовом меню, поставьте пометки соответственно около позиций «Run Typle» и «Launch Typle on Startup» . Если вы не желаете этого делать, то, наоборот, снимите флажок около соответствующей позиции. Для выхода из окна установки жмите «Finish» .
- Если вы при завершении работы в установщике оставили пометку около соответствующей позиции, то сразу же после его закрытия будет открыто окно интерфейса Typle. Для начала в программе потребуется добавить нового пользователя. Для этого нажмите на панели инструментов на иконку «Добавить пользователя» . Эта пиктограмма содержит в себе изображение человеческого лица и знак «+» .
- Затем нужно вписать название профиля в поле «Введите имя» . Сюда можете внести данные абсолютно произвольно. В поле «Введите ключевое слово» нужно указать конкретное слово обозначающее действие, например, «Открой» . Вслед за этим щелкните по красной кнопке и после звукового сигнала произнесите данное слово в микрофон. После того как вы скажете фразу, повторно нажмите на эту же кнопку, а затем щелкайте по «Добавить» .
- Затем откроется диалоговое окно с вопросом «Хотели бы вы добавить этого пользователя?» . Жмите «Да» .
- Как видим, имя пользователя и прикрепленное к нему ключевое слово отобразится в основном окне Typle. Теперь жмите на иконку «Добавить команду» , которая представляет собой изображение руки с зеленым значком «+» .
- Открывается окошко, в котором нужно будет выбрать, что конкретно вы будете запускать посредством голосовой команды:
- Программы;
- Закладки интернета;
- Файлы Windows.
Путем установки галочки около соответствующего пункта отображаются элементы выбранной категории. Если же вы желаете просмотреть полный набор, то установите пометку около позиции «Выделить все» . Затем выберите элемент в списке, который собираетесь запускать голосом. В поле «Команда» отобразится его наименование. Затем щелкните по кнопке «Запись» с красным кружочком справа от этого поля и после звукового сигнала произнесите ту фразу, которая в нем отображена. После этого жмите кнопку «Добавить» .
- Откроется диалоговое окошко, где будет спрашиваться «Хотели бы вы добавить эту команду?» . Жмите «Да» .
- После этого выходите из окна добавления командной фразы, нажав кнопку «Закрыть» .
- На этом добавление голосовой команды завершено. Для того чтобы запустить нужную программу голосом, нажмите «Начать говорить» .
- Откроется диалоговое окно, где будет сообщаться: «Текущий файл был изменен. Хотите ли вы записать изменения?» . Жмите «Да» .
- Появляется окно сохранения файла. Перейдите в директорию, где намерены сохранить объект с расширением tc. В поле «Имя файла» введите его произвольное название. Жмите «Сохранить» .
- Теперь, если вы произнесете в микрофон выражение, которое отображается в поле «Команда» , то запустится приложение или другой объект, указанный напротив него в области «Действия» .
- Полностью аналогичным образом можно записывать и другие командные фразы, с помощью которых будут запускаться приложения или выполняться определенные действия.
Главный недостаток данного способа заключается в том, что разработчики в настоящее время не поддерживают программу Typle и её нельзя скачать на официальном сайте. К тому же наблюдается не всегда корректное распознавание русской речи.
Способ 2: Speaker
Следующее приложение, которое поможет управлять компьютером голосом, называется Speaker.
- После скачивания запустите инсталляционный файл. Появится приветственное окошко «Мастера установки» приложения Speaker. Тут просто жмите «Далее» .
- Появляется оболочка принятия лицензионного соглашения. Если есть желание, то прочитайте его, а затем ставьте радиокнопку в положение «Я принимаю…» и нажмите «Далее» .
- В следующем окне можно указать директорию инсталляции. По умолчанию это стандартный каталог приложений и без надобности данный параметр менять не нужно. Жмите «Далее» .
- Далее откроется окно, где можно установить название иконки приложения в меню «Пуск» . По умолчанию это «Speaker» . Вы можете оставить это наименование или заменить на любое другое. Затем нажмите «Далее» .
- Теперь откроется окошко, где методом установки пометки около соответствующей позиции можно разместить значок программы на «Рабочем столе» . Если вам это не нужно, снимите галочку и жмите «Далее» .
- После этого откроется окно, где будут даны краткие характеристики параметров установки на основе той информации, которую мы ввели на предыдущих этапах. Для активирования инсталляции нажмите «Установить» .
- Будет выполнена процедура установки Speaker.
- После её окончания в «Мастере установки» отобразится сообщение об успешной инсталляции. Если необходимо, чтобы программа была активирована немедленно после закрытия установщика, то оставьте пометку около соответствующей позиции. Жмите «Завершить» .
- После этого запустится небольшое окно приложения Speaker. В нем будет сказано, что для распознавания голоса нужно нажать на среднюю кнопку мышки (скролл) или на клавишу Ctrl . Для добавления новых команд следует кликнуть по знаку «+» в этом окошке.
- Открывается окошко добавления новой командной фразы. Принципы действий в нем аналогичны тем, которые мы рассматривали в предыдущей программе, но с более широким функционалом. Прежде всего, выберите тип действия, который вы собираетесь выполнить. Это можно сделать, щелкнув по полю с выпадающим списком.
- В раскрывшемся перечне будут следующие варианты:
- Выключить компьютер;
- Перезагрузить компьютер;
- Поменять раскладку (язык) клавиатуры;
- Сделать (скриншот) снимок экрана;
- Я добавляю ссылку или файл.
- Если первые четыре действия не требуют дополнительного уточнения, то при выборе последнего варианта нужно указать, какую именно ссылку или файл вы желаете открыть. В этом случае нужно в расположенное выше поле перетащить объект, который собираетесь открывать голосовой командой (исполняемый файл, документ и т.д.) или ввести ссылку на сайт. В этом случае адрес будет открыт в браузере по умолчанию.
- Далее в расположенное в окошке справа поле введите командную фразу, после произнесения которой будет выполняться назначенное вами действие. Жмите на кнопку «Добавить» .
- После этого команда будет добавлена. Таким образом можно добавлять практически неограниченное количество различных командных фраз. Просмотреть их список можно, нажав по надписи «Мои команды» .
- Откроется окно с перечнем внесенных командных выражений. При необходимости можете очистить список от любого из них, щелкнув по надписи «Удалить» .
- Программа будет работать в трее и для того, чтобы выполнить действие, которое предварительно было внесено в список команд, требуется щелкнуть Ctrl или колесиком мышки и произнести соответствующее кодовое выражение. Необходимое действие будет выполнено.
К сожалению, данная программа, как и предыдущая, в данный момент уже не поддерживается производителями и её нельзя скачать на официальном сайте. Также к минусам можно отнести тот факт, что приложение распознает голосовую команду с внесенной текстовой информации, а не по предварительной начитке голосом, как это было с Typle. Это значит, что потребуется большее время на выполнение операции. Кроме того, Speaker отличается нестабильностью в работе и может не на всех системах функционировать корректно. Но в целом, он предоставляет гораздо больше возможностей по управлению компьютером, чем это делает Typle.
Способ 3: Laitis
Следующая программа, предназначение которой состоит в управлении голосом компьютерами на Виндовс 7, называется Laitis.
- Laitis хорош тем, что достаточно только активировать инсталляционный файл и вся процедура по установке будет выполнена в фоновом режиме без вашего непосредственного участия. Кроме того, этот инструмент, в отличие от предыдущих приложений, предоставляет довольно большой перечень уже готовых командных выражений, которые значительно разнообразней, чем у вышеописанных конкурентов. Например, можно осуществлять навигацию по странице. Для того чтобы просмотреть список заготовленных фраз, перейдите во вкладку «Команды» .
- В открывшемся окне все команды разделены на коллекции, соответствующие определенной программе или сфере действий:
- Google Chrome (41 команда);
- Вконтакте (82);
- Windows программы (62);
- Windows хоткеи (30);
- Skype (5);
- YouTube HTML5 (55);
- Работа с текстом (20);
- Вебсайты (23);
- Настройки Laitis (16);
- Адаптивные команды (4);
- Сервисы (9);
- Мышь и клавиатура (44);
- Общение (0);
- Автозамена (0);
- Word 2017 рус (107).
Каждая коллекция, в свою очередь, делится на категории. В категориях написаны сами команды, причем выполнить одно и то же действие можно путем произнесения нескольких вариантов командных выражений.
- При щелчке по команде во всплывающем окошке отображается полный перечень голосовых выражений, которые ей соответствуют, и действий, вызываемые ею. А при щелчке по иконке карандаша можно её отредактировать.
- Все командные фразы, которые отображаются в окне, доступны для выполнения сразу же после запуска Laitis. Для этого достаточно просто сказать соответствующее выражение в микрофон. Но при необходимости пользователь может добавлять новые коллекции, категории и команды, нажав на знак «+» в соответствующих местах.
- Для добавления новой командной фразы в открывшемся окне под надписью «Голосовые команды» впишите то выражение, при произношении которого инициируется действие.
- Тут же будут автоматически добавлены все возможные сочетания данного выражения. Жмите по значку «Условие» .
- Будет открыт список условий, где и можно выбрать подходящее.
- После того как условие отобразилось в оболочке, нажмите иконку «Действие» либо «Веб-действие» , в зависимости от цели.
- Из открывшегося списка выберите конкретное действие.
- Если вы выбрали переход на веб-страницу, придется дополнительно указать её адрес. После того как все необходимые манипуляции произведены, жмите «Сохранить изменения» .
- Командная фраза будет добавлена в список и готова к применению. Для этого достаточно просто произнести её в микрофон.
- Кроме того, перейдя во вкладку «Настройки» , можно выбрать из списков сервис распознавания текста и сервис произношения голоса. Это полезно, если текущие сервисы, которые установлены по умолчанию, не справляются с нагрузкой или по другой причине недоступны в данное время. Тут же можно указать и некоторые другие параметры.
В целом нужно отметить, что использование Laitis для управления голосом Windows 7 предоставляет гораздо больше возможностей по манипулированию ПК, чем применение всех остальных, описанных в данной статье программ. С помощью указанного инструмента вы можете задать практически любое действие на компьютере. Также очень важен тот факт, что разработчики в настоящее время активно поддерживают и обновляют данное ПО.
Способ 4: «Алиса»
Одной из новых разработок, которые позволяют организовать управление Виндовс 7 голосом, является голосовой помощник от компании Яндекс — «Алиса».
- Запустите установочный файл программы. Он выполнит процедуру установки и настройки в фоновом режиме без вашего непосредственного участия.
- После завершения процедуры инсталляции на «Панели инструментов» появится область «Алиса» .
- Для активации голосового помощника нужно кликнуть по пиктограмме в форме микрофона или сказать: «Привет, Алиса» .
- После этого откроется окошко, где будет предложено произнести команду голосом.
- Чтобы ознакомиться со списком команд, которые умеет выполнять данная программа, нужно кликнуть по вопросительному знаку в текущем окошке.
- Откроется перечень возможностей. Чтобы узнать, какую фразу нужно произнести для выполнения конкретного действия, щелкните по соответствующему пункту списка.
- Отобразится список команд, которые нужно произнести в микрофон для выполнения конкретного действия. К сожалению, добавление новых голосовых выражений и соответствующих им действий в актуальной версии «Алисы» не предусмотрено. Поэтому придется использовать только те варианты, которые есть в настоящее время. Но Яндекс постоянно развивает и усовершенствует данный продукт, а поэтому, вполне возможно, вскоре стоит ожидать от него новых возможностей.
Несмотря на то, что в Windows 7 разработчиками не был предусмотрен встроенный механизм управления компьютером голосом, данную возможность можно реализовать при помощи стороннего программного обеспечения. Для этих целей существует немало приложений. Одни из них максимально простые и предусмотрены для выполнения наиболее частых манипуляций. Другие же программы, наоборот, очень продвинутые и содержат в себе огромную базу командных выражений, но кроме того позволяют добавлять ещё новые фразы и действия, тем самым функционально максимально приближая голосовое управление к стандартному управлению через мышку и клавиатуру. Выбор конкретного приложения зависит от того, для каких целей и как часто вы намерены его использовать.
Сегодня речь пойдет о нашей речи. Хотелось бы вам управлять компьютером голосом , без помощи пальцев? А, как это говорят, — силой мысли! Правда, мы не будем управлять компьютер силой мысли, но вот силой голоса вполне реально.
Программа Typle — это одна из лучших на сегодняшний день программа для управления компьютером через голос. На сайтах в комментариях к этой программе мнения сходятся.
Правда есть свои недочеты. Но об этом чуть позже. Кстати, если вас интересует — читайте мой обзор.
Скачать программу можно здесь: http://freesoft.ru/typle
Как же ее использовать? В начале запустим ее и посмотрим главные кнопки управления:
Программа нас приветствует и сразу нам даются подсказки, как использовать Typle. В начале нажмем кнопку «добавить» и запишем слово, например «открой». Для этого произнесем это слово в микрофон:
Затем жмем добавить. Итак, мы сохранили в программе своим голосом слово «Открой». Вы можете говорить в микрофон любые другие слова. Главное — не запутаться.
Следующим шагом будет добавление команд. Для этого перейдем в этот пункт:
Потом мы устанавливаем галочку напротив того пункта, который нам нужен:
Выбираем программу, приложение или действие и нажимаем на красную кнопку записи. Если компьютер воспринял наш голос, жмем «Добавить»:
И теперь будет видна в нашем профиле одна голосовая команда. В данном случае та, которая открывает 7-Zip:
И теперь, нажав завершающую кнопку «начать говорить»
говорим фразу «открой Севен Зип». В моем случае, все сработает. И программа 7-zip откроется. Помните такую фразу: Сим сим откройся? Вот это что-то приблизительно такое же.
Программа не всегда работает адекватно. Сейчас могучий русский язык не до конца изучен программистами-лингвистами… Но все-таки приятно, когда тебя слушается компьютер.
Поэтому для тестирования и банального любопытства программа Typle подойдет на все 100%.
В этом видео можно увидеть историю создания первых голосовых движков и то, над чем еще нам следует поработать:
Есть такие страшные названия других аналогов программы, как Горыныч, Перпетуум, Диктограф, Voice Commander. Но все они — «не того». Не проходят критику достойной программы.
На освоение этой программы у меня ушло 5 минут. Это довольно-таки длительное время (в основном, в таких программах я разбираюсь за 1-2 минуту). Если возникнут вопросы — пишите. До скорых встреч, друзья:)!
Ко мне обратился человек с просьбой написать программу, которая позволила бы управлять компьютерной мышью при помощи голоса. Тогда я и представить себе не мог, что, практически полностью парализованный человек, который даже не может сам повернуть голову, а может лишь разговаривать, способен развить бурную деятельность, помогая себе и другим жить активной жизнью, получать новые знания и навыки, работать и зарабатывать, общаться с другими людьми по всему свету, участвовать в конкурсе социальных проектов.Позволю себе привести здесь пару ссылок на сайты, автором и/или идейным вдохновителем которых является этот человек – Александр Макарчук из города Борисов, Беларусь:
Для работы на компьютере Александр использовал программу «Vocal Joystick» - разработку студентов Университета штата Вашингтон, выполненную на деньги Национального Научного Фонда (NSF). См. melodi.ee.washington.edu/vj
Не удержался
Кстати, на сайте университета (http://www.washington.edu/) 90% статей именно про деньги. Трудно найти что-нибудь про научную работу. Вот, например, выдержки с первой страницы: «Том, выпускник университета, раньше питался грибами и с трудом платил за квартиру. Теперь он старший менеджер ИТ-компании и кредитует университет», «Большие Данные помогают бездомным», «Компания обязалась заплатить 5 миллионов долларов за новый учебный корпус».
Это одному мне режет глаз?
Программа была сделана в 2005-2009 годах и хорошо работала на Windows XP. В более свежих версиях Windows программа может зависнуть, что неприемлемо для человека, который не может встать со стула и её перезапустить. Поэтому программу нужно было переделать.
Исходных текстов нет, есть только отдельные публикации, приоткрывающие технологии, на которых она основана (MFCC, MLP – читайте об этом во второй части).
По образу и подобию была написана новая программа (месяца за три).
Собственно, посмотреть, как она работает, можно :
Скачать программу и/или посмотреть исходные коды можно .
Никаких особенных действий для установки программы выполнять не надо, просто щёлкаете на ней, да запускаете. Единственное, в некоторых случаях требуется, чтобы она была запущена от имени администратора (например, при работе с виртуальной клавиатурой “Comfort Keys Pro”):
Пожалуй, стоит упомянуть здесь и о других вещах, которые я ранее делал для того, чтобы можно было управлять компьютером без рук.
Если у вас есть возможность поворачивать голову, то хорошей альтернативой eViacam может послужить гироскоп, крепящийся к голове. Вы получите быстрое и точное позиционирование курсора и независимость от освещения.
Если вы можете двигать только зрачками глаз, то можно использовать трекер направления взгляда и программу к нему (могут быть сложности, если вы носите очки).
Часть II. Как это устроено?
Из опубликованных материалов о программе «Vocal Joystick» было известно, что работает она следующим образом:- Нарезка звукового потока на кадры по 25 миллисекунд с перехлёстом по 10 миллисекунд
- Получение 13 кепстральных коэффициентов (MFCC) для каждого кадра
- Проверка того, что произносится один из 6 запомненных звуков (4 гласных и 2 согласных) при помощи многослойного персептрона (MLP)
- Воплощение найденных звуков в движение/щелчки мыши
Последняя задача просто реализуется при помощи функции SendInput.
Наибольший же интерес, мне кажется, представляют вторая и третья задачи. Итак.
Задача №2. Получение 13 кепстральных коэффициентов
Если кто не в теме – основная проблема узнавания звуков компьютером заключается в следующем: трудно сравнить два звука, так как две непохожие по очертанию звуковые волны могут звучать похоже с точки зрения человеческого восприятия.И среди тех, кто занимается распознаванием речи, идёт поиск «философского камня» - набора признаков, которые бы однозначно классифицировали звуковую волну.
Из тех признаков, что доступны широкой публике и описаны в учебниках, наибольшее распространение получили так называемые мел-частотные кепстральные коэффициенты (MFCC).
История их такова, что изначально они предназначались совсем для другого, а именно, для подавления эха в сигнале (познавательную статью на эту тему написали уважаемые Оппенгейм и Шафер, да пребудет радость в домах этих благородных мужей. См. A. V. Oppenheim and R.W. Schafer, “From Frequency to Quefrency: A History of the Cepstrum”).
Но человек устроен так, что он склонен использовать то, что ему лучше знакомо. И тем, кто занимался речевыми сигналами, пришло в голову использовать уже готовое компактное представление сигнала в виде MFCC. Оказалось, что, в общем, работает. (Один мой знакомый, специалист по вентиляционным системам, когда я его спросил, как бы сделать дачную беседку, предложил использовать вентиляционные короба. Просто потому, что их он знал лучше других строительных материалов).
Являются ли MFCC хорошим классификатором для звуков? Я бы не сказал. Один и тот же звук, произнесённый мною в разные микрофоны, попадает в разные области пространства MFCC-коэффициентов, а идеальный классификатор нарисовал бы их рядом. Поэтому, в частности, при смене микрофона вы должны заново обучать программу.
Это всего лишь одна из проекций 13-мерного пространства MFCC в 3-мерное, но и на ней видно, что я имею в виду – красные, фиолетовые и синие точки получены от разных микрофонов: (Plantronix, встроенный массив микрофонов, Jabra), но звук произносился один.
Однако, поскольку ничего лучшего я предложить не могу, также воспользуюсь стандартной методикой – вычислением MFCC-коэффициентов.
Чтобы не ошибиться в реализации, в первых версиях программы в качестве основы был использован код из хорошо известной программы CMU Sphinx, точнее, её реализации на языке C, именующейся pocketsphinx, разработанной в Университете Карнеги-Меллона (мир с ними обоими! (с) Хоттабыч).
Исходные коды pocketsphinx открыты, да вот незадача – если вы их используете, то должны в своей программе (как в исходниках, так и в исполняемом модуле) прописать текст, содержащий, в том числе, следующее:
* This work was supported in part by funding from the Defense Advanced
* Research Projects Agency and the National Science Foundation of the
* United States of America, and the CMU Sphinx Speech Consortium.
Мне это показалось неприемлемым, и пришлось код переписать. Это сказалось на быстродействии программы (в лучшую сторону, кстати, хотя «читабельность» кода несколько пострадала). Во многом благодаря использованию библиотек “Intel Performance Primitives”, но и сам кое-что оптимизировал, вроде MEL-фильтра. Тем не менее, проверка на тестовых данных показала, что получаемые MFCC-коэффициенты полностью аналогичны тем, что получаются при помощи, например, утилиты sphinx_fe.
В программах sphinxbase вычисление MFCC-коэффициентов производится следующими шагами:
| Шаг | Функция sphinxbase | Суть операции |
|---|---|---|
| 1 | fe_pre_emphasis | Из текущего отсчёта вычитается большая часть предыдущего отсчета (например, 0.97 от его значения). Примитивный фильтр, отбрасывающий нижние частоты. |
| 2 | fe_hamming_window | Окно Хемминга – вносит затухание в начале и конце кадра |
| 3 | fe_fft_real | Быстрое преобразование Фурье |
| 4 | fe_spec2magnitude | Из обычного спектра получаем спектр мощности, теряя фазу |
| 5 | fe_mel_spec | Группируем частоты спектра [например, 256 штук] в 40 кучек, используя MEL-шкалу и весовые коэффициенты |
| 6 | fe_mel_cep | Берём логарифм и применяем DCT2-преобразование к 40 значениям из предыдущего шага. Оставляем первые 13 значений результата. Есть несколько вариантов DCT2 (HTK, legacy, классический), отличающихся константой, на которую мы делим полученные коэффициенты, и особой константой для нулевого коэффициента. Можно выбрать любой вариант, сути это не изменит. |
В эти шаги ещё вклиниваются функции, которые позволяют отделить сигнал от шума и от тишины, типа fe_track_snr, fe_vad_hangover, но нам они не нужны, и отвлекаться на них не будем.
Были выполнены следующие замены для шагов по получению MFCC-коэффициентов:
Задача №3. Проверка того, что произносится один из 6 запомненных звуков
В программе-оригинале «Vocal Joystick» для классификации использовался многослойный персептрон (MLP) – нейронная сеть без новомодных наворотов.Давайте посмотрим, насколько оправдано применение нейронной сети здесь.
Вспомним, что делают нейроны в искусственных нейронных сетях.
Если у нейрона N входов, то нейрон делит N-мерное пространство пополам. Рубит гиперплоскостью наотмашь. При этом в одной половине пространства он срабатывает (выдаёт положительный ответ), а в другой – не срабатывает.
Давайте посмотрим на [практически] самый простой вариант – нейрон с двумя входами. Он, естественно, будет делить пополам двумерное пространство.
Пусть на вход подаются значения X1 и X2, которые нейрон умножает на весовые коэффициенты W1 и W2, и добавляет свободный член C.
Итого, на выходе нейрона (обозначим его за Y) получаем:
Y=X1*W1+X2*W2+C
(опустим пока тонкости про сигмоидальные функции)
Считаем, что нейрон срабатывает, когда Y>0. Прямая, заданная уравнением 0=X1*W1+X2*W2+C как раз и делит пространство на часть, где Y>0, и часть, где Y<0.
Проиллюстрируем сказанное конкретными числами.
Пусть W1=1, W2=1, C=-5;
Теперь посмотрим, как нам организовать нейронную сеть, которая бы срабатывала на некоторой области пространства, условно говоря – пятне, и не срабатывала во всех остальных местах.
Из рисунка видно, что для того, чтобы очертить область в двумерном пространстве, нам потребуется по меньшей мере 3 прямых, то есть 3 связанных с ними нейрона.
Эти три нейрона мы объединим вместе при помощи ещё одного слоя, получив многослойную нейронную сеть (MLP).
А если нам нужно, чтобы нейронная сеть срабатывала в двух областях пространства, то потребуется ещё минимум три нейрона (4,5,6 на рисунках):
И тут уж без третьего слоя не обойтись:
А третий слой – это уже почти Deep Learning…
Теперь обратимся за помощью к ещё одному примеру. Пусть наша нейронная сеть должна выдавать положительный ответ на красных точках, и отрицательный – на синих точках.
Если бы меня попросили отрезать прямыми красное от синего, то я бы сделал это как-то так:
Но нейронная сеть априори не знает, сколько прямых (нейронов) ей понадобится. Этот параметр надо задать перед обучением сети. И делает это человек на основе… интуиции или проб и ошибок.
Если мы выберем слишком мало нейронов в первом слое (три, например), то можем получить вот такую нарезку, которая будет давать много ошибок (ошибочная область заштрихована):
Но даже если число нейронов достаточно, в результате тренировки сеть может «не сойтись», то есть достигнуть некоторого стабильного состояния, далёкого от оптимального, когда процент ошибок будет высок. Как вот здесь, верхняя перекладина улеглась на два горба и никуда с них не уйдёт. А под ней большая область, порождающая ошибки:
Снова, возможность таких случаев зависит от начальных условий обучения и последовательности обучения, то есть от случайных факторов:
- Что ты думаешь, доедет то колесо, если б случилось, в Москву или не доедет?
- А ты как думаешь, сойдётся ента нейронная сеть или не сойдётся?
Есть ещё один неприятный момент, связанный с нейронными сетями. Их «забывчивость».
Если начать скармливать сети только синие точки, и перестать скармливать красные, то она может спокойно отхватить себе кусок красной области, переместив туда свои границы:
Если у нейронных сетей столько недостатков, и человек может провести границы гораздо эффективнее нейронной сети, зачем же их тогда вообще использовать?
А есть одна маленькая, но очень существенная деталь.
Я очень хорошо могу отделить красное сердечко от синего фона отрезками прямых в двумерном пространстве.
Я неплохо смогу отделить плоскостями статую Венеры от окружающего её трёхмерного пространства.
Но в четырёхмерном пространстве я не смогу ничего, извините. А в 13-мерном - тем более.
А вот для нейронной сети размерность пространства препятствием не является. Я посмеивался над ней в пространствах малой размерности, но стоило выйти за пределы обыденного, как она меня легко уделала.
Тем не менее вопрос пока открыт – насколько оправдано применение нейронной сети в данной конкретной задаче, учитывая перечисленные выше недостатки нейронных сетей.
Забудем на секунду, что наши MFCC-коэффициенты находятся в 13-мерном пространстве, и представим, что они двумерные, то есть точки на плоскости. Как в этом случае можно было бы отделить один звук от другого?
Пусть MFCC-точки звука 1 имеют среднеквадратическое отклонение R1, что [грубо] означает, что точки, не слишком далеко отклоняющиеся от среднего, наиболее характерные точки, находятся внутри круга с радиусом R1. Точно так же точки, которым мы доверяем у звука 2 находятся внутри круга с радиусом R2.
Внимание, вопрос: где провести прямую, которая лучше всего отделяла бы звук 1 от звука 2?
Напрашивается ответ: посередине между границами кругов. Возражения есть? Возражений нет.
Исправление:
В программе эта граница делит отрезок, соединяющий центры кругов в соотношении R1:R2, так правильнее.
И, наконец, не забудем, что где-то в пространстве есть точка, которая является представлением полной тишины в MFCC-пространстве. Нет, это не 13 нулей, как могло бы показаться. Это одна точка, у которой не может быть среднеквадратического отклонения. И прямые, которыми мы отрежем её от наших трёх звуков, можно провести прямо по границам окружностей:
На рисунке ниже каждому звуку соответствует кусок пространства своего цвета, и мы можем всегда сказать, к какому звуку относится та или иная точка пространства (или не относится ни к какому):
Ну, хорошо, а теперь вспомним, что пространство 13-мерное, и то, что было хорошо рисовать на бумаге, теперь оказывается тем, что не укладывается в человеческом мозгу.
Так, да не так. К счастью, в пространстве любой размерности остаются такие понятия, как точка, прямая, [гипер]плоскость, [гипер]сфера.
Мы повторяем все те же действия и в 13-мерном пространстве: находим дисперсию, определяем радиусы [гипер]сфер, соединяем их центры прямой, рубим её [гипер]плоскостью в точке, равно отдалённой от границ [гипер]сфер.
Никакая нейронная сеть не сможет более правильно отделить один звук от другого.
Здесь, правда, следует сделать оговорку. Всё это справедливо, если информация о звуке – это облако точек, отклоняющихся от среднего одинаково во всех направлениях, то есть хорошо вписывающееся в гиперсферу. Если бы это облако было фигурой сложной формы, например, 13-мерной изогнутой сосиской, то все приведённые выше рассуждения были бы не верны. И возможно, при правильном обучении, нейронная сеть смогла бы показать здесь свои сильные стороны.
Но я бы не рисковал. А применил бы, например, наборы нормальных распределений (GMM), (что, кстати и сделано в CMU Sphinx). Всегда приятнее, когда ты понимаешь, какой конкретно алгоритм привёл к получению результата. А не как в нейронной сети: Оракул, на основе своего многочасового варения бульона из данных для тренировки, повелевает вам принять решение, что запрашиваемый звук – это звук №3. (Меня особенно напрягает, когда нейронной сети пытаются доверить управление автомобилем. Как потом в нестандартной ситуации понять, из-за чего машина повернула влево, а не вправо? Всемогущий Нейрон повелел?).
Но наборы нормальных распределений – это уже отдельная большая тема, которая выходит за рамки этой статьи.
Надеюсь, что статья была полезной, и/или заставила ваши мозговые извилины поскрипеть.
Чаще всего при работе за персональным компьютером нам приходится набирать тексты большого объема. Сидя непосредственно перед монитором, мы теряем много времени, хотя могли бы совершать какие-либо дела по дому.
Прошлый век
Разберёмся, что такое голосовое управление компьютером. Проведём некоторую аналогию. Раньше, да и сейчас, очень распространённым способом "освободить руки" от компьютера во время работы являлся найм ещё одного сотрудника - стенографиста или секретаря. Однако мало кто знает, что можно избежать лишних трат путём установки на персональный компьютер ряда программ и утилит, позволяющих осуществлять голосовое управление компьютером на русском языке.
С появлением таких программных продуктов, как "Горыныч" и WebSpeach, вы можете забыть о том, как долгими часами приходилось сидеть и печатать какую-либо работу, например, диплом, приказ или любую другую документацию. С развитием компьютерных технологий появился вариант использования специальной программы распознавания речи.
Встроенные утилиты
Голосовое управление компьютером Windows 8 осуществляется с помощью встроенной утилиты Windows Speech Recognition. К сожалению, в настоящий момент управление компьютером на русском языке невозможно. Компания Microsoft, во всей видимости, старается ориентироваться на наиболее распространённые языки, однако не исключено, что в скором времени будет выпущена поддержка и русского языка.
Если же вы всё-таки хотите попробовать управлять своим железным товарищем с помощью английского языка, следуйте следующей инструкции.
- Заходите в панель управления в подпункт "Язык". Вам необходимо установить язык системы - английский. Если он у вас отсутствует, то вам потребуется загрузить соответствующий языковой пакет.
- После загрузки и установки языка переходим в начальный экран с "плиткой".
- Вводим в поиск Windows Speech Recognition и нажимаем Enter. Так запускается программа распознавания голоса.
- При первом запуске вам будет предложено настроить микрофон. Выберите вашу разновидность и произнесите пару слов.
- Затем вам будет предложен 20-минутный обучающий курс. Он проводится на английском, поэтому, если вы не понимаете язык, можете смело его пропускать. Интерфейс у программы абсолютно понятный, поэтому разобраться с ним сможет даже ребёнок.
- Чтобы включить голосовое управление компьютером, вам будет необходимо произнести ключевую фразу "Start listening". Это означает - "начать прослушивание". Теперь можете запускать необходимую вам программу и начинать надиктовывать текст.
Вообще, возможности этой утилиты неисчерпаемы. Кроме использования базовых команд, вы также можете создавать свои.
Развитие
Было создано множество приложений для распознавания русской и английской речи:
- "Диктограф 5";
- "Перпетуум мобиле";
- Voice_PE;
- Lucent;
- VoiceType;
- Sakrament.
Однако наибольшую популярность набрали:
- "Горыныч";
- Web Speech;
- RealSpeaker;
- Speechka.
Займёмся их более подробным рассмотрением.
"Горыныч"
Как можно понять из названия, приложение было создано командой русских программистов и получило название в честь русского сказочного персонажа с именем Горыныч. Голосовое управление компьютером в ней осуществляется на русском языке, впрочем, имеется также и поддержка английского. "Горыныч" позволяет управлять персональным компьютером в пользовательском режиме, то есть совершать все возможные действия, которые вы можете производить с помощью мышки и клавиатуры: работа с окнами, приложениями, процессами, запущенными на персональном компьютере. Более того, "Горыныч" распознаёт речь исключительно одного хозяина, но не всегда.
Однако существует один достаточно большой недостаток. Дело в том, что всю базу команд вам необходимо вводить вручную. То есть, перед тем как вы сможете хоть что-то сделать на компьютере голосом, вам необходимо создать целую базу с записанными вашим голосом командами. Даже если вы это сделаете, в случае если вы вдруг охрипнете или поменяется хоть немного тембр голоса, "Горыныч" напрочь откажется вас понимать.
Очередной подводный камень заключается в том, что если вы хотите надиктовывать тексты на компьютер, вам предварительно потребуется создать огромный словарь для "Горыныча" с хорошим словарным запасом, чтобы он смог понять то, что вы диктуете.
Speechka
Обеспечить это могут помочь сторонние приложения, устанавливаемые на персональный компьютер. Одним из них является Speechka. Так же, как и "Горыныч", русский продукт, созданный на основе технологий Google, "Спичка" позволяет пользователю с помощью заданного набора команд осуществлять голосовое управление компьютером. Speechka достаточно неплохо распознаёт любую речь, и для неё нет необходимости записывать звуковые файлы. Достаточно просто с клавиатуры ввести слово и ассоциировать его с каким-либо действием. Проще говоря, это достойный существования продукт, однако находящийся на стадии разработки, поскольку такие функции, как закрытие окон или запуск программ были добавлены сравнительно недавно.
Набор текста
Разобравшись, что такое голосовое управление компьютером, рассмотрим проблему набора текста. Как было уже сказано, не все приложения позволяют его производить. В большинстве случаев для этого необходимо предварительно составить целый словарь, а если вы являетесь пользователем Windows 8, то еще возникает проблема поддержки русской речи. Для того чтобы решить эту проблему, существует сервис голосового набора, созданный Google.
Доступное только для браузеров Chrome, приложение Google Web Speech распознаёт 32 ведущих мировых языка, в том числе и русский. Для того чтобы вводить текст голосом, вам потребуется соответствующий браузер, Интернет и микрофон. Разработки продвинулись достаточно далеко, поэтому эта утилита способна воспринимать грамотную русскую речь целыми словами и переводить её в печатный текст.
Еще одна программа для распознания речи и надиктовки её на персональный компьютер - RealSpeaker. Она использует современные технологии распознавания мимики лица. Для её использования подойдёт абсолютно любая веб-камера. Единственное неудобство, которое возникает при работе, это то, что лицо говорящего должно быть точно напротив камеры, на расстоянии не более 40 сантиметров. В этой программе существует словарь русского языка, который пользователь при желании может расширить. В целом эта программа намного удобнее "Горыныча".
Итог
Если вы задумались об управлении компьютером голосом, поверьте, это пока не для России. Адекватные программы распознавания на сегодняшний день существуют только на английском языке, а автоматический голосовой набор текста будет содержать столько ошибок, что будет проще написать текст с нуля, чем исправлять все опечатки. Вы, конечно, можете постараться выучить английский язык и управлять компьютером на нём, однако вам потребуется идеальная дикция и произношение.
Возможности голосового управления в операционной системе Android присутствуют очень давно. Еще в версии 2.3 Gingerbread (2010 год) пользователи могли совершать поисковые запросы или какие-либо функциональные действия с помощью голоса. Только тогда это выглядело очень странно и работало аналогично. Что теперь представляет из себя голосовое управление Android и какие функции оно может предложить миллионам пользователей? Ответы на все вопросы вы найдете в этой статье.
Голосовой поиск
Голосовой поиск представляет собой возможность искать информацию в интернете, используя голосовые команды, а не традиционные текстовые запросы. Он может использоваться на компьютере в браузере Chrome, а также на смартфоне и планшете с Android в приложении Google. Запуск системы доступен в виде двух способов - с помощью команды Ok Google или по нажатию на логотип микрофона.
Современный голосовой поиск стал одной из основ операционной системы Android. Сейчас он совместим с десятками продуктов и приложений компании. Google делает большой акцент на возможности искать любую информацию в интернете, просто произнеся желаемый запрос голосом. Сегодня, 7 лет спустя, голосовой поиск Google умеет практически все и может полностью удовлетворить рядового пользователя ОС.
- Справка.
- Люди.
- Время и календарь.
- Погода.
- Рынки и биржи.
- Конвертация и калькулятор.
- Навигация.
- Звонки и SMS.
- Словарь и перевод.
- Контроль.
Справка
Поиск Google предоставляет широкую справочную информацию практически на любой вид запроса, основываясь на семантическом поиске и системе машинного обучения RankBrain. Столица страны, создатель известной архитектуры, автор популярной картины, высоты величайших башен и гор мира, статусы авиарейсов и посылок, время рассвета и заката, глубины рек и озер и так далее. Список можно очень долго продолжать - в действительности он велик. Вкратце - если нужно быстро узнать что-то или о ком-то, то голосовой поиск Google всегда выручит.
Примеры:
- Столица Великобритании.
- Высота Шанхайской башни.
- Кто придумал Android.
- Длина Титаника.
- Калорийность грецких орехов.
Люди
Поисковая система Google поможет найти известного человека в сети и всю доступную информацию о нем. Основные данные берутся из популярных источников - социальных сетей или страниц в Википедии. Пользователь может узнать самые различные факты об искомой личности: настоящие ФИО, где и кем работает, место и даты рождения и смерти, наличие брака, кто родители, имеются ли дети, номинации, какое образование. Вдобавок ко всему приложение показывает связанные запросы. Они основываются на деятельности человека и сортируются по категориям: музыканты, писатели, блогеры, президенты и так далее.
Примеры:
- Девушка Супермена.
- Где умер Ленин.
- Кто нарисовал Крик.
- Сколько лет Дональду Трампу.
- Кто такой Павел Дуров.
Время и календарь
Поиск Google синхронизирован с календарем, поэтому при тематическом запросе может выдать результаты, связанные с планируемыми встречами или заметками. Также прямо внутри приложения одним голосом можно установить будильник, таймер, добавить встречу, напомнить купить хлеб или попросить разбудить завтра в 9 утра. Вариантов работы со временем и календарем в поиске много - от типичных запросов про время восхода солнца до установки полноценных напоминаний.
Примеры:
- Во сколько восход в Тольятти.
- Какой часовой пояс в Нью-Йорке.
- Разбуди меня завтра в 11 утра.
- Установить таймер на 5 минут.
- Добавить встречу/напоминание.
Погода
Один из наиболее часто используемых запросов в голосовом поиске Google - информация про погоду. Помимо стандартных команд для открытия погодных данных на текущий день или неделю, пользователь может узнать погоду в любой точке мира - в соседнем городе или в стране на другом конце планеты. Также примечательно, что поиск Google понимает различные запросы относительно погоды - например, что с погодой или будет ли сегодня дождь.
Примеры:
- Что с погодой.
- Будет ли сегодня дождь.
- Погода в Киеве.
- Скорость ветра.
- Какие осадки завтра.
Рынки и биржи
С помощью голосового поиска Google можно мгновенно узнать текущую стоимость ценных бумаг или актуальный курс валют. В системе представлено большое количество международных корпораций, котировки акций которых обновляются каждую секунду. Помимо технологических гигантов Microsoft, Apple, Google, Samsung, Nokia, LG, Lenovo и других, присутствуют и компании из других областей: Газпром, Сбербанк, Яндекс, Вымпелком, Аэрофлот и прочие. Можно просматривать не только цены акций, но и другие важные векторы развития: рыночную капитализацию, прибыльность или дивидендный доход.
Примеры:
- Цена акций Nokia.
- Сколько стоит доллар.
- Курс биткоина к рублю.
- Капитализация Сбербанка.
- Индекс Dow Jones.
Конвертация и калькулятор
Поисковая система Google поддерживает различные математические операции - сложение, вычитание, умножение, деление, корень и проценты. Таким образом, вы можете выполнять не только простейшие расчеты, но и узнавать корни и проценты из сложных чисел. Также прямо внутри приложения можно конвертировать валюты - считать количество рублей в долларе, долларов в рубле, евро в рубле или долларов в евро. Функция удобна своей скоростью - стоит только сказать команду, как за считанные секунды на экране появится результат. Нет необходимости искать в дебрях меню приложение калькулятора и делать все самостоятельно, тратя лишнее время.
Примеры:
- Сколько в километре сантиметров.
- 850 рублей в тенге.
- Квадратный корень из 200.
- 10 186 поделить на 4.
- 30% от 35 000.
Навигация
С помощью голосовых команд через поиск Google можно полноценно ориентироваться по местности и даже больше того. Прокладывание маршрутов от точки до точки (пешком, на машине или общественном транспорте), показ близлежащих общественных заведений, а также просмотр карт городов и поиск достопримечательностей - все это доступно для поиска посредством голосовых команд.
Примеры:
- Карта Белгорода.
- Маршрут до Кремля (можно добавить «пешком» или «на машине»).
- Где находится Монгора.
- Кафе поблизости.
- Ближайшая аптека.
Звонки и SMS
Было бы странно, если через голосовой поиск Google нельзя было бы звонить или отправлять текстовые сообщения. Это одни из самых часто используемых функций в телефоне, поэтому без упрощенного доступа к ним обойтись нельзя. Поисковый гигант это понимает, поэтому посредством специальных голосовых команд через поиск Google можно быстро позвонить или написать сообщение - без рук, только голосом. То же самое касается и электронных писем через Gmail. Это будет удобно в ситуации, когда руки заняты или используется гарнитура.
Примеры:
- Позвонить сестре.
- Позвонить в ближайшую пиццерию.
- Написать Саше «Я уже в офисе».
- Написать Насте «Встретимся у метро».
- Отправить письмо.
Словарь и перевод
В поисковую систему Google встроен фирменный сервис перевода компании. Вы можете переводить слова или целые фразы на все доступные в Google Переводчике языки просто произнеся соответствующую голосовую команду. Помимо переводчика, в приложении присутствует поддержка словаря - поиск слов и их значений еще никогда не был таким легким.
Примеры:
- Что такое человеконенавистничество.
- Определение композиции.
- Как переводится Believe.
- Как будет автобус на испанском.
- Перевод с русского на турецкий.
Контроль
Помимо всего вышеперечисленного, голосовой поиск Google позволяет контролировать отдельные настройки операционной системы и вместе с этим запускать установленные приложения. По умолчанию поддерживается немного функций (Wi-Fi, Bluetooth, фонарик, яркость), но на деле их вполне достаточно. Вы можете без лишних движений менять яркость экрана, включать или отключать Wi-Fi и Bluetooth, активировать фонарик или даже управлять аудиоплеером. Все это работает, и причем отлично - благодаря запрограммированным голосовым командам.
Примеры:
- Открыть сайт.
- Открыть Instagram (или любое другое приложение).
- Увеличить яркость.
- Понизить громкость.
- Сделать фото/видео.
- Включить Wi-Fi.
- Выключить фонарик.
- Показать мои будильники.
- Включить Linkin Park.
- Следующая песня (для плеера).
Voice Access
В Android также присутствуют функции для людей с ограниченными возможностями. Помимо TalkBack (озвучивание происходящего на экране), существует еще один сервис с дополнительной функциональностью. Он называется Voice Access и позволяет активировать управление голосовыми командами в масштабе всей системы. Приложение является экспериментальным и было выпущено в 2016 году. В настоящее время Voice Access по-прежнему в бета-версии, но это не мешает помощнику стабильно выполнять свои функции.
В основе Voice Access лежат те же технологии, которые Google использует для голосового поиска. При активации сервиса каждому элементу на экране присваивается определенный номер. Он служит командой для запуска приложений или работы с той или иной функцией. Никакого физического взаимодействия при этом не требуется - стоит лишь назвать цифру элемента, который необходимо открыть.
На этом функциональность Voice Access не заканчивается. Также с помощью этого приложения голосовые команды становятся доступными в пределах всей операционной системы. Например, среди прочих команд поддерживаются такие, как «открой браузер», «перейди на домашнюю страницу» или «пролистай вниз». Голосом заменяется все - основные функции, навигация, жесты (нажатие, пролистывание, действие назад) и работа с текстом (ввод, редактирование, форматирование).
Несмотря на статус бета-версии, приложение Voice Access выводит голосовое управление в Android на вершину возможностей. Совместно с поиском Google это два лучших голосовых помощника, предлагающих еще более простое взаимодействие с устройством.