Метод: измерять каждую букву
Клавиатура каждый день делает тысячи маленьких ставок на то, что вы имели в виду. Вот как мы решаем, какие ставки ей разрешены.
Каждый раз, когда вы поднимаете палец, клавиатура ставит на слово. Каждый раз, когда вы нажимаете пробел, она ставит на то, что набранное — это то, что вы имели в виду, или нет. Хорошая клавиатура — та, чьи ставки гораздо чаще верны, чем нет, и чьи ошибки обходятся вам как можно дешевле. Это вопрос измерений, и Armath Input Intelligence построена вокруг честного ответа на него.
Правило — раньше результата
Прежде чем измерять изменение, мы записываем, чего оно должно достичь и чего не должно сломать, и фиксируем это правило в истории проекта. Только потом считаем. Если изменение не проходит собственное правило, его не выпускают, как бы хорошо оно ни выглядело.
Это не так очевидно, как кажется. Легко попробовать десять вариантов и оставить тот, которому случайно повезло, или передвинуть финишную черту, увидев, где остановился бегун. Правило, записанное заранее, убирает эти соблазны.
Идея не становится улучшением, пока не прошла проверку, которую могла провалить.
Тексты, которые читаются один раз
Мы разрабатываем на одном наборе армянских текстов, а подтверждаем на другом, отложенном в сторону. Проверочные тексты — предложения из армянских трибанков проекта Universal Dependencies — читаются для конкретного вопроса один раз, когда все решения уже приняты, и мы записываем, что они использованы.
Та же осторожность — при обучении. Прежде чем языковая модель Armath училась на армянских веб-текстах, мы проверили, насколько эти тексты пересекаются с нашими проверочными предложениями, и приводим результаты и с пересекающимися случаями, и без них. Когда выяснилось, что старый список слов содержал словарь наших собственных проверочных текстов, мы сказали об этом, заменили список и измерили всё заново.