Данное новшество работает по технологии «Сибирь» (CBIR – Content-based image retrieval, «поиск изображения по содержанию»). Как сообщил Александр Крайнов, менеджер проектов компьютерного зрения, после загрузки картинки поисковая машина превращает её в набор визуальных слов — удобные для поиска численные представления ключевых элементов картинки (например, границы объектов и контрастные области). Далее поисковая машина выбирает среди известных ей миллиардов изображений те, которые содержат такие же визуальные слова, как на загруженной картинке, отсекая все остальные, что является важным этапом, так как это позволяет увеличить скорость поиска. Потом компьютер сопоставляет расположение ключевых элементов на оставшихся изображениях и выстраивает их по близости к загруженной картинке так, что первые представленные варианты оказываются наиболее похожими. Весь этот процесс это занимает меньше минуты.
«Яндекс» не первые на рынке поиска по изображениям. Впервые данная функция начала работу у «Tineye», после в поисковике «Google» и китайском «Baidoo».