המטרה הייתה ליצור עוזר שאפשר פשוט לדבר איתו, בלי להסתמך על מערכת זיהוי הדיבור הרגילה של המכשיר.

מה שיש כרגע באפליקציה:

• זיהוי דיבור באמצעות Whisper
  האפליקציה כוללת מודל Whisper מובנה בתוך ה־APK, כך שהמרת הדיבור לטקסט מתבצעת ישירות דרך המודל.

• עיבוד מקומי
  המודל נמצא בתוך האפליקציה עצמה, ולכן זיהוי הדיבור יכול להתבצע על המכשיר ולא חייב לעבור בכל פעם דרך שירות חיצוני.

• דיבור → טקסט
  מדברים אל האפליקציה, היא מזהה את הדיבור וממירה אותו לטקסט שאפשר לעבד בהמשך.

• זיהוי קולי מתקדם
  יש גם מנגנון לזיהוי מקטעי דיבור, כך שהמערכת יכולה להתמקד בדיבור עצמו ולא לעבד סתם רעשי רקע לאורך כל ההקלטה.

• נבנה עם דגש על עבודה מקומית
  אחד הדברים שהיה לי חשוב בפרויקט הוא שהחלק של זיהוי הדיבור יהיה כמה שיותר עצמאי ולא יהיה תלוי רק ב־API חיצוני.

• תמיכה במכשירי Android
  האפליקציה בנויה לאנדרואיד וכוללת את רכיבי העיבוד הקולי בתוך האפליקציה.

• הפרויקט עדיין בפיתוח, ויש עוד הרבה דברים שאני רוצה לשפר ולהוסיף בהמשך – בעיקר סביב הפקודות הקוליות, מה שהעוזר יכול לעשות עם הטקסט שהוא מזהה, ומהירות ונוחות השימוש.

אשמח לשמוע פידבק ממי שמנסה – במיוחד לגבי מהירות הזיהוי, דיוק הזיהוי ומה לדעתכם כדאי להוסיף לעוזר.

להורדה מעוגן פליי :

https://ogenplay.com/apps/7fccd94d-e37b-4121-9a63-82979090bc13

תמונות :

Spoiler