diff options
Diffstat (limited to 'src/lang-guess.js')
| -rw-r--r-- | src/lang-guess.js | 5 |
1 files changed, 5 insertions, 0 deletions
diff --git a/src/lang-guess.js b/src/lang-guess.js index 1d60c59..6d62e30 100644 --- a/src/lang-guess.js +++ b/src/lang-guess.js @@ -19,6 +19,8 @@ export const LANG_SCRIPT = { en: 'latin', es: 'latin', fr: 'latin', de: 'latin', pt: 'latin', id: 'latin', sw: 'latin', tr: 'latin', vi: 'latin', ru: 'cyrillic', ar: 'arabic', ur: 'arabic', hi: 'devanagari', mr: 'devanagari', bn: 'bengali', ta: 'tamil', te: 'telugu', ja: 'kana', ko: 'hangul', zh: 'han', + // not app languages, but languages people read posts in (a translation target) + it: 'latin', nl: 'latin', pl: 'latin', }; const STOP = { en: 'the and is to of in that it for you with this on are be have not was but they'.split(' '), @@ -30,6 +32,9 @@ const STOP = { tr: 've bir bu için ile de da çok ne gibi daha ama var ben sen mi değil kadar her olan'.split(' '), vi: 'và của là có không được một trong cho những này với các để người đã tôi khi cũng như'.split(' '), sw: 'na ya wa kwa ni za la katika hii kuwa kama hata lakini sana yake wote sasa tu huo hapa'.split(' '), + it: 'il di che è e la un una per non sono con del della gli anche ma questo mi più nel'.split(' '), + nl: 'de het een en van is dat niet op te zijn met voor ik je die maar ook wat'.split(' '), + pl: 'i w nie na się z to że jest do co jak ale tak o po czy już'.split(' '), }; const STOPSETS = Object.fromEntries(Object.entries(STOP).map(([k, v]) => [k, new Set(v)])); |