Skip to contents

Extra-AnalysingOtherLanguages

Source: vignettes/web_only/Extra-AnalysingOtherLanguages.Rmd
Extra-AnalysingOtherLanguages.Rmd

How to Use finnsurveytext in another language!

Despite the package’s name, finnsurveytext can be used to analyse surveys in LOTS of different languages. This vignette aims to explain how to use finnsurveytext in another language with as little additional effort as possible.

The reason finnsurveytext can be used with other languages is that the packages it employs to process the raw survey data work in multiple languages! So we have the developers of the udpipe and stopwords packages to thank!

1. Essential: Your language has a language model available for udpipe

The udpipe package is available from the CRAN. The relevant udpipe function we use is udpipe::udpipe_download_model. You can see the list of available models in the udpipe manual.

At the time of writing this vignette, these were:

afrikaans-afribooms, ancient_greek-perseus, ancient_greek-proiel, arabic-padt, armenian-armtdp, basque-bdt, belarusian-hse, bulgarian-btb, buryat-bdt, catalan-ancora, chinese-gsd, chinese-gsdsimp, coptic-scriptorium, croatian-set, czech-cac, czech-cltt, czech-fictree, czech-pdt, danish-ddt, dutch-alpino, dutch-lassysmall, english-ewt, english-gum, english-lines, english-partut, estonian-edt, finnish-ftb, finnish-tdt, french-gsd, french-partut, french-sequoia, french-spoken, galician-ctg, galician-treegal, german-gsd, german-hdt, gothic-proiel, greek-gdt, hebrew-htb, hindi-hdtb, hungarian-szeged, indonesian-gsd, irish-idt, italian-isdt, italian-partut, italian-postwita, italian-twittiro, japanese-gsd, kazakh-ktb, korean-gsd, korean-kaist, kurmanji-mg, latin-ittb, latin-perseus, latin-proiel, latvian-lvtb, lithuanian-hse, maltese-mudt, marathi-ufal, north_sami-giella, norwegian-bokmaal, norwegian-nynorsk, norwegian-nynorsklia, old_church_slavonic-proiel, old_french-srcmf, persian-seraji, polish-lfg, polish-sz, portuguese-bosque, portuguese-br, portuguese-gsd, romanian-nonstandard, romanian-rrt, russian-gsd, russian-syntagrus, russian-taiga, sanskrit-ufal, scottish_gaelic-arcosg, serbian-set, slovak-snk, slovenian-ssj, slovenian-sst, spanish-ancora, spanish-gsd, swedish-lines, swedish-talbanken, tamil-ttb, telugu-mtg, turkish-imst, ukrainian-iu, upper_sorbian-ufal, urdu-udtb, uyghur-udt, vietnamese-vtb

How to use:

The relevant model, eg “swedish-talbanken”, should be used for the model input in fst_format() or fst_prepare()

The stopwords package is available from the CRAN. The relevant stopwords functions are stopwords::stopwords, stopwords::stopwords_getsources and stopwrds::stopwords_getlanguages. We recommend you first identify the two-letter ISO code for the language you are using. You can see the list of available sources and languages in the stopwords manual or by running the ‘get sources’ and ‘get languages’ functions:

stopwords_getsources()
#> [1] "snowball"      "stopwords-iso" "misc"          "smart"        
#> [5] "marimo"        "ancient"       "nltk"          "perseus"
stopwords::stopwords_getlanguages(source = 'nltk')
#>  [1] "ar" "az" "da" "nl" "en" "fi" "fr" "de" "el" "hu" "id" "it" "kk" "ne" "no"
#> [16] "pt" "ro" "ru" "sl" "es" "sv" "tg" "tr"
stopwords('da', source = 'nltk')
#>  [1] "og"     "i"      "jeg"    "det"    "at"     "en"     "den"    "til"   
#>  [9] "er"     "som"    "på"     "de"     "med"    "han"    "af"     "for"   
#> [17] "ikke"   "der"    "var"    "mig"    "sig"    "men"    "et"     "har"   
#> [25] "om"     "vi"     "min"    "havde"  "ham"    "hun"    "nu"     "over"  
#> [33] "da"     "fra"    "du"     "ud"     "sin"    "dem"    "os"     "op"    
#> [41] "man"    "hans"   "hvor"   "eller"  "hvad"   "skal"   "selv"   "her"   
#> [49] "alle"   "vil"    "blev"   "kunne"  "ind"    "når"    "være"   "dog"   
#> [57] "noget"  "ville"  "jo"     "deres"  "efter"  "ned"    "skulle" "denne" 
#> [65] "end"    "dette"  "mit"    "også"   "under"  "have"   "dig"    "anden" 
#> [73] "hende"  "mine"   "alt"    "meget"  "sit"    "sine"   "vor"    "mod"   
#> [81] "disse"  "hvis"   "din"    "nogle"  "hos"    "blive"  "mange"  "ad"    
#> [89] "bliver" "hendes" "været"  "thi"    "jer"    "sådan"
stopwords('da') # The default source is 'snowball'
#>  [1] "og"     "i"      "jeg"    "det"    "at"     "en"     "den"    "til"   
#>  [9] "er"     "som"    "på"     "de"     "med"    "han"    "af"     "for"   
#> [17] "ikke"   "der"    "var"    "mig"    "sig"    "men"    "et"     "har"   
#> [25] "om"     "vi"     "min"    "havde"  "ham"    "hun"    "nu"     "over"  
#> [33] "da"     "fra"    "du"     "ud"     "sin"    "dem"    "os"     "op"    
#> [41] "man"    "hans"   "hvor"   "eller"  "hvad"   "skal"   "selv"   "her"   
#> [49] "alle"   "vil"    "blev"   "kunne"  "ind"    "når"    "være"   "dog"   
#> [57] "noget"  "ville"  "jo"     "deres"  "efter"  "ned"    "skulle" "denne" 
#> [65] "end"    "dette"  "mit"    "også"   "under"  "have"   "dig"    "anden" 
#> [73] "hende"  "mine"   "alt"    "meget"  "sit"    "sine"   "vor"    "mod"   
#> [81] "disse"  "hvis"   "din"    "nogle"  "hos"    "blive"  "mange"  "ad"    
#> [89] "bliver" "hendes" "været"  "thi"    "jer"    "sådan"

Alternatively, you can use our function fst_find_stopwords to simplify this process. This function provides a table of lists available through the stopwords package for a language and provides the contents for comparison (if you have multiple options!). To run this, you need the two-letter ISO language code:

knitr::kable(fst_find_stopwords(language = 'lv'))
Name Stopwords Length
stopwords-iso aiemmin , aika , aikaa , aikaan , aikaisemmin , aikaisin , aikajen , aikana , aikoina , aikoo , aikovat , aina , ainakaan , ainakin , ainoa , ainoat , aiomme , aion , aiotte , aist , aivan , ajan , alas , alemmas , alkuisin , alkuun , alla , alle , aloitamme , aloitan , aloitat , aloitatte , aloitattivat , aloitettava , aloitettevaksi, aloitettu , aloitimme , aloitin , aloitit , aloititte , aloittaa , aloittamatta , aloitti , aloittivat , alta , aluksi , alussa , alusta , annettavaksi , annetteva , annettu , ansiosta , antaa , antamatta , antoi , aoua , apu , asia , asiaa , asian , asiasta , asiat , asioiden , asioihin , asioita , asti , avuksi , avulla , avun , avutta , edelle , edelleen , edellä , edeltä , edemmäs , edes , edessä , edestä , ehkä , ei , eikä , eilen , eivät , eli , ellei , elleivät , ellemme , ellen , ellet , ellette , emme , en , enemmän , eniten , ennen , ensi , ensimmäinen , ensimmäiseksi , ensimmäisen , ensimmäisenä , ensimmäiset , ensimmäisiksi , ensimmäisinä , ensimmäisiä , ensimmäistä , ensin , entinen , entisen , entisiä , entisten , entistä , enää , eri , erittäin , erityisesti , eräiden , eräs , eräät , esi , esiin , esillä , esimerkiksi , et , eteen , etenkin , etessa , ette , ettei , että , haikki , halua , haluaa , haluamatta , haluamme , haluan , haluat , haluatte , haluavat , halunnut , halusi , halusimme , halusin , halusit , halusitte , halusivat , halutessa , haluton , he , hei , heidän , heidät , heihin , heille , heillä , heiltä , heissä , heistä , heitä , helposti , heti , hetkellä , hieman , hitaasti , hoikein , huolimatta , huomenna , hyvien , hyviin , hyviksi , hyville , hyviltä , hyvin , hyvinä , hyvissä , hyvistä , hyviä , hyvä , hyvät , hyvää , hän , häneen , hänelle , hänellä , häneltä , hänen , hänessä , hänestä , hänet , häntä , ihan , ilman , ilmeisesti , itse , itsensä , itseään , ja , jo , johon , joiden , joihin , joiksi , joilla , joille , joilta , joina , joissa , joista , joita , joka , jokainen , jokin , joko , joksi , joku , jolla , jolle , jolloin , jolta , jompikumpi , jona , jonka , jonkin , jonne , joo , jopa , jos , joskus , jossa , josta , jota , jotain , joten , jotenkin , jotenkuten , jotka , jotta , jouduimme , jouduin , jouduit , jouduitte , joudumme , joudun , joudutte , joukkoon , joukossa , joukosta , joutua , joutui , joutuivat , joutumaan , joutuu , joutuvat , juuri , jälkeen , jälleen , jää , kahdeksan , kahdeksannen , kahdella , kahdelle , kahdelta , kahden , kahdessa , kahdesta , kahta , kahteen , kai , kaiken , kaikille , kaikilta , kaikkea , kaikki , kaikkia , kaikkiaan , kaikkialla , kaikkialle , kaikkialta , kaikkien , kaikkin , kaksi , kannalta , kannattaa , kanssa , kanssaan , kanssamme , kanssani , kanssanne , kanssasi , kauan , kauemmas , kaukana , kautta , kehen , keiden , keihin , keiksi , keille , keillä , keiltä , keinä , keissä , keistä , keitten , keittä , keitä , keneen , keneksi , kenelle , kenellä , keneltä , kenen , kenenä , kenessä , kenestä , kenet , kenettä , kennessästä , kenties , kerran , kerta , kertaa , keskellä , kesken , keskimäärin , ketkä , ketä , kiitos , kohti , koko , kokonaan , kolmas , kolme , kolmen , kolmesti , koska , koskaan , kovin , kuin , kuinka , kuinkan , kuitenkaan , kuitenkin , kuka , kukaan , kukin , kukka , kumpainen , kumpainenkaan , kumpi , kumpikaan , kumpikin , kun , kuten , kuuden , kuusi , kuutta , kylliksi , kyllä , kymmenen , kyse , liian , liki , lisäksi , lisää , lla , luo , luona , lähekkäin , lähelle , lähellä , läheltä , lähemmäs , lähes , lähinnä , lähtien , läpi , mahdollisimman, mahdollista , me , meidän , meidät , meihin , meille , meillä , meiltä , meissä , meistä , meitä , melkein , melko , menee , meneet , menemme , menen , menet , menette , menevät , meni , menimme , menin , menit , menivät , mennessä , mennyt , menossa , mihin , mikin , miksi , mikä , mikäli , mikään , mille , milloin , milloinkan , millä , miltä , minkä , minne , minua , minulla , minulle , minulta , minun , minussa , minusta , minut , minuun , minä , missä , mistä , miten , mitkä , mitä , mitään , moi , molemmat , mones , monesti , monet , moni , moniaalla , moniaalle , moniaalta , monta , muassa , muiden , muita , muka , mukaan , mukaansa , mukana , mutta , muu , muualla , muualle , muualta , muuanne , muulloin , muun , muut , muuta , muutama , muutaman , muuten , myöhemmin , myös , myöskin , myöskään , myötä , ne , neljä , neljän , neljää , niiden , niihin , niiksi , niille , niillä , niiltä , niin , niinä , niissä , niistä , niitä , noiden , noihin , noiksi , noilla , noille , noilta , noin , noina , noissa , noista , noita , nopeammin , nopeasti , nopeiten , nro , nuo , nyt , näiden , näihin , näiksi , näille , näillä , näiltä , näin , näinä , näissä , näissähin , näissälle , näissältä , näissästä , näistä , näitä , nämä , ohi , oikea , oikealla , oikein , ole , olemme , olen , olet , olette , oleva , olevan , olevat , oli , olimme , olin , olisi , olisimme , olisin , olisit , olisitte , olisivat , olit , olitte , olivat , olla , olleet , olli , ollut , oma , omaa , omaan , omaksi , omalle , omalta , oman , omassa , omat , omia , omien , omiin , omiksi , omille , omilta , omissa , omista , on , onkin , onko , ovat , paikoittain , paitsi , pakosti , paljon , paremmin , parempi , parhaillaan , parhaiten , perusteella , peräti , pian , pieneen , pieneksi , pienelle , pienellä , pieneltä , pienempi , pienestä , pieni , pienin , poikki , puolesta , puolestaan , päälle , runsaasti , saakka , sadam , sama , samaa , samaan , samalla , samallalta , samallassa , samallasta , saman , samat , samoin , sata , sataa , satojen , se , seitsemän , sekä , sen , seuraavat , siellä , sieltä , siihen , siinä , siis , siitä , sijaan , siksi , sille , silloin , sillä , silti , siltä , sinne , sinua , sinulla , sinulle , sinulta , sinun , sinussa , sinusta , sinut , sinuun , sinä , sisäkkäin , sisällä , siten , sitten , sitä , ssa , sta , suoraan , suuntaan , suuren , suuret , suuri , suuria , suurin , suurten , taa , taas , taemmas , tahansa , tai , takaa , takaisin , takana , takia , tallä , tapauksessa , tarpeeksi , tavalla , tavoitteena , te , teidän , teidät , teihin , teille , teillä , teiltä , teissä , teistä , teitä , tietysti , todella , toinen , toisaalla , toisaalle , toisaalta , toiseen , toiseksi , toisella , toiselle , toiselta , toisemme , toisen , toisensa , toisessa , toisesta , toista , toistaiseksi , toki , tosin , tuhannen , tuhat , tule , tulee , tulemme , tulen , tulet , tulette , tulevat , tulimme , tulin , tulisi , tulisimme , tulisin , tulisit , tulisitte , tulisivat , tulit , tulitte , tulivat , tulla , tulleet , tullut , tuntuu , tuo , tuohon , tuoksi , tuolla , tuolle , tuolloin , tuolta , tuon , tuona , tuonne , tuossa , tuosta , tuota , tuotä , tuskin , tykö , tähän , täksi , tälle , tällä , tällöin , tältä , tämä , tämän , tänne , tänä , tänään , tässä , tästä , täten , tätä , täysin , täytyvät , täytyy , täällä , täältä , ulkopuolella , usea , useasti , useimmiten , usein , useita , uudeksi , uudelleen , uuden , uudet , uusi , uusia , uusien , uusinta , uuteen , uutta , vaan , vahemmän , vai , vaiheessa , vaikea , vaikean , vaikeat , vaikeilla , vaikeille , vaikeilta , vaikeissa , vaikeista , vaikka , vain , varmasti , varsin , varsinkin , varten , vasen , vasenmalla , vasta , vastaan , vastakkain , vastan , verran , vielä , vierekkäin , vieressä , vieri , viiden , viime , viimeinen , viimeisen , viimeksi , viisi , voi , voidaan , voimme , voin , voisi , voit , voitte , voivat , vuoden , vuoksi , vuosi , vuosien , vuosina , vuotta , vähemmän , vähintään , vähiten , vähän , välillä , yhdeksän , yhden , yhdessä , yhteen , yhteensä , yhteydessä , yhteyteen , yhtä , yhtäälle , yhtäällä , yhtäältä , yhtään , yhä , yksi , yksin , yksittäin , yleensä , ylemmäs , yli , ylös , ympäri , älköön , älä 847 
fst_find_stopwords(language = 'no')
#> # A tibble: 3 × 3
#>   Name          Stopwords   Length   
#>   <chr>         <list>      <list>   
#> 1 nltk          <chr [229]> <int [1]>
#> 2 snowball      <chr [68]>  <int [1]>
#> 3 stopwords-iso <chr [847]> <int [1]>

How to use:

The relevant language and stopword list (‘source’), eg “sv” and “nltk”, should be used for the language and stopword_list inputs respectively in fst_prepare() (or fst_rm_stop_punct() which is automatically called within fst_prepare()).

2b. Optional: Provide your own list of stopwords

If a stopword list is not available for your language, or you would like to provide your own, you can use the manual_list option within fst_prepare() (or fst_rm_stop_punct()) making sure to also set manual = TRUE.

You can also chose to not remove stopwords but you may find that you want to remove them to get more meaningful results!

If you provide a manual list, you can leave stopword_list and language as their default values.

#EXAMPLE OF PROVIDING A MANUAL LIST
manualList <- c('en', 'et', 'ei', 'emme', 'ette', 'eivät', 'minä', 'minum')
manualList2 <- "en, et, ei, emme, ette, eivät, minä, minum"

df <- fst_prepare(data = surveydata,
                  question = 'oe_qn',
                  id = 'id',
                  model = 'model-available-for-udpipe',
                  manual_list = manualList
                  )

Example of Use #1

For example, if I had a survey in Swedish, I could chose either ‘swedish-lines’ or ‘swedish-talbanken’ based on my preferences. Noting the ISO code is ‘sv’, I could check my favourite stopwords list, ‘nltk’ and discover Swedish is there and choose to remove stopwrods from this list from my data.

Name Stopwords Length
nltk olla , olen , olet , on , olemme , olette , ovat , ole , oli , olisi , olisit , olisin , olisimme, olisitte, olisivat, olit , olin , olimme , olitte , olivat , ollut , olleet , en , et , ei , emme , ette , eivät , minä , minun , minut , minua , minussa , minusta , minuun , minulla , minulta , minulle , sinä , sinun , sinut , sinua , sinussa , sinusta , sinuun , sinulla , sinulta , sinulle , hän , hänen , hänet , häntä , hänessä , hänestä , häneen , hänellä , häneltä , hänelle , me , meidän , meidät , meitä , meissä , meistä , meihin , meillä , meiltä , meille , te , teidän , teidät , teitä , teissä , teistä , teihin , teillä , teiltä , teille , he , heidän , heidät , heitä , heissä , heistä , heihin , heillä , heiltä , heille , tämä , tämän , tätä , tässä , tästä , tähän , tallä , tältä , tälle , tänä , täksi , tuo , tuon , tuotä , tuossa , tuosta , tuohon , tuolla , tuolta , tuolle , tuona , tuoksi , se , sen , sitä , siinä , siitä , siihen , sillä , siltä , sille , siksi , nämä , näiden , näitä , näissä , näistä , näihin , näillä , näiltä , näille , näinä , näiksi , nuo , noiden , noita , noissa , noista , noihin , noilla , noilta , noille , noina , noiksi , ne , niiden , niitä , niissä , niistä , niihin , niillä , niiltä , niille , niinä , niiksi , kuka , kenen , kenet , ketä , kenessä , kenestä , keneen , kenellä , keneltä , kenelle , kenenä , keneksi , ketkä , keiden , keitä , keissä , keistä , keihin , keillä , keiltä , keille , keinä , keiksi , mikä , minkä , mitä , missä , mistä , mihin , millä , miltä , mille , miksi , mitkä , joka , jonka , jota , jossa , josta , johon , jolla , jolta , jolle , jona , joksi , jotka , joiden , joita , joissa , joista , joihin , joilla , joilta , joille , joina , joiksi , että , ja , jos , koska , kuin , mutta , niin , sekä , tai , vaan , vai , vaikka , kanssa , mukaan , noin , poikki , yli , kun , nyt , itse 229
snowball olla , olen , olet , on , olemme , olette , ovat , ole , oli , olisi , olisit , olisin , olisimme, olisitte, olisivat, olit , olin , olimme , olitte , olivat , ollut , olleet , en , et , ei , emme , ette , eivät , minä , sinä , hän , me , te , he , tämä , tuo , se , nämä , nuo , ne , kuka , ketkä , mikä , mitkä , joka , jotka , että , ja , jos , koska , kuin , mutta , niin , sekä , sillä , tai , vaan , vai , vaikka , kanssa , mukaan , noin , poikki , yli , kun , niin , nyt , itse 68
stopwords-iso aiemmin , aika , aikaa , aikaan , aikaisemmin , aikaisin , aikajen , aikana , aikoina , aikoo , aikovat , aina , ainakaan , ainakin , ainoa , ainoat , aiomme , aion , aiotte , aist , aivan , ajan , alas , alemmas , alkuisin , alkuun , alla , alle , aloitamme , aloitan , aloitat , aloitatte , aloitattivat , aloitettava , aloitettevaksi, aloitettu , aloitimme , aloitin , aloitit , aloititte , aloittaa , aloittamatta , aloitti , aloittivat , alta , aluksi , alussa , alusta , annettavaksi , annetteva , annettu , ansiosta , antaa , antamatta , antoi , aoua , apu , asia , asiaa , asian , asiasta , asiat , asioiden , asioihin , asioita , asti , avuksi , avulla , avun , avutta , edelle , edelleen , edellä , edeltä , edemmäs , edes , edessä , edestä , ehkä , ei , eikä , eilen , eivät , eli , ellei , elleivät , ellemme , ellen , ellet , ellette , emme , en , enemmän , eniten , ennen , ensi , ensimmäinen , ensimmäiseksi , ensimmäisen , ensimmäisenä , ensimmäiset , ensimmäisiksi , ensimmäisinä , ensimmäisiä , ensimmäistä , ensin , entinen , entisen , entisiä , entisten , entistä , enää , eri , erittäin , erityisesti , eräiden , eräs , eräät , esi , esiin , esillä , esimerkiksi , et , eteen , etenkin , etessa , ette , ettei , että , haikki , halua , haluaa , haluamatta , haluamme , haluan , haluat , haluatte , haluavat , halunnut , halusi , halusimme , halusin , halusit , halusitte , halusivat , halutessa , haluton , he , hei , heidän , heidät , heihin , heille , heillä , heiltä , heissä , heistä , heitä , helposti , heti , hetkellä , hieman , hitaasti , hoikein , huolimatta , huomenna , hyvien , hyviin , hyviksi , hyville , hyviltä , hyvin , hyvinä , hyvissä , hyvistä , hyviä , hyvä , hyvät , hyvää , hän , häneen , hänelle , hänellä , häneltä , hänen , hänessä , hänestä , hänet , häntä , ihan , ilman , ilmeisesti , itse , itsensä , itseään , ja , jo , johon , joiden , joihin , joiksi , joilla , joille , joilta , joina , joissa , joista , joita , joka , jokainen , jokin , joko , joksi , joku , jolla , jolle , jolloin , jolta , jompikumpi , jona , jonka , jonkin , jonne , joo , jopa , jos , joskus , jossa , josta , jota , jotain , joten , jotenkin , jotenkuten , jotka , jotta , jouduimme , jouduin , jouduit , jouduitte , joudumme , joudun , joudutte , joukkoon , joukossa , joukosta , joutua , joutui , joutuivat , joutumaan , joutuu , joutuvat , juuri , jälkeen , jälleen , jää , kahdeksan , kahdeksannen , kahdella , kahdelle , kahdelta , kahden , kahdessa , kahdesta , kahta , kahteen , kai , kaiken , kaikille , kaikilta , kaikkea , kaikki , kaikkia , kaikkiaan , kaikkialla , kaikkialle , kaikkialta , kaikkien , kaikkin , kaksi , kannalta , kannattaa , kanssa , kanssaan , kanssamme , kanssani , kanssanne , kanssasi , kauan , kauemmas , kaukana , kautta , kehen , keiden , keihin , keiksi , keille , keillä , keiltä , keinä , keissä , keistä , keitten , keittä , keitä , keneen , keneksi , kenelle , kenellä , keneltä , kenen , kenenä , kenessä , kenestä , kenet , kenettä , kennessästä , kenties , kerran , kerta , kertaa , keskellä , kesken , keskimäärin , ketkä , ketä , kiitos , kohti , koko , kokonaan , kolmas , kolme , kolmen , kolmesti , koska , koskaan , kovin , kuin , kuinka , kuinkan , kuitenkaan , kuitenkin , kuka , kukaan , kukin , kukka , kumpainen , kumpainenkaan , kumpi , kumpikaan , kumpikin , kun , kuten , kuuden , kuusi , kuutta , kylliksi , kyllä , kymmenen , kyse , liian , liki , lisäksi , lisää , lla , luo , luona , lähekkäin , lähelle , lähellä , läheltä , lähemmäs , lähes , lähinnä , lähtien , läpi , mahdollisimman, mahdollista , me , meidän , meidät , meihin , meille , meillä , meiltä , meissä , meistä , meitä , melkein , melko , menee , meneet , menemme , menen , menet , menette , menevät , meni , menimme , menin , menit , menivät , mennessä , mennyt , menossa , mihin , mikin , miksi , mikä , mikäli , mikään , mille , milloin , milloinkan , millä , miltä , minkä , minne , minua , minulla , minulle , minulta , minun , minussa , minusta , minut , minuun , minä , missä , mistä , miten , mitkä , mitä , mitään , moi , molemmat , mones , monesti , monet , moni , moniaalla , moniaalle , moniaalta , monta , muassa , muiden , muita , muka , mukaan , mukaansa , mukana , mutta , muu , muualla , muualle , muualta , muuanne , muulloin , muun , muut , muuta , muutama , muutaman , muuten , myöhemmin , myös , myöskin , myöskään , myötä , ne , neljä , neljän , neljää , niiden , niihin , niiksi , niille , niillä , niiltä , niin , niinä , niissä , niistä , niitä , noiden , noihin , noiksi , noilla , noille , noilta , noin , noina , noissa , noista , noita , nopeammin , nopeasti , nopeiten , nro , nuo , nyt , näiden , näihin , näiksi , näille , näillä , näiltä , näin , näinä , näissä , näissähin , näissälle , näissältä , näissästä , näistä , näitä , nämä , ohi , oikea , oikealla , oikein , ole , olemme , olen , olet , olette , oleva , olevan , olevat , oli , olimme , olin , olisi , olisimme , olisin , olisit , olisitte , olisivat , olit , olitte , olivat , olla , olleet , olli , ollut , oma , omaa , omaan , omaksi , omalle , omalta , oman , omassa , omat , omia , omien , omiin , omiksi , omille , omilta , omissa , omista , on , onkin , onko , ovat , paikoittain , paitsi , pakosti , paljon , paremmin , parempi , parhaillaan , parhaiten , perusteella , peräti , pian , pieneen , pieneksi , pienelle , pienellä , pieneltä , pienempi , pienestä , pieni , pienin , poikki , puolesta , puolestaan , päälle , runsaasti , saakka , sadam , sama , samaa , samaan , samalla , samallalta , samallassa , samallasta , saman , samat , samoin , sata , sataa , satojen , se , seitsemän , sekä , sen , seuraavat , siellä , sieltä , siihen , siinä , siis , siitä , sijaan , siksi , sille , silloin , sillä , silti , siltä , sinne , sinua , sinulla , sinulle , sinulta , sinun , sinussa , sinusta , sinut , sinuun , sinä , sisäkkäin , sisällä , siten , sitten , sitä , ssa , sta , suoraan , suuntaan , suuren , suuret , suuri , suuria , suurin , suurten , taa , taas , taemmas , tahansa , tai , takaa , takaisin , takana , takia , tallä , tapauksessa , tarpeeksi , tavalla , tavoitteena , te , teidän , teidät , teihin , teille , teillä , teiltä , teissä , teistä , teitä , tietysti , todella , toinen , toisaalla , toisaalle , toisaalta , toiseen , toiseksi , toisella , toiselle , toiselta , toisemme , toisen , toisensa , toisessa , toisesta , toista , toistaiseksi , toki , tosin , tuhannen , tuhat , tule , tulee , tulemme , tulen , tulet , tulette , tulevat , tulimme , tulin , tulisi , tulisimme , tulisin , tulisit , tulisitte , tulisivat , tulit , tulitte , tulivat , tulla , tulleet , tullut , tuntuu , tuo , tuohon , tuoksi , tuolla , tuolle , tuolloin , tuolta , tuon , tuona , tuonne , tuossa , tuosta , tuota , tuotä , tuskin , tykö , tähän , täksi , tälle , tällä , tällöin , tältä , tämä , tämän , tänne , tänä , tänään , tässä , tästä , täten , tätä , täysin , täytyvät , täytyy , täällä , täältä , ulkopuolella , usea , useasti , useimmiten , usein , useita , uudeksi , uudelleen , uuden , uudet , uusi , uusia , uusien , uusinta , uuteen , uutta , vaan , vahemmän , vai , vaiheessa , vaikea , vaikean , vaikeat , vaikeilla , vaikeille , vaikeilta , vaikeissa , vaikeista , vaikka , vain , varmasti , varsin , varsinkin , varten , vasen , vasenmalla , vasta , vastaan , vastakkain , vastan , verran , vielä , vierekkäin , vieressä , vieri , viiden , viime , viimeinen , viimeisen , viimeksi , viisi , voi , voidaan , voimme , voin , voisi , voit , voitte , voivat , vuoden , vuoksi , vuosi , vuosien , vuosina , vuotta , vähemmän , vähintään , vähiten , vähän , välillä , yhdeksän , yhden , yhdessä , yhteen , yhteensä , yhteydessä , yhteyteen , yhtä , yhtäälle , yhtäällä , yhtäältä , yhtään , yhä , yksi , yksin , yksittäin , yleensä , ylemmäs , yli , ylös , ympäri , älköön , älä 847 
df <- fst_prepare(data = swedish_survey,
                  question = 'swedish_question',
                  id = 'swedish_id',
                  model = "swedish-lines",
                  stopword_list = "nltk",
                  language = 'sv'
                  )

Example of Use #2

If I had a survey in Estonian, I could happily note that ‘estonian-edt’ is available for udpipe, find the ISO code is ‘et’ and discover that there is an estonian wor process the responses to the open-ended question as follows:

Name Stopwords Length
stopwords-iso aiemmin , aika , aikaa , aikaan , aikaisemmin , aikaisin , aikajen , aikana , aikoina , aikoo , aikovat , aina , ainakaan , ainakin , ainoa , ainoat , aiomme , aion , aiotte , aist , aivan , ajan , alas , alemmas , alkuisin , alkuun , alla , alle , aloitamme , aloitan , aloitat , aloitatte , aloitattivat , aloitettava , aloitettevaksi, aloitettu , aloitimme , aloitin , aloitit , aloititte , aloittaa , aloittamatta , aloitti , aloittivat , alta , aluksi , alussa , alusta , annettavaksi , annetteva , annettu , ansiosta , antaa , antamatta , antoi , aoua , apu , asia , asiaa , asian , asiasta , asiat , asioiden , asioihin , asioita , asti , avuksi , avulla , avun , avutta , edelle , edelleen , edellä , edeltä , edemmäs , edes , edessä , edestä , ehkä , ei , eikä , eilen , eivät , eli , ellei , elleivät , ellemme , ellen , ellet , ellette , emme , en , enemmän , eniten , ennen , ensi , ensimmäinen , ensimmäiseksi , ensimmäisen , ensimmäisenä , ensimmäiset , ensimmäisiksi , ensimmäisinä , ensimmäisiä , ensimmäistä , ensin , entinen , entisen , entisiä , entisten , entistä , enää , eri , erittäin , erityisesti , eräiden , eräs , eräät , esi , esiin , esillä , esimerkiksi , et , eteen , etenkin , etessa , ette , ettei , että , haikki , halua , haluaa , haluamatta , haluamme , haluan , haluat , haluatte , haluavat , halunnut , halusi , halusimme , halusin , halusit , halusitte , halusivat , halutessa , haluton , he , hei , heidän , heidät , heihin , heille , heillä , heiltä , heissä , heistä , heitä , helposti , heti , hetkellä , hieman , hitaasti , hoikein , huolimatta , huomenna , hyvien , hyviin , hyviksi , hyville , hyviltä , hyvin , hyvinä , hyvissä , hyvistä , hyviä , hyvä , hyvät , hyvää , hän , häneen , hänelle , hänellä , häneltä , hänen , hänessä , hänestä , hänet , häntä , ihan , ilman , ilmeisesti , itse , itsensä , itseään , ja , jo , johon , joiden , joihin , joiksi , joilla , joille , joilta , joina , joissa , joista , joita , joka , jokainen , jokin , joko , joksi , joku , jolla , jolle , jolloin , jolta , jompikumpi , jona , jonka , jonkin , jonne , joo , jopa , jos , joskus , jossa , josta , jota , jotain , joten , jotenkin , jotenkuten , jotka , jotta , jouduimme , jouduin , jouduit , jouduitte , joudumme , joudun , joudutte , joukkoon , joukossa , joukosta , joutua , joutui , joutuivat , joutumaan , joutuu , joutuvat , juuri , jälkeen , jälleen , jää , kahdeksan , kahdeksannen , kahdella , kahdelle , kahdelta , kahden , kahdessa , kahdesta , kahta , kahteen , kai , kaiken , kaikille , kaikilta , kaikkea , kaikki , kaikkia , kaikkiaan , kaikkialla , kaikkialle , kaikkialta , kaikkien , kaikkin , kaksi , kannalta , kannattaa , kanssa , kanssaan , kanssamme , kanssani , kanssanne , kanssasi , kauan , kauemmas , kaukana , kautta , kehen , keiden , keihin , keiksi , keille , keillä , keiltä , keinä , keissä , keistä , keitten , keittä , keitä , keneen , keneksi , kenelle , kenellä , keneltä , kenen , kenenä , kenessä , kenestä , kenet , kenettä , kennessästä , kenties , kerran , kerta , kertaa , keskellä , kesken , keskimäärin , ketkä , ketä , kiitos , kohti , koko , kokonaan , kolmas , kolme , kolmen , kolmesti , koska , koskaan , kovin , kuin , kuinka , kuinkan , kuitenkaan , kuitenkin , kuka , kukaan , kukin , kukka , kumpainen , kumpainenkaan , kumpi , kumpikaan , kumpikin , kun , kuten , kuuden , kuusi , kuutta , kylliksi , kyllä , kymmenen , kyse , liian , liki , lisäksi , lisää , lla , luo , luona , lähekkäin , lähelle , lähellä , läheltä , lähemmäs , lähes , lähinnä , lähtien , läpi , mahdollisimman, mahdollista , me , meidän , meidät , meihin , meille , meillä , meiltä , meissä , meistä , meitä , melkein , melko , menee , meneet , menemme , menen , menet , menette , menevät , meni , menimme , menin , menit , menivät , mennessä , mennyt , menossa , mihin , mikin , miksi , mikä , mikäli , mikään , mille , milloin , milloinkan , millä , miltä , minkä , minne , minua , minulla , minulle , minulta , minun , minussa , minusta , minut , minuun , minä , missä , mistä , miten , mitkä , mitä , mitään , moi , molemmat , mones , monesti , monet , moni , moniaalla , moniaalle , moniaalta , monta , muassa , muiden , muita , muka , mukaan , mukaansa , mukana , mutta , muu , muualla , muualle , muualta , muuanne , muulloin , muun , muut , muuta , muutama , muutaman , muuten , myöhemmin , myös , myöskin , myöskään , myötä , ne , neljä , neljän , neljää , niiden , niihin , niiksi , niille , niillä , niiltä , niin , niinä , niissä , niistä , niitä , noiden , noihin , noiksi , noilla , noille , noilta , noin , noina , noissa , noista , noita , nopeammin , nopeasti , nopeiten , nro , nuo , nyt , näiden , näihin , näiksi , näille , näillä , näiltä , näin , näinä , näissä , näissähin , näissälle , näissältä , näissästä , näistä , näitä , nämä , ohi , oikea , oikealla , oikein , ole , olemme , olen , olet , olette , oleva , olevan , olevat , oli , olimme , olin , olisi , olisimme , olisin , olisit , olisitte , olisivat , olit , olitte , olivat , olla , olleet , olli , ollut , oma , omaa , omaan , omaksi , omalle , omalta , oman , omassa , omat , omia , omien , omiin , omiksi , omille , omilta , omissa , omista , on , onkin , onko , ovat , paikoittain , paitsi , pakosti , paljon , paremmin , parempi , parhaillaan , parhaiten , perusteella , peräti , pian , pieneen , pieneksi , pienelle , pienellä , pieneltä , pienempi , pienestä , pieni , pienin , poikki , puolesta , puolestaan , päälle , runsaasti , saakka , sadam , sama , samaa , samaan , samalla , samallalta , samallassa , samallasta , saman , samat , samoin , sata , sataa , satojen , se , seitsemän , sekä , sen , seuraavat , siellä , sieltä , siihen , siinä , siis , siitä , sijaan , siksi , sille , silloin , sillä , silti , siltä , sinne , sinua , sinulla , sinulle , sinulta , sinun , sinussa , sinusta , sinut , sinuun , sinä , sisäkkäin , sisällä , siten , sitten , sitä , ssa , sta , suoraan , suuntaan , suuren , suuret , suuri , suuria , suurin , suurten , taa , taas , taemmas , tahansa , tai , takaa , takaisin , takana , takia , tallä , tapauksessa , tarpeeksi , tavalla , tavoitteena , te , teidän , teidät , teihin , teille , teillä , teiltä , teissä , teistä , teitä , tietysti , todella , toinen , toisaalla , toisaalle , toisaalta , toiseen , toiseksi , toisella , toiselle , toiselta , toisemme , toisen , toisensa , toisessa , toisesta , toista , toistaiseksi , toki , tosin , tuhannen , tuhat , tule , tulee , tulemme , tulen , tulet , tulette , tulevat , tulimme , tulin , tulisi , tulisimme , tulisin , tulisit , tulisitte , tulisivat , tulit , tulitte , tulivat , tulla , tulleet , tullut , tuntuu , tuo , tuohon , tuoksi , tuolla , tuolle , tuolloin , tuolta , tuon , tuona , tuonne , tuossa , tuosta , tuota , tuotä , tuskin , tykö , tähän , täksi , tälle , tällä , tällöin , tältä , tämä , tämän , tänne , tänä , tänään , tässä , tästä , täten , tätä , täysin , täytyvät , täytyy , täällä , täältä , ulkopuolella , usea , useasti , useimmiten , usein , useita , uudeksi , uudelleen , uuden , uudet , uusi , uusia , uusien , uusinta , uuteen , uutta , vaan , vahemmän , vai , vaiheessa , vaikea , vaikean , vaikeat , vaikeilla , vaikeille , vaikeilta , vaikeissa , vaikeista , vaikka , vain , varmasti , varsin , varsinkin , varten , vasen , vasenmalla , vasta , vastaan , vastakkain , vastan , verran , vielä , vierekkäin , vieressä , vieri , viiden , viime , viimeinen , viimeisen , viimeksi , viisi , voi , voidaan , voimme , voin , voisi , voit , voitte , voivat , vuoden , vuoksi , vuosi , vuosien , vuosina , vuotta , vähemmän , vähintään , vähiten , vähän , välillä , yhdeksän , yhden , yhdessä , yhteen , yhteensä , yhteydessä , yhteyteen , yhtä , yhtäälle , yhtäällä , yhtäältä , yhtään , yhä , yksi , yksin , yksittäin , yleensä , ylemmäs , yli , ylös , ympäri , älköön , älä 847 
df <- fst_prepare(data = surveydata,
                  question = 'oe_question',
                  id = 'ID',
                  model = "ftb",
                  stopword_list = "stopwords-iso",
                  language = 'et',
                  weights = NULL,
                  add_cols = NULL,
                  manual = FALSE,
                  manual_list = "")

The remainder of the package works the same regardless of language of survey responses.