Korkeampi Microsoft-matematiikka pureskeltu ymmärrettäväksi: Mistä hinta muodostuu?
Azure Open AI ratkaisujen käyttökustannukset ei ole ihan hyllytavaraa. Katsotaan mistä eri komponenteista hinta muodostuu ja laskeskellaan lopuksi pari esimerkkiä, minkälaisiin kustannuksiin eri ratkaisuilla päädytään.
Azure Open AI kustannusten muodostuminen
Azure Open AI käyttökustannukset voidaan jakaa yleensä neljään lähteeseen:
- Azure Open AI tekoälymallin kustannukset
- Tekoälymallin ja datan yhdistävän hakutoiminnon kustannukset
- Datan varastoinnin kustannukset
- Käyttöliittymän lisenssikustannukset
Eri lähteiden osuudet kokonaishinnasta riippuu hyvinkin paljon käytettävästä teknologiasta, käyttäjien määrästä ja kysyttyjen kysymysten määrästä.
Tarkastellaan nyt kustannuksia LowCodella toteutettujen ratkaisujen näkökulmasta. Yleisesti voidaan todeta, että mitä enemmän komponentteja tehdään ProCodella, sen alemmaksi käyttökustannukset yleensä jäävät, mutta ylläpitokustannukset, kuten korjaukset, kehitys uusiin tarpeisiin ja käyttöönotto on huomattavasti kalliimpaa ja hitaampaa.
Azure Open AI tekoälymallin kustannukset
Azure Open AI tekoälymallin käyttö hinnoitellaan suoraan käytön mukaan. Käyttöön lasketaan kysymysten määrä ja kysymys-vastaus parien pituus.
Myös tekoälymallin valinta vaikuttaa kustannuksiin, missä peukalosääntönä voidaan pitää, että tehokkaammat mallit maksavat enemmän. Toisaalta kuitenkin tekoälymallien tehokkuuden lisäksi myös niiden kustannustehokkuus kehittyy, minkä vuoksi uudet mallit maksavat yleensä vanhempia vähemmän.
Sen lisäksi vielä eri pyynnöt tekoälymalleilta on hinnoiteltu erikseen: Vastaus käyttäjän promptiin johtaa tällä hetkellä suurempiin kustannuksiin, kuin käyttäjän promptin automaattinen jatkaminen. Useimmiten kuitenkin Azure Open AI ratkaisuissa tarvitaan vain vastauksia ja ”Completion” sarake voidaan jättää huomiotta
Katsotaan seuraaaksi, mitä alla olevan kuvan hieroglyfiset termit tarkoittavat.
Models
Vasemmassa sarakkeessa luetellaan eri tekoälymallit, mitä voidaan käyttää. Tällä hetkellä Azure Open AI palvelu tarjoaa eri GPT-3.5 ja GPT-4 malleja sekä kuvien luomiseen, puheen tunnistamiseen ja datan syöttämiseen tarkoitettuja malleja.
Context
Seuraavana vuorossa on sarake Context, jossa esiintyy numero-kirjain yhdistelmiä. Se kuvaa tekoälymallin tuottaman kysymys-vastaus parin maksimipituutta, jossa K = 1000 tokenia.
Yhteen kysymys-vastaus pariin lasketaan siis kysymys (Prompti) ja tekoälymallin tuottama vastaus, joihin lasketaan mahdollisesti mukaan myös edelliset kysymys-vastaus parit mikäli chatin halutaan muistavan aiemmat viestit.
Ensimmäisen rivin GPT-3.5-Turbo mallille voidaan siis tuottaa maksimissaan 4000 tokenia pitkiä kysymys-vastaus pareja. Mutta hetkinen, mitäs ihmettä tuo token tarkoittaa?
Token
Azure Open AI mittaa sille annettujen kysymys-vastaus parien pituutta tokeneilla. Jos vedetään mutkat suoriksi, voidaan sanoa yhden tokenin keskimäärin vastaavan 0,75 sanaa. Jos yhdellä sivulla on keskimäärin 400 sanaa, yhden sivun mittainen vastaus veisi siis reilut 500 tokenia.
Teknisesti asia ei kuitenkaan mene niin yksioikoisesti, koska tokeneille ei ole määritetty vakiopituutta. Yksi token voi siis olla yksi kirjain, yksi sana tai jotain siltä väliltä.
Joku voisi kysyä, miksi tokenit on toteutettu näin monimutkaisesti? Lyhyt vastaus on tekoälymallin vastausten parantamiseksi, mutta pitkään ja teknisesti kattavaan vastaukseen tämä yksi artikkeli ei taida riittää.
Käytännössä
Eli jos käytetään GPT-4-Turbo tekoälymallia ja valitaan 128k Context, annetaan sille 4 sivuinen dokumentti ja pyydetään sitä tiivistämään dokumentti puoleen sivuun, se siis maksaisi:
- 0,010€ / 1000 tokenia
- 4 sivun kysymys + 0,5 sivun vastaus = 4,5 sivua = 2500 tokenia
- Kysymys-vastaus parin hinta = 2,5 snt
Jos operaatio tehtäisiin GPT-3.5-Turbo-1106 mallilla ja valittaisiin 16K Context, sama kysymys-vastaus pari maksaisi:
- 0,001€ / 1000 tokenia
- 4 sivun kysymys + 0,5 sivun vastaus = 4,5 sivua = 2500 tokenia
- Kysymys-vastaus parin hinta = 0,25 snt
Tekoälymallin ja datan yhdistävän hakutoiminnon kustanukset
Jos Azure Open AI ratkaisulle halutaan syöttää yrityksen omaa dataa, tarvitaan myös komponentti, joka hakee oikean datan tekoälymallin alustamiseksi (Grounding). Siihen Microsoftilla löytyy valmis ratkaisu AI Search (Entinen Azure Cognitive Search), jonka käyttö laskutetaan erikseen.
AI Search hinnoitellaankin kapasiteetin eikä käytön mukaan. Eli ostat tietyn määrän kapasiteettia ja maksat siitä joka kuukausi jota kuinkin saman verran. Tarkalleen ottaen kapasiteetti laskutetaan minuuttien mukaan, eli jos poistat komponentin kuun 15. päivä, maksat vaan puolet sen kuukauden normaalista laskusta.
Sen lisäksi erikseen laskutetaan vielä Azure AI Searchin lisäominaisuudet eli kuvien lukeminen OCR-teknologialla ja erikseen räätälöidyt parannukset AI Searchin toimintaan.
Kapasiteetin hinta lähtee siis 67€/kk ja skaalautuu varsin ketterästi aina reiluun 5000€/kk. Ilmaisversiota voi käyttää testaukseen, mutta mihinkään muuhun se ei oikein sovellu.
Mistä tiedän miten paljon tarvitsen kapasiteettia?
Oikean kapasiteetin valintaan vaikuttaa mallille annettavan pohjadatan määrä, eri käyttökohteiden määrä ja vaadittava toimintavarmuus. Jos puhutaan alle sadasta käyttäjästä, ainoa relevantti asia oikeastaan on enää pohjadatan määrä, sillä alle 100 käyttäjällä Basic-tierin AI Search riittää takaamaan hyvän käyttövarmuuden ja erillisiä käyttökohteita tuskin tulee yli 15. Kuvassa mainittu Indexien lukumäärä tarkoittaa siis sitä, miten monta erilaistat tekoälylle sopivaa tietokantaa voidaan luoda.
Myös 2GB rajoitus pohjadataan Basic-tierillä on varsin riittävä. Jos oletetaan, että kuvia sisältävä pdf-tiedosto vie tilaa keskimäärin 1MB /sivu voidaan pohjadataksi antaa 2000 sivua pdf:ää. Jos taas pdf-tiedosto ei sisällä kuvia, voidaan arvioida yhden sivun vievän tilaa noin 50kB /sivu, jolloin päästään jo 20 000 sivuun.
Useimmiten siis selvitään 67€/kk maksavalla kapasiteetilla.
Datan varastoinnin kustannukset
Datan varastointi on onneksi verrattain halpaa. Data voidaan säilyttää tällä hetkellä Azuren BlobStoragessa, Cosmos DB:ssä tai Azure SQL:ssä, jolloin se toimii suoraan yhteen Azure AI Searchin kanssa.
Microsoftin puheiden perusteella voidaan odottaa, että tulevaisuudessa yhteydet toimivat suoraan myös Dataverseen ja SharePointiin.
Azure BlobStoragen hinta määritellään keskimääräisen datan määrän mukaan sekä valitun palvelin-tierin mukaan. Käytännössä palvelin-tierit tarkoittavat sitä, miten nopeasti data on käytettävissä ja Azure Open AI ratkaisuissa Hot-tier riittää hyvin.
Eli jos BlobStorageen tallennetaan pohjadataa 2GB edestä, se maksaa kuukaudessa jotakuinkin 4 snt.
Käyttöliittymän kustannukset
Tekoälychatille pitää tehdä jollain myös käyttöliittymä, jota on helpompi käyttää kuin http-kutsua. Microsoft-maailmassa käyttöliittymän toteutukselle on kaksi helppoa tapaa: Power Apps tai Azure Web App. Käyttöliittymän voi kuitenkin tehdä myös millä tahansa fronttikoodaukseen sopivalla työkalulla, raakakoodina tai NoCodena.
Power Apps ja Azure Web App kuitenkin tarjoavat hyvän skaalan eri tilanteisiin sopivista nopeasti toteutettavaista ratkaisuista.
Power Apps
Azure Open AI tekoälymallien käyttäminen Power Appsissa vaatii Power Platform Custom Connectorin käyttöä, mikä ainakin tällä hetkellä vaatii Power Apps Premium-lisenssiä. Tämä ratkaisu ei skaalaudu kovin hyvin, koska kuukausittaiset kustannukset nousevat nopeasti ja lineaarisesti käyttäjien määrän kanssa. Toisaalta Power Apps mahdollistaa useiden eri tarkoituksiin koulutettujen tekoälyapureiden luomista yhteen sovellukseen ja se on helppo integroida esimerkiksi Teamsiin.
Käyttäjäkohtainen Premium-lisenssi maksaa 20€/kk/käyttäjä, ja sillä saa käyttöoikeuden rajoittamattomaan määrään eri Premium Power Appeja. Premium-lisenssin voi ostaa myös Pay-As-You-Go tyyliin hintaan 10€/kk/käyttäjä/sovellus, jolloin 10€ oikeuttaa vain yhden sovelluksen käyttöön.
Jos organisaatiossa ollaan otettu Power Appsia laajemmin käyttöön ja käyttäjillä on jo valmiiksi Premium-lisenssit, ei Azure Open AI ratkaisun käyttöönotto aiheuta lisäkustannuksia käyttöliittymän osalta. Jos Azure Open AI ratkaisussa tehdään organisaation ensimmäistä Power Appia, kustannustehokkaampi ratkaisu on silloin Pay-As-You-Go hinnoittelu, joka on vielä niin älykäs, että laskee todellisen kuukausittaisen käyttäjämäärän eikä laskuta niitä jotka eivät sovellusta käyttäneet.
Azure Web App
Vielä Power Appsiakin nopeampi tapa luoda käyttöliittymä on Azure Open AI palveluun integroitu Azure Web App, jolla voidaan luoda napin painalluksella yhteen tarkoitukseen luotu tekoälymalli, joka voidaan sitten liittää Intraan tai käyttää verkossa linkin kautta.
Tämä skaalautuu huomattavasti Power Appsia paremmin koska se ei vaadi lisenssiä yksittäisiltä käyttäjiltä, ja yksi käyttöliittymä Basic B1-tierillä maksaa vajaat 50€/kk. Lisää Azure Web App hinnoittelusta täällä
Mitä se sitten maksaa?
Katsotaan lopuksi pari esimerkkiä, minkälaisiin summiin Azure Open AI ratkaisujen kuukausittaisissa kustannuksissa yleensä päädytään:
Esimerkissä 1 käydään läpi tilanne, jossa tehdään käyttöliittymä Power Appsilla ja meillä on 20 eri käyttäjää, jotka kysyvät kaikki 100 kysymystä kuukaudessa. Ostetaan Power Apps lisenssit Pay-As-You-Go hinnoittelulla ja oletetaan, että keskimääräinen kysymys-vastaus pari vie 1000 tokenia, eli noin 2 sivua tekstiä. Pohjadatana meillä on vajaa 2 GB tietoa ja ratkaisussa käytetään GPT-4-Turbo mallia 128k Contextissa.
Katsotaan esimerkissä 2 läpi tilanne, jossa käyttäjiä on enemmän, 50 kappaletta ja käyttöliittymä tehdään Azure Web Appilla, mutta muuten voimassa on samat tiedot kuin esimerkissä 1.
Esimerkki 1
Aloitetaan Azure Open AI kustannuksista, eli
- 20 käyttäjää kertaa 100 kysymystä = 20 * 100 = 2000 kysymystä
- 2000 kysymystä * (0,010€ / 1000 tokenia) = 2000 * 0,010 € = 20€
Seuraavaksi vuorossa Azure AI Search
- Joka nähdään suoraan taulukosta 67€
Kolmantena datan varastointi
- 0,0201 €/GB * 2GB = 4 snt
Ja viimeisenä vielä käyttöliittymä, eli Power Appsin aiheuttamat kustannukset
- 20 Käyttäjää * 10 €/käyttäjä = 200€
Ja kun nämä lasketaan yhteen, saadaan kuukausittaisiksi kustannuksiksi 287,04€
Esimerkki 2
Azure Open AI kustannukset, eli
- 50 käyttäjää kertaa 100 kysymystä = 50 * 100 = 5000 kysymystä
- 5000 kysymystä * (0,010€ / 1000 tokenia) = 5000 * 0,010 € = 50€
Azure AI Search ja datan varastointi maksaa samanverran eli 67€ ja 4 snt ja tällä kertaa myös käyttöliittymän kulut on vakio 50€
Ja näin kuukausittaisiksi kustannuksiksi saadaan 167,04€
Vähennä tiedonhakuun käytettävää aikaa!
Tietotyötä tekevät päätöksentekijät käyttävät tietojen etsimiseen tai keräämiseen keskimäärin 2,4h PÄIVÄSSÄ!
Jos mietit viime kertaa kun etsit projekti-teamsista oikeaa dokumenttia, tämä on helppo nähdä todeksi.
Katso, miten Azure Open AI ratkaisut voivat vapauttaa sinun ja kollegoidesi aikaa oikeiden asioiden tekemiseen
Kasper Valtonen
Urheilufanaatikko, LowCode-koutsi, Linkkari-pöhisijä
Ota yhteyttä
Varaa aika
Meistä olisi mahtavaa työskennellä kanssasi! Soita meille alla olevasta numerosta tai varaa aika!
+358 44 5374537
myynti@powersoftware.fi