Tips

Azure Open AI kustannukset

Kasper Valtonen

19.12.2023

Korkeampi Microsoft-matematiikka pureskeltu ymmärrettäväksi: Mistä hinta muodostuu?

Azure Open AI ratkaisujen käyttökustannukset ei ole ihan hyllytavaraa. Katsotaan mistä eri komponenteista hinta muodostuu ja laskeskellaan lopuksi pari esimerkkiä, minkälaisiin kustannuksiin eri ratkaisuilla päädytään.

Azure Open AI kustannusten muodostuminen

Azure Open AI käyttökustannukset voidaan jakaa yleensä neljään lähteeseen:

Azure Open AI tekoälymallin kustannukset
Tekoälymallin ja datan yhdistävän hakutoiminnon kustannukset
Datan varastoinnin kustannukset
Käyttöliittymän lisenssikustannukset

Eri lähteiden osuudet kokonaishinnasta riippuu hyvinkin paljon käytettävästä teknologiasta, käyttäjien määrästä ja kysyttyjen kysymysten määrästä.

Tarkastellaan nyt kustannuksia LowCodella toteutettujen ratkaisujen näkökulmasta. Yleisesti voidaan todeta, että mitä enemmän komponentteja tehdään ProCodella, sen alemmaksi käyttökustannukset yleensä jäävät, mutta ylläpitokustannukset, kuten korjaukset, kehitys uusiin tarpeisiin ja käyttöönotto on huomattavasti kalliimpaa ja hitaampaa.

Azure Open AI tekoälymallin kustannukset

Azure Open AI tekoälymallin käyttö hinnoitellaan suoraan käytön mukaan. Käyttöön lasketaan kysymysten määrä ja kysymys-vastaus parien pituus.

Myös tekoälymallin valinta vaikuttaa kustannuksiin, missä peukalosääntönä voidaan pitää, että tehokkaammat mallit maksavat enemmän. Toisaalta kuitenkin tekoälymallien tehokkuuden lisäksi myös niiden kustannustehokkuus kehittyy, minkä vuoksi uudet mallit maksavat yleensä vanhempia vähemmän.

Sen lisäksi vielä eri pyynnöt tekoälymalleilta on hinnoiteltu erikseen: Vastaus käyttäjän promptiin johtaa tällä hetkellä suurempiin kustannuksiin, kuin käyttäjän promptin automaattinen jatkaminen. Useimmiten kuitenkin Azure Open AI ratkaisuissa tarvitaan vain vastauksia ja ”Completion” sarake voidaan jättää huomiotta

Katsotaan seuraaaksi, mitä alla olevan kuvan hieroglyfiset termit tarkoittavat.

Azure Open AI hinnat 12/2023. Ajantasaiset hinnat voi katsoa täältä

Models

Vasemmassa sarakkeessa luetellaan eri tekoälymallit, mitä voidaan käyttää. Tällä hetkellä Azure Open AI palvelu tarjoaa eri GPT-3.5 ja GPT-4 malleja sekä kuvien luomiseen, puheen tunnistamiseen ja datan syöttämiseen tarkoitettuja malleja.

Context

Seuraavana vuorossa on sarake Context, jossa esiintyy numero-kirjain yhdistelmiä. Se kuvaa tekoälymallin tuottaman kysymys-vastaus parin maksimipituutta, jossa K = 1000 tokenia.

Yhteen kysymys-vastaus pariin lasketaan siis kysymys (Prompti) ja tekoälymallin tuottama vastaus, joihin lasketaan mahdollisesti mukaan myös edelliset kysymys-vastaus parit mikäli chatin halutaan muistavan aiemmat viestit.

Ensimmäisen rivin GPT-3.5-Turbo mallille voidaan siis tuottaa maksimissaan 4000 tokenia pitkiä kysymys-vastaus pareja. Mutta hetkinen, mitäs ihmettä tuo token tarkoittaa?

Token

Azure Open AI mittaa sille annettujen kysymys-vastaus parien pituutta tokeneilla. Jos vedetään mutkat suoriksi, voidaan sanoa yhden tokenin keskimäärin vastaavan 0,75 sanaa. Jos yhdellä sivulla on keskimäärin 400 sanaa, yhden sivun mittainen vastaus veisi siis reilut 500 tokenia.

Teknisesti asia ei kuitenkaan mene niin yksioikoisesti, koska tokeneille ei ole määritetty vakiopituutta. Yksi token voi siis olla yksi kirjain, yksi sana tai jotain siltä väliltä.

Joku voisi kysyä, miksi tokenit on toteutettu näin monimutkaisesti? Lyhyt vastaus on tekoälymallin vastausten parantamiseksi, mutta pitkään ja teknisesti kattavaan vastaukseen tämä yksi artikkeli ei taida riittää.

Käytännössä

Eli jos käytetään GPT-4-Turbo tekoälymallia ja valitaan 128k Context, annetaan sille 4 sivuinen dokumentti ja pyydetään sitä tiivistämään dokumentti puoleen sivuun, se siis maksaisi:

0,010€ / 1000 tokenia
4 sivun kysymys + 0,5 sivun vastaus = 4,5 sivua = 2500 tokenia
Kysymys-vastaus parin hinta = 2,5 snt

Jos operaatio tehtäisiin GPT-3.5-Turbo-1106 mallilla ja valittaisiin 16K Context, sama kysymys-vastaus pari maksaisi:

0,001€ / 1000 tokenia
4 sivun kysymys + 0,5 sivun vastaus = 4,5 sivua = 2500 tokenia
Kysymys-vastaus parin hinta = 0,25 snt

Tekoälymallin ja datan yhdistävän hakutoiminnon kustanukset

Jos Azure Open AI ratkaisulle halutaan syöttää yrityksen omaa dataa, tarvitaan myös komponentti, joka hakee oikean datan tekoälymallin alustamiseksi (Grounding). Siihen Microsoftilla löytyy valmis ratkaisu AI Search (Entinen Azure Cognitive Search), jonka käyttö laskutetaan erikseen.

AI Search hinnoitellaankin kapasiteetin eikä käytön mukaan. Eli ostat tietyn määrän kapasiteettia ja maksat siitä joka kuukausi jota kuinkin saman verran. Tarkalleen ottaen kapasiteetti laskutetaan minuuttien mukaan, eli jos poistat komponentin kuun 15. päivä, maksat vaan puolet sen kuukauden normaalista laskusta.

Sen lisäksi erikseen laskutetaan vielä Azure AI Searchin lisäominaisuudet eli kuvien lukeminen OCR-teknologialla ja erikseen räätälöidyt parannukset AI Searchin toimintaan.

Azure AI Search Pricing — Azure AI Search hinnat 12/2023. Ajantasaiset hinnat näet täältä

Kapasiteetin hinta lähtee siis 67€/kk ja skaalautuu varsin ketterästi aina reiluun 5000€/kk. Ilmaisversiota voi käyttää testaukseen, mutta mihinkään muuhun se ei oikein sovellu.

Mistä tiedän miten paljon tarvitsen kapasiteettia?

Oikean kapasiteetin valintaan vaikuttaa mallille annettavan pohjadatan määrä, eri käyttökohteiden määrä ja vaadittava toimintavarmuus. Jos puhutaan alle sadasta käyttäjästä, ainoa relevantti asia oikeastaan on enää pohjadatan määrä, sillä alle 100 käyttäjällä Basic-tierin AI Search riittää takaamaan hyvän käyttövarmuuden ja erillisiä käyttökohteita tuskin tulee yli 15. Kuvassa mainittu Indexien lukumäärä tarkoittaa siis sitä, miten monta erilaistat tekoälylle sopivaa tietokantaa voidaan luoda.

Myös 2GB rajoitus pohjadataan Basic-tierillä on varsin riittävä. Jos oletetaan, että kuvia sisältävä pdf-tiedosto vie tilaa keskimäärin 1MB /sivu voidaan pohjadataksi antaa 2000 sivua pdf:ää. Jos taas pdf-tiedosto ei sisällä kuvia, voidaan arvioida yhden sivun vievän tilaa noin 50kB /sivu, jolloin päästään jo 20 000 sivuun.

Useimmiten siis selvitään 67€/kk maksavalla kapasiteetilla.

Datan varastoinnin kustannukset

Datan varastointi on onneksi verrattain halpaa. Data voidaan säilyttää tällä hetkellä Azuren BlobStoragessa, Cosmos DB:ssä tai Azure SQL:ssä, jolloin se toimii suoraan yhteen Azure AI Searchin kanssa.

Microsoftin puheiden perusteella voidaan odottaa, että tulevaisuudessa yhteydet toimivat suoraan myös Dataverseen ja SharePointiin.

Azure BlobStoragen hinta määritellään keskimääräisen datan määrän mukaan sekä valitun palvelin-tierin mukaan. Käytännössä palvelin-tierit tarkoittavat sitä, miten nopeasti data on käytettävissä ja Azure Open AI ratkaisuissa Hot-tier riittää hyvin.

Eli jos BlobStorageen tallennetaan pohjadataa 2GB edestä, se maksaa kuukaudessa jotakuinkin 4 snt.

Käyttöliittymän kustannukset

Tekoälychatille pitää tehdä jollain myös käyttöliittymä, jota on helpompi käyttää kuin http-kutsua. Microsoft-maailmassa käyttöliittymän toteutukselle on kaksi helppoa tapaa: Power Apps tai Azure Web App. Käyttöliittymän voi kuitenkin tehdä myös millä tahansa fronttikoodaukseen sopivalla työkalulla, raakakoodina tai NoCodena.

Power Apps ja Azure Web App kuitenkin tarjoavat hyvän skaalan eri tilanteisiin sopivista nopeasti toteutettavaista ratkaisuista.

Power Apps

Azure Open AI tekoälymallien käyttäminen Power Appsissa vaatii Power Platform Custom Connectorin käyttöä, mikä ainakin tällä hetkellä vaatii Power Apps Premium-lisenssiä. Tämä ratkaisu ei skaalaudu kovin hyvin, koska kuukausittaiset kustannukset nousevat nopeasti ja lineaarisesti käyttäjien määrän kanssa. Toisaalta Power Apps mahdollistaa useiden eri tarkoituksiin koulutettujen tekoälyapureiden luomista yhteen sovellukseen ja se on helppo integroida esimerkiksi Teamsiin.

Käyttäjäkohtainen Premium-lisenssi maksaa 20€/kk/käyttäjä, ja sillä saa käyttöoikeuden rajoittamattomaan määrään eri Premium Power Appeja. Premium-lisenssin voi ostaa myös Pay-As-You-Go tyyliin hintaan 10€/kk/käyttäjä/sovellus, jolloin 10€ oikeuttaa vain yhden sovelluksen käyttöön.

Jos organisaatiossa ollaan otettu Power Appsia laajemmin käyttöön ja käyttäjillä on jo valmiiksi Premium-lisenssit, ei Azure Open AI ratkaisun käyttöönotto aiheuta lisäkustannuksia käyttöliittymän osalta. Jos Azure Open AI ratkaisussa tehdään organisaation ensimmäistä Power Appia, kustannustehokkaampi ratkaisu on silloin Pay-As-You-Go hinnoittelu, joka on vielä niin älykäs, että laskee todellisen kuukausittaisen käyttäjämäärän eikä laskuta niitä jotka eivät sovellusta käyttäneet.

Azure Web App

Vielä Power Appsiakin nopeampi tapa luoda käyttöliittymä on Azure Open AI palveluun integroitu Azure Web App, jolla voidaan luoda napin painalluksella yhteen tarkoitukseen luotu tekoälymalli, joka voidaan sitten liittää Intraan tai käyttää verkossa linkin kautta.

Tämä skaalautuu huomattavasti Power Appsia paremmin koska se ei vaadi lisenssiä yksittäisiltä käyttäjiltä, ja yksi käyttöliittymä Basic B1-tierillä maksaa vajaat 50€/kk. Lisää Azure Web App hinnoittelusta täällä

Azure Open AI Web App mahdollistaa yksinkertaisen käyttöliittymän luonnin uskomattoman nopeasti

Mitä se sitten maksaa?

Katsotaan lopuksi pari esimerkkiä, minkälaisiin summiin Azure Open AI ratkaisujen kuukausittaisissa kustannuksissa yleensä päädytään:

Esimerkissä 1 käydään läpi tilanne, jossa tehdään käyttöliittymä Power Appsilla ja meillä on 20 eri käyttäjää, jotka kysyvät kaikki 100 kysymystä kuukaudessa. Ostetaan Power Apps lisenssit Pay-As-You-Go hinnoittelulla ja oletetaan, että keskimääräinen kysymys-vastaus pari vie 1000 tokenia, eli noin 2 sivua tekstiä. Pohjadatana meillä on vajaa 2 GB tietoa ja ratkaisussa käytetään GPT-4-Turbo mallia 128k Contextissa.

Katsotaan esimerkissä 2 läpi tilanne, jossa käyttäjiä on enemmän, 50 kappaletta ja käyttöliittymä tehdään Azure Web Appilla, mutta muuten voimassa on samat tiedot kuin esimerkissä 1.