Lin Qiao, was voorheen hoof van Meta se PyTorch en is die medestigter en uitvoerende hoof van Fireworks AI. Vuurwerke KI is 'n produksie-KI-platform wat gebou is vir ontwikkelaars, Fireworks vennote met die wêreld se voorste generatiewe KI-navorsers om die beste modelle teen die vinnigste spoed te bedien. Fireworks KI het onlangs 'n $25M Reeks A.
Wat het jou aanvanklik tot rekenaarwetenskap aangetrek?
My pa was 'n baie senior meganiese ingenieur by 'n skeepswerf, waar hy vragskepe van nuuts af gebou het. Van kleins af het ek geleer om die presiese hoeke en afmetings van skeepsbloudrukke te lees, en ek was mal daaroor.
Ek was baie in STEM van middelskool af – alles wat wiskunde, fisika en chemie het ek verslind. Een van my hoërskooltake was om BASIESE programmering te leer, en ek het 'n speletjie gekodeer oor 'n slang wat sy stert vreet. Daarna het ek geweet rekenaarwetenskap is in my toekoms.
Terwyl jy by Meta was, het jy 300+ wêreldklas-ingenieurs gelei in KI-raamwerke en -platforms waar jy Caffe2, en later PyTorch, gebou en ontplooi het. Wat was van jou belangrikste wegneemetes uit hierdie ervaring?
Groot tegnologie-maatskappye soos Meta is altyd vyf of meer jaar voor die kurwe. Toe ek in 2015 by Meta aangesluit het, was ons aan die begin van ons KI-reis – die verskuiwing van SVE's na GPU's gemaak. Ons moes KI-infrastruktuur van die grond af ontwerp. Modelle soos Caffe2 was baanbreker toe hulle geskep is, maar KI het so vinnig ontwikkel dat hulle vinnig verouderd geraak het. Ons het PyTorch en die hele stelsel daarom ontwikkel as 'n oplossing.
PyTorch is waar ek geleer het van die grootste padblokkades wat ontwikkelaars in die gesig staar in die wedloop om KI te bou. Die eerste uitdaging is om stabiele en betroubare modelargitektuur te vind wat lae latensie en buigsaam is sodat modelle kan skaal. Die tweede uitdaging is die totale koste van eienaarskap, so maatskappye gaan nie bankrot om hul modelle te probeer groei nie.
My tyd by Meta het my gewys hoe belangrik dit is om modelle en raamwerke soos PyTorch oopbron te hou. Dit moedig innovasie aan. Ons sou nie soveel gegroei het as wat ons by PyTorch gehad het sonder oopbron-geleenthede vir herhaling nie. Boonop is dit onmoontlik om op hoogte te bly van al die nuutste navorsing sonder samewerking.
Kan jy bespreek wat jou gelei het tot die bekendstelling van Fireworks AI?
Ek is al meer as 20 jaar in die tegnologiebedryf, en ek het golf na golf van bedryfsvlakverskuiwings gesien – van die wolk na mobiele toepassings. Maar hierdie KI-verskuiwing is 'n volledige tektoniese herbelyning. Ek het gesien hoe baie maatskappye met hierdie verandering sukkel. Almal wou vinnig beweeg en KI eerste stel, maar hulle het nie die infrastruktuur, hulpbronne en talent gehad om dit te laat gebeur nie. Hoe meer ek met hierdie maatskappye gepraat het, hoe meer het ek besef ek kan hierdie gaping in die mark oplos.
Ek het Fireworks AI geloods om hierdie probleem op te los en dien as 'n uitbreiding van die ongelooflike werk wat ons by PyTorch behaal het. Dit het selfs ons naam geïnspireer! PyTorch is die fakkel wat die vuur vashou – maar ons wil hê daardie vuur moet oral versprei. Vandaar: Vuurwerke.
Ek was nog altyd passievol daaroor om tegnologie te demokratiseer en dit bekostigbaar en eenvoudig te maak vir ontwikkelaars om te innoveer, ongeag hul hulpbronne. Dit is hoekom ons so 'n gebruikersvriendelike koppelvlak en sterk ondersteuningstelsels het om bouers te bemagtig om hul visies tot lewe te bring.
Kan jy bespreek wat ontwikkelaargesentreerde KI is en hoekom dit so belangrik is?
Dit is eenvoudig: "ontwikkelaargesentreerd" beteken om die behoeftes van KI-ontwikkelaars te prioritiseer. Byvoorbeeld: die skep van gereedskap, gemeenskappe en prosesse wat ontwikkelaars meer doeltreffend en outonoom maak.
Ontwikkelaargesentreerde KI-platforms soos Fireworks behoort in bestaande werkvloeie en tegnologiestapels te integreer. Hulle moet dit vir ontwikkelaars maklik maak om te eksperimenteer, foute te maak en hul werk te verbeter. Hulle moet terugvoer aanmoedig, want die ontwikkelaars daarvan self wat verstaan wat hulle nodig het om suksesvol te wees. Laastens gaan dit oor meer as net om 'n platform te wees. Dit gaan daaroor om 'n gemeenskap te wees – een waar samewerkende ontwikkelaars die grense kan verskuif van wat moontlik is met KI.
Die GenAI-platform wat jy ontwikkel het, is 'n beduidende vooruitgang vir ontwikkelaars wat met groot taalmodelle (LLM's) werk. Kan u uitbrei oor die unieke kenmerke en voordele van u platform, veral in vergelyking met bestaande oplossings?
Ons hele benadering as 'n KI-produksieplatform is uniek, maar sommige van ons beste kenmerke is:
Doeltreffende afleiding – Ons het Fireworks AI ontwerp vir doeltreffendheid en spoed. Ontwikkelaars wat ons platform gebruik, kan hul LLM-toepassings teen die laagste moontlike vertraging en koste laat loop. Ons bereik dit met die nuutste model- en diensoptimaliseringstegnieke, insluitend vinnige kas, aanpasbare versplintering, kwantisering, deurlopende groepering, FireAttention, en meer.
Bekostigbare ondersteuning vir LoRA-gestemde modelle – Ons bied bekostigbare diens van lae-rang aanpassing (LoRA) fyn-ingestelde modelle via multi-huur op basis modelle. Dit beteken ontwikkelaars kan eksperimenteer met baie verskillende gebruiksgevalle of variasies op dieselfde model sonder om die bank te breek.
Eenvoudige koppelvlakke en API's - Ons koppelvlakke en API's is eenvoudig en maklik vir ontwikkelaars om in hul toepassings te integreer. Ons API's is ook OpenAI-versoenbaar vir gemak van migrasie.
Van-die-rak-modelle en fyn-ingestelde modelle – Ons verskaf meer as 100 vooraf-opgeleide modelle wat ontwikkelaars buite die boks kan gebruik. Ons dek die beste LLM's, beeldgenereringsmodelle, inbeddingsmodelle, ens. Maar ontwikkelaars kan ook kies om hul eie pasgemaakte modelle aan te bied en te bedien. Ons bied ook selfbedienings-fyninstellingsdienste om ontwikkelaars te help om hierdie pasgemaakte modelle met hul eie data aan te pas.
Gemeenskapsamewerking: Ons glo in die oopbron-etos van gemeenskapsamewerking. Ons platform moedig ontwikkelaars aan (maar vereis nie) om hul verfynde modelle te deel en by te dra tot 'n groeiende bank van KI-bates en -kennis. Almal vind baat by die groei van ons kollektiewe kundigheid.
Kan jy die hibriede benadering wat tussen modelparallellisme en dataparallellisme aangebied word, bespreek?
Parallelleer van masjienleermodelle verbeter die doeltreffendheid en spoed van modelopleiding en help ontwikkelaars om groter modelle te hanteer wat 'n enkele GPU nie kan verwerk nie.
Modelparallellisme behels die verdeling van 'n model in veelvuldige dele en opleiding van elke deel op aparte verwerkers. Aan die ander kant verdeel dataparallellisme datastelle in substelle en lei 'n model op elke subset op dieselfde tyd oor afsonderlike verwerkers. 'n Hibriede benadering kombineer hierdie twee metodes. Modelle word in afsonderlike dele verdeel, wat elk opgelei word op verskillende substelle data, wat doeltreffendheid, skaalbaarheid en buigsaamheid verbeter.
Fireworks AI word deur meer as 20,000 60 ontwikkelaars gebruik en bedien tans meer as XNUMX miljard tokens daagliks. Watter uitdagings het jy in die gesig gestaar om jou bedrywighede tot hierdie vlak te skaal, en hoe het jy dit oorkom?
Ek sal eerlik wees, daar was baie hoë berge om oor te steek sedert ons Fireworks KI in 2022 gestig het.
Ons kliënte het die eerste keer na ons toe gekom op soek na ondersteuning met baie lae latensie omdat hulle toepassings bou vir óf verbruikers, prosumers of ander ontwikkelaars—almal gehore wat vinnige oplossings benodig. Toe ons kliënte se toepassings toe vinnig begin skaal, het hulle besef dat hulle nie die tipiese koste verbonde aan daardie skaal kon bekostig nie. Hulle het ons toe gevra om te help met die verlaging van die totale koste van eienaarskap (TCO), wat ons gedoen het. Toe wou ons kliënte van OpenAI na OSS-modelle migreer, en hulle het ons gevra om gelykstaande of selfs beter gehalte as OpenAI te verskaf. Ons het dit ook laat gebeur.
Elke stap in ons produk se evolusie was 'n uitdagende probleem om aan te pak, maar dit het beteken dat ons kliënte se behoeftes Fireworks werklik gevorm het tot wat dit vandag is: 'n blitsvinnige afleidingsenjin met 'n lae TCO. Boonop bied ons beide 'n verskeidenheid van hoë-gehalte, uit-die-boks modelle om van te kies, of verfyn dienste vir ontwikkelaars om hul eie te skep.
Met die vinnige vooruitgang in KI en masjienleer, is etiese oorwegings belangriker as ooit. Hoe spreek Fireworks KI kommer aan wat verband hou met vooroordeel, privaatheid en etiese gebruik van KI?
Ek het twee tienerdogters wat gereeld genAI-toepassings soos ChatGPT gebruik. As 'n ma is ek bekommerd dat hulle misleidende of onvanpaste inhoud sal vind, want die bedryf begin net die kritieke probleem van inhoudveiligheid aanpak. Meta doen baie met die Purple Llama-projek, en Stability AI se nuwe SD3-modusse is wonderlik. Albei maatskappye werk hard om veiligheid na hul nuwe Llama3- en SD3-modelle te bring met veelvuldige lae filters. Die inset-uitset-beskermingsmodel, Llama Guard, word wel 'n goeie hoeveelheid gebruik op ons platform, maar die aanvaarding daarvan is nog nie op gelyke voet met ander LLM's nie. Die bedryf as geheel het nog 'n lang pad om te gaan om inhoudveiligheid en KI-etiek op die voorgrond te bring.
Ons by Fireworks gee baie om oor privaatheid en sekuriteit. Ons voldoen aan HIPAA en SOC2 en bied veilige VPC- en VPN-verbinding. Maatskappye vertrou Fireworks met hul eie data en modelle om hul besigheidsgrag te bou.
Wat is jou visie vir hoe KI sal ontwikkel?
Net soos AlphaGo outonomie gedemonstreer het terwyl hy geleer het om self skaak te speel, dink ek ons sal sien dat genAI-toepassings meer en meer outonoom word. Programme sal outomaties versoeke stuur en na die regte agent of API rig om te verwerk, en kursuskorrigeer totdat hulle die regte uitset kry. En in plaas van een funksie-oproep-model wat van ander as 'n kontroleerder stem, sal ons meer self-georganiseerde, self-gekoördineerde agente sien wat saam werk om probleme op te los.
Fireworks se blitsvinnige afleiding, funksie-roepmodelle en verfyndiens het die weg gebaan vir hierdie werklikheid. Nou is dit aan innoverende ontwikkelaars om dit te laat gebeur.
Dankie vir die puik onderhoud, lesers wat meer wil leer moet besoek aflê Vuurwerke KI.
