I teknologibransjen kan du knapt ha en samtale uten at noen nevner slutninger, kunstig intelligens (AI) og maskinlæring (ML). Det er imidlertid viktig å merke seg at selv om alle disse begrepene er sammenkoblet, er de også betydelig forskjellige.
I denne artikkelen skal vi forklare de grunnleggende forskjellene og fremheve viktigheten av å bruke tensorbehandling-basert edge AI-teknologi, spesielt i edge og innebygde systemer. Sammenlignet med løsninger basert på grafikkbehandlingsenheter (GPUer), tilbyr tensorbehandlingsenheter (TPUer) mer effektiv og kostnadseffektiv-ytelse. Vi vil også gi noen eksempler på bruk som illustrerer hvor du kan støte på avanserte AI-løsninger i fremtiden.
Grunnleggende om ML og inferens
ML refererer til metodikken for treningsmodeller som bruker representative data for å gjøre det mulig for maskiner å lære hvordan de skal utføre oppgaver. Denne prosessen kan være svært beregningsintensiv, og generere billioner av operasjoner per nytt treningsdatapunkt. Den iterative karakteren til opplæringsprosessen, kombinert med de enorme opplæringsdatasettene som kreves for å oppnå høy nøyaktighet, driver etterspørselen etter ekstremt høy-flytende-flytpunktbehandling. ML-trening er best implementert som datasenterinfrastruktur, der høye kapital- og driftskostnader kan rettferdiggjøres ved å amortisere dem på tvers av mange kunder.
Inferens innebærer å bruke opplærte modeller for å generere potensielle treff for nye data som er relevante for de representative dataene som modellen ble trent på. Inferens har som mål å levere raske svar innen millisekunder. Eksempler på slutninger inkluderer talegjenkjenning, sanntids-språkoversettelse, maskinsyn og avgjørelser om optimalisering av annonseinnsetting. Selv om inferens bare krever en brøkdel av prosessorkraften som trengs for opplæring, overgår den fortsatt langt hva tradisjonelle sentralbehandlingsenheter (CPU)-baserte systemer kan levere, spesielt for datasynsapplikasjoner. Dette er grunnen til at så mange bedrifter tyr til tensor-baserte akselerasjonsløsninger-enten som IP på SoC-er eller som i-systemakseleratorer-for å oppnå svartidene på under{10}}sekunder som kreves ved kanten. Realiteten er at det ikke er særlig nyttig å bruke et minutt eller noen få sekunder på å behandle bilder i et synssystem. Industrielle synssystemer søker prosesseringshastigheter på millisekund-nivå.
Skille trening og konklusjon
Utplassering av den samme maskinvaren som brukes til opplæring for å håndtere inferensarbeidsbelastninger kan føre til over-tilførsel av inferensmaskiner med akseleratorer og CPU-maskinvare. GPU-løsninger utviklet for ML det siste tiåret er ikke nødvendigvis det optimale valget for stor-implementering av ML-slutningsteknologier. Diagrammet nedenfor illustrerer perfekt sammenligningen mellom TPU-akseleratorer og GPU-akseleratorer. Det viser tydelig at TPU-akseleratorer gir lavere strømforbruk, reduserte kostnader og høyere effektivitet sammenlignet med GPU-baserte AGX-løsninger, samtidig som de gir overbevisende ytelsesnivåer for inferensapplikasjoner.
En annen kritisk vurdering når man nærmer seg ML-opplæring og inferensløsninger er programvaremiljøet. I dag er mange populære biblioteker i bruk, for eksempel CUDA for NVIDIA GPUer, ML-rammeverk som TensorFlow og PyTorch, optimaliserte modellbiblioteker på tvers av-plattformer som Keras og mer. Disse verktøysettene er avgjørende for å utvikle og trene ML-modeller, men slutningsapplikasjoner krever et annet, mindre sett med programvareverktøy.
Inferensverktøysett fokuserer på å kjøre modeller på målplattformer. De støtter portering av trente modeller til plattformer, som kan innebære enkelte operatørtransformasjoner, kvantisering og vertsintegrasjonstjenester. Dette representerer imidlertid et relativt enkelt sett med funksjoner sammenlignet med de som kreves for modellutvikling og opplæring.
Inferensverktøy drar nytte av å starte med en standardisert representasjon av modellen. Open Neural Network Exchange (ONNX) er standardformatet for å representere ML-modeller. Som navnet tilsier, er det en åpen standard administrert som et Linux Foundation-prosjekt. Teknologier som ONNX muliggjør frakobling av opplærings- og slutningssystemer, og gir utviklere friheten til å velge forskjellige optimaliserte plattformer for hver.
Eksempel på visuelle applikasjoner
Ettersom ML- og inferensprosessorteknologier fortsetter å utvikle seg og utvikles, sprer applikasjonene seg. Nedenfor er bare noen få steder du kan møte denne teknologien i fremtiden.
Edge-servere i bedrifter som fabrikker, sykehus, butikker og finansinstitusjoner. For eksempel, i industrielle omgivelser, kan AI hjelpe med lagerstyring, defektdeteksjon og til og med prediktivt vedlikehold før problemer oppstår. I detaljhandelen muliggjør den funksjoner som estimering av positur, ved bruk av datasyn for å oppdage og analysere menneskelig holdning. Data fra denne analysen hjelper fysiske-og-forhandlere bedre å forstå menneskelig atferd og fottrafikk i butikkene sine, slik at de kan optimalisere butikkoppsettet for maksimalt salg og kundetilfredshet.
Høy-presisjon/høy-kvalitetsbildebehandling for applikasjoner, inkludert robotikk, industriell automasjon/inspeksjon, medisinsk bildebehandling, vitenskapelig bildebehandling, overvåkings- og objektgjenkjenningskameraer og fotonikk. For eksempel har maskinlæringsmetoder vist evnen til å oppdage kreft ved å behandle digitale røntgenstråler. Denne prosessen innebærer å utvikle en ML-modell designet for å behandle røntgenbilder, vanligvis ved å bruke opplærte semantiske segmenteringsalgoritmer for å identifisere kreftlesjoner. Under trening brukes kreftbilder identifisert av radiologer for å lære nettverket hva som ikke er kreft, hva som er kreft og hvordan ulike typer kreft opptrer. Jo mer en ML-modell er trent, jo bedre blir den til å maksimere riktige diagnoser og minimere feildiagnoser. Dette betyr at maskinlæring ikke bare er avhengig av intelligent modelldesign, men i like stor grad på enorme mengder (ti tusenvis til millioner) av nøye kuraterte dataeksempler der kreft er blitt identifisert med ekspertise.
Smarte handlekurver-Flere selskaper utvikler og implementerer intelligente handlesystemer som gjenkjenner produkter ikke ved hjelp av UPC-strekkoder, men ved det visuelle utseendet til selve emballasjen. Denne funksjonen lar kunder enkelt legge varer i handlekurven eller på betalingssystemet uten å måtte finne UPC-koden og skanne den med en UPC-laserskanner. Denne teknologien gjør handleprosessen mer nøyaktig, raskere og mer praktisk.
Å ta den riktige avgjørelsen
Bedrifter må vurdere alle tilgjengelige løsninger i dag og velge den optimale basert på deres spesifikke brukssituasjon. De kan heller ikke bare anta at alle AI-løsninger er best implementert på GPU-enheter, ettersom TPU-baserte løsninger tilbyr høyere prosesseringseffektivitet og lavere silisiumutnyttelse, og dermed reduserer strømforbruket og kostnadene.