AI Runtime Engineering

Module 2 – AI Runtime Engineering · 2

Page 2 of 3 · Mga 15 minutos matag leksyon, apil ang praktis.

Adunay error budget ang quantization

15-minutong sesyon: pagbasa sulod sa 3 minutos, pag-trace sa 3, pag-eksperimento sa 7, ug pagtubag sa check sa 2. Paggahin og dugang oras kon gikinahanglan.

Ang yano nga symmetric quantizer mobahin sa scale, mo-round, ug molimit sa integer range. Ang dequantization mo-multiply sa scale. Mawad-an og impormasyon ang clipping ug rounding. Sukda ang numerical error ug task accuracy sa dili pa dawaton ang mas gamay nga representation. Dili tanan nga production format ang implemented niini nga scalar exercise.

Praktis ug ebidensiya: Tag-ana ang pananglitan o idrowing ang pag-usab sa state. Usba ang usa ka pagtuo, sulayi ang utlanan, ug itala ang aktuwal nga resulta. Ipasabot unsa ang wala mapamatud-i sa gamay nga modelo bahin sa production system.

value=0.36
scale=0.1
q=max(-127,min(127,round(value/scale)))
restored=q*scale
print(q)
print(round(abs(value-restored),3))

Gipaabot nga resulta: 4 0.04

Praktis ug ebidensiya

Isulat ang tagna, aktuwal nga resulta, ug hinungdan sa pagkapareho o kalainan. Ang completion check mosukod sa pagsabot; ang practice task mopauswag sa kahanas.

Reperensiya sa pinulongan: git.agilaos.com

Reperensiya sa pinulongan: onnx.ai

Pananglitang code sa Agila Forge ↗