aituner/runs/frontier-fidelity-envelope-v1/profiles/profile-v4-trace-final/linear_op.csv

1	time_stats.emb.min	time_stats.emb.max	time_stats.emb.mean	time_stats.emb.median	time_stats.emb.std	time_stats.input_layernorm.min	time_stats.input_layernorm.max	time_stats.input_layernorm.mean	time_stats.input_layernorm.median	time_stats.input_layernorm.std	time_stats.attn_pre_proj.min	time_stats.attn_pre_proj.max	time_stats.attn_pre_proj.mean	time_stats.attn_pre_proj.median	time_stats.attn_pre_proj.std	time_stats.attn_rope.min	time_stats.attn_rope.max	time_stats.attn_rope.mean	time_stats.attn_rope.median	time_stats.attn_rope.std	time_stats.attn_post_proj.min	time_stats.attn_post_proj.max	time_stats.attn_post_proj.mean	time_stats.attn_post_proj.median	time_stats.attn_post_proj.std	time_stats.post_attention_layernorm.min	time_stats.post_attention_layernorm.max	time_stats.post_attention_layernorm.mean	time_stats.post_attention_layernorm.median	time_stats.post_attention_layernorm.std	n_head	n_kv_head	n_embd	n_expanded_embd	vocab_size	use_gated_mlp	use_qk_norm	attn_output_gate	num_tokens	num_tensor_parallel_workers	padded_n_embd	padded_n_expanded_embd	model_arch	is_step2_mini	share_expert_dim	share_q_dim	measurement_type	profiling_precision	quant_signature
2	0.029184000566601753	0.06780800223350525	0.03157280012965202	0.030736000277101994	0.005874173435341216	0.033215999603271484	0.04825599864125252	0.03443359974771738	0.0337119996547699	0.0031825678429048183	1.438431978225708	1.505568027496338	1.446228802204132	1.4429279565811157	0.014128607642643025	0.538752019405365	0.5440319776535034	0.5416463971138	0.5420799851417542	0.0016099306164432847	1.0073280334472656	1.0163840055465698	1.0098415970802308	1.0081279873847961	0.0032980457197329728	0.04022400081157684	0.041728001087903976	0.04091359991580248	0.04081599973142147	0.0004728505416767937	32	4	2048	768	151936	True	True	False	8192	1	2048	768	generic	False			CUDA_EVENT	BF16	none
3	0.01360000018030405	0.06784000247716904	0.017755200061947106	0.0179840000346303	0.00837681421401443	0.01836800016462803	0.03651199862360954	0.019606399815529585	0.018719999119639397	0.0038821958848767424	0.7512000203132629	0.8208960294723511	0.7566704005002975	0.75382399559021	0.014793092586577971	0.28995200991630554	0.29337599873542786	0.29135999977588656	0.29150401055812836	0.000998381071258815	0.5149760246276855	0.5169600248336792	0.5160208016633987	0.5158880054950714	0.0005038652783291977	0.02051199972629547	0.021503999829292297	0.021067200042307378	0.021104000508785248	0.00023542855306902367	32	4	2048	768	151936	True	True	False	4096	1	2048	768	generic	False			CUDA_EVENT	BF16	none
4	0.0080960001796484	0.04281599819660187	0.011092799971811474	0.011039999779313803	0.005489135752949302	0.012223999947309494	0.026335999369621277	0.013187199970707298	0.01247999956831336	0.0030236510562153375	0.3928639888763428	0.45372799038887024	0.3976895987987518	0.39528000354766846	0.012905176716136006	0.1547199934720993	0.15884800255298615	0.15712319910526276	0.1573439985513687	0.001165121945135037	0.26633599400520325	0.268095999956131	0.26719200164079665	0.2671840041875839	0.0004242740199415328	0.013024000450968742	0.013887999579310417	0.013489600038155913	0.013520000036805868	0.0002382817554057738	32	4	2048	768	151936	True	True	False	2048	1	2048	768	generic	False			CUDA_EVENT	BF16	none
5	0.00825599953532219	0.04755200073122978	0.02398160002194345	0.01961600035429001	0.00874683840888523	0.018880000337958336	0.03868800029158592	0.021590400114655496	0.0208320003002882	0.004057015751746236	0.24316799640655518	0.2710399925708771	0.2521967992186546	0.25065599381923676	0.007998418528894075	0.09644799679517746	0.19120000302791595	0.10407840013504029	0.09963199868798256	0.020043722414992166	0.13600000739097595	0.18892799317836761	0.15760480016469955	0.15760000050067902	0.0112223677907762	0.009664000011980534	0.010015999898314476	0.009836799977347255	0.009824000298976898	9.016971952948177e-05	32	4	2048	768	151936	True	True	False	1024	1	2048	768	generic	False			CUDA_EVENT	BF16	none
6	0.017376000061631203	0.044704001396894455	0.026318399980664254	0.027312000282108784	0.007565344034680866	0.01836800016462803	0.03014400042593479	0.021276800055056812	0.020655999891459942	0.002632977855097951	0.1438719928264618	0.17132799327373505	0.152497598528862	0.15012799948453903	0.007947150319625347	0.1430719941854477	0.19305600225925446	0.16630879789590836	0.1685439944267273	0.014628024163894684	0.08899199962615967	0.10467199981212616	0.0943599995225668	0.09374399855732918	0.003472669494074113	0.007615999784320593	0.007935999892652035	0.007769599952735007	0.0077760000713169575	7.680004540222077e-05	32	4	2048	768	151936	True	True	False	512	1	2048	768	generic	False			CUDA_EVENT	BF16	none
7	0.016992000862956047	0.0544000007212162	0.02573199989274144	0.026016000658273697	0.00803323401720434	0.018432000651955605	0.02348800003528595	0.020648000109940768	0.02062400057911873	0.0013939985047930988	0.10220800340175629	0.1361600011587143	0.11850560046732425	0.11684799939393997	0.010637754898360304	0.16710400581359863	0.21110400557518005	0.19078560024499894	0.19409599900245667	0.013714352646558832	0.06265600025653839	0.0740479975938797	0.06842879951000214	0.0690080001950264	0.0031292240446560557	0.00979200005531311	0.033440001308918	0.01864320016466081	0.017280000261962414	0.006957998188876383	32	4	2048	768	151936	True	True	False	256	1	2048	768	generic	False			CUDA_EVENT	BF16	none
8	0.017152000218629837	0.04396799951791763	0.025907999789342284	0.02598400041460991	0.007714554737915267	0.018400000408291817	0.03667199984192848	0.024132800102233887	0.02112000063061714	0.006120348733354326	0.10678400099277496	0.1363839954137802	0.1193264003843069	0.11583999916911125	0.009838647443214228	0.17017599940299988	0.22748799622058868	0.18853759989142418	0.18433599919080734	0.015728078443174653	0.04569600149989128	0.06652799993753433	0.05192639995366335	0.05151999928057194	0.004516605694976449	0.021856000646948814	0.026335999369621277	0.02384479995816946	0.023599999956786633	0.0011301153013314744	32	4	2048	768	151936	True	True	False	128	1	2048	768	generic	False			CUDA_EVENT	BF16	none
9	0.017343999817967415	1.0683200359344482	0.05748240072280168	0.029504000209271908	0.16366824814254827	0.018688000738620758	0.3317759931087494	0.03685439983382821	0.021151999942958355	0.06767422466731164	0.10255999863147736	0.9434880018234253	0.16412640027701855	0.11956800147891045	0.17964606281728834	0.1714559942483902	2.1306240558624268	0.3011296011507511	0.1926399990916252	0.42310127734378766	0.03574400022625923	0.6859520077705383	0.08389280084520578	0.04279999993741512	0.14321647071615612	0.020479999482631683	0.1831360012292862	0.033024000097066165	0.023856000043451786	0.03470987082429836	32	4	2048	768	151936	True	True	False	64	1	2048	768	generic	False			CUDA_EVENT	BF16	none
10	0.016095999628305435	0.05142400041222572	0.026363200135529043	0.02676799986511469	0.008637725852473854	0.01849599927663803	0.03577600046992302	0.022193600237369538	0.020848000422120094	0.004615266181181815	0.10540799796581268	0.15014399588108063	0.12211520001292228	0.11896000057458878	0.012772013396624768	0.17315199971199036	0.21478399634361267	0.1881632000207901	0.1873439997434616	0.011761164657572015	0.03481600061058998	0.058079998940229416	0.042200000025331974	0.03969600051641464	0.006461281521769989	0.02143999934196472	0.038816001266241074	0.02466559996828437	0.023856000043451786	0.0035418033748569927	32	4	2048	768	151936	True	True	False	32	1	2048	768	generic	False			CUDA_EVENT	BF16	none
11	0.015904000028967857	0.03753599897027016	0.023127999808639287	0.02527999971061945	0.0054230027890305385	0.018400000408291817	0.03001599945127964	0.020488000102341176	0.020096000283956528	0.002585688394137697	0.10355199873447418	0.1438400000333786	0.11536479964852334	0.11124800145626068	0.011136028294919255	0.16502399742603302	0.2072959989309311	0.18646399974822997	0.19075199961662292	0.013296437761247597	0.03142400085926056	0.05215999856591225	0.03888959977775812	0.03750399872660637	0.0057399302067536314	0.020128000527620316	0.04064000025391579	0.023937600292265417	0.023648000322282314	0.004144197400898248	32	4	2048	768	151936	True	True	False	16	1	2048	768	generic	False			CUDA_EVENT	BF16	none
12	0.015200000256299973	0.037151999771595	0.02144480012357235	0.02195199951529503	0.005576364091933697	0.017952000722289085	0.0226879995316267	0.019934400077909233	0.019952000118792057	0.0011812499470458758	0.10063999891281128	0.13468800485134125	0.11595199964940547	0.1207519993185997	0.011974301621092394	0.16332800686359406	0.20748800039291382	0.18162400051951408	0.1767839938402176	0.01474120743720334	0.03222399950027466	0.043455999344587326	0.03829439990222454	0.03859200142323971	0.0031378131240041122	0.020959999412298203	0.03587200120091438	0.023795200139284135	0.023423999547958374	0.0031339489695198443	32	4	2048	768	151936	True	True	False	8	1	2048	768	generic	False			CUDA_EVENT	BF16	none
13	0.014944000169634819	0.04022400081157684	0.02162720002233982	0.022463999688625336	0.006017219317026815	0.018464000895619392	0.026528000831604004	0.021264000236988066	0.020896000787615776	0.001934095017586082	0.10156799852848053	0.1703999936580658	0.12565439902245998	0.1244799979031086	0.01641776722785409	0.1653759926557541	0.23865599930286407	0.1969360001385212	0.19223999977111816	0.02058903050274278	0.03254399821162224	0.06752000004053116	0.0443536002188921	0.041519999504089355	0.00984829071098989	0.020096000283956528	0.040031999349594116	0.026934400014579297	0.02478400059044361	0.00562071702648593	32	4	2048	768	151936	True	True	False	1	1	2048	768	generic	False			CUDA_EVENT	BF16	none
14											0.7531200051307678	0.8461440205574036	0.7618160009384155	0.7576479911804199	0.019464233617982506	0.2922559976577759	0.2985599935054779	0.2953856036067009	0.29576000571250916	0.001575901077689139	0.510047972202301	0.5140479803085327	0.5121696025133133	0.5123839974403381	0.0012263137313476844						32	4	2048	768	151936	True	True	False	8192	2	2048	768	generic	False			CUDA_EVENT	BF16	none
15											0.39529600739479065	0.47279998660087585	0.40216960161924364	0.39825600385665894	0.0162749796240819	0.15625600516796112	0.16211199760437012	0.15959519892930984	0.15988799929618835	0.0011493418942396922	0.2635200023651123	0.2642880082130432	0.2639120012521744	0.26392000913619995	0.0001903593401384135						32	4	2048	768	151936	True	True	False	4096	2	2048	768	generic	False			CUDA_EVENT	BF16	none
16											0.2531839907169342	0.32419198751449585	0.26924319565296173	0.26049599051475525	0.01657194262368116	0.10051199793815613	0.2375359982252121	0.12411200068891048	0.10311999917030334	0.039466165428540506	0.15881599485874176	0.19289599359035492	0.16896959990262986	0.1640480011701584	0.009162416086418127						32	4	2048	768	151936	True	True	False	2048	2	2048	768	generic	False			CUDA_EVENT	BF16	none
17											0.15302400290966034	0.1780800074338913	0.16284480094909667	0.16113600134849548	0.00740355661356144	0.14521600306034088	0.20233599841594696	0.17807039842009545	0.1796799972653389	0.013908448560094403	0.0907519981265068	0.09750399738550186	0.09460479989647866	0.09478399902582169	0.0017965487667361475						32	4	2048	768	151936	True	True	False	1024	2	2048	768	generic	False			CUDA_EVENT	BF16	none
18											0.11740799993276596	0.17958399653434753	0.13262080028653145	0.12878400087356567	0.014146060532423056	0.17468799650669098	0.21161599457263947	0.1910431995987892	0.18966399878263474	0.01270903647700971	0.05926400050520897	0.07577600330114365	0.06530559975653887	0.06404799968004227	0.00479458462514625						32	4	2048	768	151936	True	True	False	512	2	2048	768	generic	False			CUDA_EVENT	BF16	none
19											0.11260800063610077	0.17209599912166595	0.13610880002379416	0.13809599727392197	0.017675922458993677	0.18729600310325623	0.26822400093078613	0.20815680101513861	0.2078079953789711	0.01700718593658771	0.04499199986457825	0.06537599861621857	0.0507551996037364	0.04787199944257736	0.005727123232692158						32	4	2048	768	151936	True	True	False	256	2	2048	768	generic	False			CUDA_EVENT	BF16	none
20											0.11257600039243698	0.23452800512313843	0.13866880126297473	0.13964799791574478	0.026590047697062115	0.1828799992799759	0.24751999974250793	0.20735519900918006	0.20670399814844131	0.01500438131586336	0.03654399886727333	0.05593600124120712	0.0408239996060729	0.03892800025641918	0.004864409450710354						32	4	2048	768	151936	True	True	False	128	2	2048	768	generic	False			CUDA_EVENT	BF16	none
21											0.11734399944543839	0.18726399540901184	0.13890240006148816	0.13308800011873245	0.019086167340006257	0.16991999745368958	0.2443840056657791	0.19185120090842248	0.19257599860429764	0.018017536159219673	0.03033600002527237	0.04956800118088722	0.038387199863791466	0.03750400058925152	0.00500897018702887						32	4	2048	768	151936	True	True	False	64	2	2048	768	generic	False			CUDA_EVENT	BF16	none
22											0.11420799791812897	0.18115200102329254	0.13938880078494548	0.1393439993262291	0.018141313962922536	0.1693439930677414	0.221343994140625	0.19187839925289155	0.19438399374485016	0.01430752121272052	0.03017600066959858	0.06019200012087822	0.03866560012102127	0.0364960003644228	0.0074199790031205266						32	4	2048	768	151936	True	True	False	32	2	2048	768	generic	False			CUDA_EVENT	BF16	none
23											0.11276800185441971	0.16223999857902527	0.1331360016018152	0.13305599987506866	0.01432493740801146	0.17187200486660004	0.23625600337982178	0.19287680014967917	0.1913280040025711	0.01754628831589704	0.029823999851942062	0.07574400305747986	0.03900959976017475	0.036927999928593636	0.009277465083962879						32	4	2048	768	151936	True	True	False	16	2	2048	768	generic	False			CUDA_EVENT	BF16	none
24											0.1130559965968132	0.19814400374889374	0.13379519879817964	0.12531199678778648	0.020074427302248836	0.16841599345207214	0.21139200031757355	0.1893615983426571	0.19092799723148346	0.012418720676762711	0.029503999277949333	0.07558400183916092	0.040144000016152856	0.03728000074625015	0.010223239196498205						32	4	2048	768	151936	True	True	False	8	2	2048	768	generic	False			CUDA_EVENT	BF16	none
25											0.115167997777462	0.2640640139579773	0.13805920109152794	0.13118399679660797	0.03132849683515479	0.17103999853134155	0.2977280020713806	0.19899839907884598	0.1976960003376007	0.028928046763067948	0.0297279991209507	0.05990400165319443	0.03834720011800528	0.0363520011305809	0.0070885330713495905						32	4	2048	768	151936	True	True	False	1	2	2048	768	generic	False			CUDA_EVENT	BF16	none
26											0.3940800130367279	0.46483200788497925	0.39923040121793746	0.3957759886980057	0.015108903906233569	0.16022400557994843	0.1634880006313324	0.16203359961509706	0.16228799521923065	0.0010220720912414007	0.26073598861694336	0.2627840042114258	0.26138080209493636	0.2613760083913803	0.00041640363494172775						32	4	2048	768	151936	True	True	False	8192	4	2048	768	generic	False			CUDA_EVENT	BF16	none
27											0.2536959946155548	0.27161601185798645	0.25960480123758317	0.2577280104160309	0.005142017404245015	0.09849599748849869	0.10281600058078766	0.10057279989123344	0.10063999891281128	0.0008836232237268523	0.13913600146770477	0.17606399953365326	0.15875840038061143	0.15988799929618835	0.010058952112389172						32	4	2048	768	151936	True	True	False	4096	4	2048	768	generic	False			CUDA_EVENT	BF16	none
28											0.15142400562763214	0.1780479997396469	0.16139679849147798	0.1602879986166954	0.0070656055731385115	0.14601600170135498	0.23343999683856964	0.17913119941949845	0.179967999458313	0.023065274309176566	0.09388799965381622	0.12108799815177917	0.10317599996924401	0.10073599964380264	0.007364345618470178						32	4	2048	768	151936	True	True	False	2048	4	2048	768	generic	False			CUDA_EVENT	BF16	none
29											0.12198399752378464	0.18406400084495544	0.13770400024950505	0.13232000172138214	0.01623164885687898	0.1773120015859604	0.20688000321388245	0.1870912007987499	0.18535999953746796	0.00825628058448234	0.05766399949789047	0.06739199906587601	0.06187200043350458	0.061216000467538834	0.003004312467037863						32	4	2048	768	151936	True	True	False	1024	4	2048	768	generic	False			CUDA_EVENT	BF16	none
30											0.11737599968910217	0.18614399433135986	0.13109439946711063	0.12771200388669968	0.01372168725934724	0.17587199807167053	0.2699519991874695	0.19926720038056372	0.19075199961662292	0.02327478982490538	0.041728001087903976	0.06224000081419945	0.05000480003654957	0.049375999718904495	0.006185850944273961						32	4	2048	768	151936	True	True	False	512	4	2048	768	generic	False			CUDA_EVENT	BF16	none
31											0.1159679964184761	0.1610880047082901	0.12988320142030715	0.12494400516152382	0.011865375783184065	0.1767680048942566	0.27379199862480164	0.21035519987344742	0.21275199949741364	0.023206964017550125	0.037087999284267426	0.062144000083208084	0.04439679980278015	0.04283200018107891	0.006155226392511492						32	4	2048	768	151936	True	True	False	256	4	2048	768	generic	False			CUDA_EVENT	BF16	none
32											0.12015999853610992	0.158720001578331	0.13573280088603495	0.1343199983239174	0.010666830836014414	0.1737920045852661	0.22127999365329742	0.20261440128087999	0.20321600139141083	0.011153965849067301	0.03587200120091438	0.04944000020623207	0.038265600241720675	0.037328001111745834	0.0030431580113575636						32	4	2048	768	151936	True	True	False	128	4	2048	768	generic	False			CUDA_EVENT	BF16	none
33											0.1212799996137619	0.15139199793338776	0.13183839991688728	0.13014400005340576	0.00851207547022104	0.17257599532604218	0.2250880002975464	0.1872655987739563	0.18193599581718445	0.013638284975248818	0.02969600073993206	0.0525440014898777	0.03840640028938651	0.03444799967110157	0.007598511754254174						32	4	2048	768	151936	True	True	False	64	4	2048	768	generic	False			CUDA_EVENT	BF16	none
34											0.11270400136709213	0.1624639928340912	0.13508000001311302	0.13180799782276154	0.014243564451606775	0.17052799463272095	0.23715199530124664	0.1953311987221241	0.1966560035943985	0.01500670718978398	0.030239999294281006	0.05270399898290634	0.03807039987295866	0.03742399998009205	0.004906165602021684						32	4	2048	768	151936	True	True	False	32	4	2048	768	generic	False			CUDA_EVENT	BF16	none
35											0.12319999933242798	0.17919999361038208	0.14059039913117885	0.14156799763441086	0.016217662982107223	0.1701119989156723	0.21987199783325195	0.18903039917349815	0.1870879977941513	0.014117854507841239	0.030368000268936157	0.06406400352716446	0.04045119984075427	0.03710399940609932	0.00878942205983628						32	4	2048	768	151936	True	True	False	16	4	2048	768	generic	False			CUDA_EVENT	BF16	none
36											0.11296000331640244	0.16761599481105804	0.13843199908733367	0.13814399391412735	0.014925286935582404	0.1711679995059967	0.21561600267887115	0.1906527981162071	0.1876479983329773	0.011803992622137974	0.0306560005992651	0.09216000139713287	0.041129599791020155	0.036847999319434166	0.013739721468154687						32	4	2048	768	151936	True	True	False	8	4	2048	768	generic	False			CUDA_EVENT	BF16	none
37											0.11929599940776825	0.2008959949016571	0.14535359852015972	0.13971199840307236	0.024769473061576282	0.16803200542926788	0.25123199820518494	0.19573760256171227	0.19366399943828583	0.023196011081705884	0.03049599938094616	0.08089599758386612	0.04739360017701984	0.0453919991850853	0.01286389846889463						32	4	2048	768	151936	True	True	False	1	4	2048	768	generic	False			CUDA_EVENT	BF16	none