1########## torch.float32/torch.int32/size=(2, 3)+(2, 3)+() ##########
2# sparse tensor
3tensor(crow_indices=tensor([[[0, 3],
4                             [0, 3],
5                             [0, 3]],
6
7                            [[0, 3],
8                             [0, 3],
9                             [0, 3]]]),
10       col_indices=tensor([[[0, 1, 2],
11                            [0, 1, 2],
12                            [0, 1, 2]],
13
14                           [[0, 1, 2],
15                            [0, 1, 2],
16                            [0, 1, 2]]]),
17       values=tensor([[[[[1.],
18                         [3.]],
19
20                        [[2.],
21                         [0.]],
22
23                        [[0.],
24                         [4.]]],
25
26
27                       [[[1.],
28                         [4.]],
29
30                        [[2.],
31                         [0.]],
32
33                        [[3.],
34                         [0.]]],
35
36
37                       [[[1.],
38                         [2.]],
39
40                        [[0.],
41                         [3.]],
42
43                        [[0.],
44                         [4.]]]],
45
46
47
48                      [[[[0.],
49                         [2.]],
50
51                        [[1.],
52                         [3.]],
53
54                        [[0.],
55                         [4.]]],
56
57
58                       [[[1.],
59                         [3.]],
60
61                        [[0.],
62                         [4.]],
63
64                        [[2.],
65                         [0.]]],
66
67
68                       [[[1.],
69                         [0.]],
70
71                        [[2.],
72                         [4.]],
73
74                        [[3.],
75                         [0.]]]]]), device='cuda:0', size=(2, 3, 2, 3), nnz=3,
76       layout=torch.sparse_bsr)
77# _crow_indices
78tensor([[[0, 3],
79         [0, 3],
80         [0, 3]],
81
82        [[0, 3],
83         [0, 3],
84         [0, 3]]], device='cuda:0', dtype=torch.int32)
85# _col_indices
86tensor([[[0, 1, 2],
87         [0, 1, 2],
88         [0, 1, 2]],
89
90        [[0, 1, 2],
91         [0, 1, 2],
92         [0, 1, 2]]], device='cuda:0', dtype=torch.int32)
93# _values
94tensor([[[[[1.],
95           [3.]],
96
97          [[2.],
98           [0.]],
99
100          [[0.],
101           [4.]]],
102
103
104         [[[1.],
105           [4.]],
106
107          [[2.],
108           [0.]],
109
110          [[3.],
111           [0.]]],
112
113
114         [[[1.],
115           [2.]],
116
117          [[0.],
118           [3.]],
119
120          [[0.],
121           [4.]]]],
122
123
124
125        [[[[0.],
126           [2.]],
127
128          [[1.],
129           [3.]],
130
131          [[0.],
132           [4.]]],
133
134
135         [[[1.],
136           [3.]],
137
138          [[0.],
139           [4.]],
140
141          [[2.],
142           [0.]]],
143
144
145         [[[1.],
146           [0.]],
147
148          [[2.],
149           [4.]],
150
151          [[3.],
152           [0.]]]]], device='cuda:0')
153
154########## torch.float32/torch.int32/size=()+(8, 6)+() ##########
155# sparse tensor
156tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
157       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
158       values=tensor([[[ 0.,  1.,  0.],
159                       [ 0.,  4.,  0.]],
160
161                      [[ 2.,  0.,  3.],
162                       [ 0.,  5.,  0.]],
163
164                      [[ 6.,  7.,  8.],
165                       [ 0.,  0.,  0.]],
166
167                      [[ 0.,  9.,  0.],
168                       [13.,  0., 14.]],
169
170                      [[10., 11., 12.],
171                       [15., 16., 17.]],
172
173                      [[ 0.,  0.,  0.],
174                       [20., 21., 22.]],
175
176                      [[ 0., 18., 19.],
177                       [ 0., 23., 24.]]]), device='cuda:0', size=(8, 6), nnz=7,
178       layout=torch.sparse_bsr)
179# _crow_indices
180tensor([0, 2, 3, 5, 7], device='cuda:0', dtype=torch.int32)
181# _col_indices
182tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0', dtype=torch.int32)
183# _values
184tensor([[[ 0.,  1.,  0.],
185         [ 0.,  4.,  0.]],
186
187        [[ 2.,  0.,  3.],
188         [ 0.,  5.,  0.]],
189
190        [[ 6.,  7.,  8.],
191         [ 0.,  0.,  0.]],
192
193        [[ 0.,  9.,  0.],
194         [13.,  0., 14.]],
195
196        [[10., 11., 12.],
197         [15., 16., 17.]],
198
199        [[ 0.,  0.,  0.],
200         [20., 21., 22.]],
201
202        [[ 0., 18., 19.],
203         [ 0., 23., 24.]]], device='cuda:0')
204
205
206########## torch.float64/torch.int32/size=(2, 3)+(2, 3)+() ##########
207# sparse tensor
208tensor(crow_indices=tensor([[[0, 3],
209                             [0, 3],
210                             [0, 3]],
211
212                            [[0, 3],
213                             [0, 3],
214                             [0, 3]]]),
215       col_indices=tensor([[[0, 1, 2],
216                            [0, 1, 2],
217                            [0, 1, 2]],
218
219                           [[0, 1, 2],
220                            [0, 1, 2],
221                            [0, 1, 2]]]),
222       values=tensor([[[[[1.],
223                         [3.]],
224
225                        [[2.],
226                         [0.]],
227
228                        [[0.],
229                         [4.]]],
230
231
232                       [[[1.],
233                         [4.]],
234
235                        [[2.],
236                         [0.]],
237
238                        [[3.],
239                         [0.]]],
240
241
242                       [[[1.],
243                         [2.]],
244
245                        [[0.],
246                         [3.]],
247
248                        [[0.],
249                         [4.]]]],
250
251
252
253                      [[[[0.],
254                         [2.]],
255
256                        [[1.],
257                         [3.]],
258
259                        [[0.],
260                         [4.]]],
261
262
263                       [[[1.],
264                         [3.]],
265
266                        [[0.],
267                         [4.]],
268
269                        [[2.],
270                         [0.]]],
271
272
273                       [[[1.],
274                         [0.]],
275
276                        [[2.],
277                         [4.]],
278
279                        [[3.],
280                         [0.]]]]]), device='cuda:0', size=(2, 3, 2, 3), nnz=3,
281       dtype=torch.float64, layout=torch.sparse_bsr)
282# _crow_indices
283tensor([[[0, 3],
284         [0, 3],
285         [0, 3]],
286
287        [[0, 3],
288         [0, 3],
289         [0, 3]]], device='cuda:0', dtype=torch.int32)
290# _col_indices
291tensor([[[0, 1, 2],
292         [0, 1, 2],
293         [0, 1, 2]],
294
295        [[0, 1, 2],
296         [0, 1, 2],
297         [0, 1, 2]]], device='cuda:0', dtype=torch.int32)
298# _values
299tensor([[[[[1.],
300           [3.]],
301
302          [[2.],
303           [0.]],
304
305          [[0.],
306           [4.]]],
307
308
309         [[[1.],
310           [4.]],
311
312          [[2.],
313           [0.]],
314
315          [[3.],
316           [0.]]],
317
318
319         [[[1.],
320           [2.]],
321
322          [[0.],
323           [3.]],
324
325          [[0.],
326           [4.]]]],
327
328
329
330        [[[[0.],
331           [2.]],
332
333          [[1.],
334           [3.]],
335
336          [[0.],
337           [4.]]],
338
339
340         [[[1.],
341           [3.]],
342
343          [[0.],
344           [4.]],
345
346          [[2.],
347           [0.]]],
348
349
350         [[[1.],
351           [0.]],
352
353          [[2.],
354           [4.]],
355
356          [[3.],
357           [0.]]]]], device='cuda:0', dtype=torch.float64)
358
359########## torch.float64/torch.int32/size=()+(8, 6)+() ##########
360# sparse tensor
361tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
362       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
363       values=tensor([[[ 0.,  1.,  0.],
364                       [ 0.,  4.,  0.]],
365
366                      [[ 2.,  0.,  3.],
367                       [ 0.,  5.,  0.]],
368
369                      [[ 6.,  7.,  8.],
370                       [ 0.,  0.,  0.]],
371
372                      [[ 0.,  9.,  0.],
373                       [13.,  0., 14.]],
374
375                      [[10., 11., 12.],
376                       [15., 16., 17.]],
377
378                      [[ 0.,  0.,  0.],
379                       [20., 21., 22.]],
380
381                      [[ 0., 18., 19.],
382                       [ 0., 23., 24.]]]), device='cuda:0', size=(8, 6), nnz=7,
383       dtype=torch.float64, layout=torch.sparse_bsr)
384# _crow_indices
385tensor([0, 2, 3, 5, 7], device='cuda:0', dtype=torch.int32)
386# _col_indices
387tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0', dtype=torch.int32)
388# _values
389tensor([[[ 0.,  1.,  0.],
390         [ 0.,  4.,  0.]],
391
392        [[ 2.,  0.,  3.],
393         [ 0.,  5.,  0.]],
394
395        [[ 6.,  7.,  8.],
396         [ 0.,  0.,  0.]],
397
398        [[ 0.,  9.,  0.],
399         [13.,  0., 14.]],
400
401        [[10., 11., 12.],
402         [15., 16., 17.]],
403
404        [[ 0.,  0.,  0.],
405         [20., 21., 22.]],
406
407        [[ 0., 18., 19.],
408         [ 0., 23., 24.]]], device='cuda:0', dtype=torch.float64)
409
410
411########## torch.float32/torch.int64/size=(2, 3)+(2, 3)+() ##########
412# sparse tensor
413tensor(crow_indices=tensor([[[0, 3],
414                             [0, 3],
415                             [0, 3]],
416
417                            [[0, 3],
418                             [0, 3],
419                             [0, 3]]]),
420       col_indices=tensor([[[0, 1, 2],
421                            [0, 1, 2],
422                            [0, 1, 2]],
423
424                           [[0, 1, 2],
425                            [0, 1, 2],
426                            [0, 1, 2]]]),
427       values=tensor([[[[[1.],
428                         [3.]],
429
430                        [[2.],
431                         [0.]],
432
433                        [[0.],
434                         [4.]]],
435
436
437                       [[[1.],
438                         [4.]],
439
440                        [[2.],
441                         [0.]],
442
443                        [[3.],
444                         [0.]]],
445
446
447                       [[[1.],
448                         [2.]],
449
450                        [[0.],
451                         [3.]],
452
453                        [[0.],
454                         [4.]]]],
455
456
457
458                      [[[[0.],
459                         [2.]],
460
461                        [[1.],
462                         [3.]],
463
464                        [[0.],
465                         [4.]]],
466
467
468                       [[[1.],
469                         [3.]],
470
471                        [[0.],
472                         [4.]],
473
474                        [[2.],
475                         [0.]]],
476
477
478                       [[[1.],
479                         [0.]],
480
481                        [[2.],
482                         [4.]],
483
484                        [[3.],
485                         [0.]]]]]), device='cuda:0', size=(2, 3, 2, 3), nnz=3,
486       layout=torch.sparse_bsr)
487# _crow_indices
488tensor([[[0, 3],
489         [0, 3],
490         [0, 3]],
491
492        [[0, 3],
493         [0, 3],
494         [0, 3]]], device='cuda:0')
495# _col_indices
496tensor([[[0, 1, 2],
497         [0, 1, 2],
498         [0, 1, 2]],
499
500        [[0, 1, 2],
501         [0, 1, 2],
502         [0, 1, 2]]], device='cuda:0')
503# _values
504tensor([[[[[1.],
505           [3.]],
506
507          [[2.],
508           [0.]],
509
510          [[0.],
511           [4.]]],
512
513
514         [[[1.],
515           [4.]],
516
517          [[2.],
518           [0.]],
519
520          [[3.],
521           [0.]]],
522
523
524         [[[1.],
525           [2.]],
526
527          [[0.],
528           [3.]],
529
530          [[0.],
531           [4.]]]],
532
533
534
535        [[[[0.],
536           [2.]],
537
538          [[1.],
539           [3.]],
540
541          [[0.],
542           [4.]]],
543
544
545         [[[1.],
546           [3.]],
547
548          [[0.],
549           [4.]],
550
551          [[2.],
552           [0.]]],
553
554
555         [[[1.],
556           [0.]],
557
558          [[2.],
559           [4.]],
560
561          [[3.],
562           [0.]]]]], device='cuda:0')
563
564########## torch.float32/torch.int64/size=()+(8, 6)+() ##########
565# sparse tensor
566tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
567       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
568       values=tensor([[[ 0.,  1.,  0.],
569                       [ 0.,  4.,  0.]],
570
571                      [[ 2.,  0.,  3.],
572                       [ 0.,  5.,  0.]],
573
574                      [[ 6.,  7.,  8.],
575                       [ 0.,  0.,  0.]],
576
577                      [[ 0.,  9.,  0.],
578                       [13.,  0., 14.]],
579
580                      [[10., 11., 12.],
581                       [15., 16., 17.]],
582
583                      [[ 0.,  0.,  0.],
584                       [20., 21., 22.]],
585
586                      [[ 0., 18., 19.],
587                       [ 0., 23., 24.]]]), device='cuda:0', size=(8, 6), nnz=7,
588       layout=torch.sparse_bsr)
589# _crow_indices
590tensor([0, 2, 3, 5, 7], device='cuda:0')
591# _col_indices
592tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0')
593# _values
594tensor([[[ 0.,  1.,  0.],
595         [ 0.,  4.,  0.]],
596
597        [[ 2.,  0.,  3.],
598         [ 0.,  5.,  0.]],
599
600        [[ 6.,  7.,  8.],
601         [ 0.,  0.,  0.]],
602
603        [[ 0.,  9.,  0.],
604         [13.,  0., 14.]],
605
606        [[10., 11., 12.],
607         [15., 16., 17.]],
608
609        [[ 0.,  0.,  0.],
610         [20., 21., 22.]],
611
612        [[ 0., 18., 19.],
613         [ 0., 23., 24.]]], device='cuda:0')
614
615
616########## torch.float64/torch.int64/size=(2, 3)+(2, 3)+() ##########
617# sparse tensor
618tensor(crow_indices=tensor([[[0, 3],
619                             [0, 3],
620                             [0, 3]],
621
622                            [[0, 3],
623                             [0, 3],
624                             [0, 3]]]),
625       col_indices=tensor([[[0, 1, 2],
626                            [0, 1, 2],
627                            [0, 1, 2]],
628
629                           [[0, 1, 2],
630                            [0, 1, 2],
631                            [0, 1, 2]]]),
632       values=tensor([[[[[1.],
633                         [3.]],
634
635                        [[2.],
636                         [0.]],
637
638                        [[0.],
639                         [4.]]],
640
641
642                       [[[1.],
643                         [4.]],
644
645                        [[2.],
646                         [0.]],
647
648                        [[3.],
649                         [0.]]],
650
651
652                       [[[1.],
653                         [2.]],
654
655                        [[0.],
656                         [3.]],
657
658                        [[0.],
659                         [4.]]]],
660
661
662
663                      [[[[0.],
664                         [2.]],
665
666                        [[1.],
667                         [3.]],
668
669                        [[0.],
670                         [4.]]],
671
672
673                       [[[1.],
674                         [3.]],
675
676                        [[0.],
677                         [4.]],
678
679                        [[2.],
680                         [0.]]],
681
682
683                       [[[1.],
684                         [0.]],
685
686                        [[2.],
687                         [4.]],
688
689                        [[3.],
690                         [0.]]]]]), device='cuda:0', size=(2, 3, 2, 3), nnz=3,
691       dtype=torch.float64, layout=torch.sparse_bsr)
692# _crow_indices
693tensor([[[0, 3],
694         [0, 3],
695         [0, 3]],
696
697        [[0, 3],
698         [0, 3],
699         [0, 3]]], device='cuda:0')
700# _col_indices
701tensor([[[0, 1, 2],
702         [0, 1, 2],
703         [0, 1, 2]],
704
705        [[0, 1, 2],
706         [0, 1, 2],
707         [0, 1, 2]]], device='cuda:0')
708# _values
709tensor([[[[[1.],
710           [3.]],
711
712          [[2.],
713           [0.]],
714
715          [[0.],
716           [4.]]],
717
718
719         [[[1.],
720           [4.]],
721
722          [[2.],
723           [0.]],
724
725          [[3.],
726           [0.]]],
727
728
729         [[[1.],
730           [2.]],
731
732          [[0.],
733           [3.]],
734
735          [[0.],
736           [4.]]]],
737
738
739
740        [[[[0.],
741           [2.]],
742
743          [[1.],
744           [3.]],
745
746          [[0.],
747           [4.]]],
748
749
750         [[[1.],
751           [3.]],
752
753          [[0.],
754           [4.]],
755
756          [[2.],
757           [0.]]],
758
759
760         [[[1.],
761           [0.]],
762
763          [[2.],
764           [4.]],
765
766          [[3.],
767           [0.]]]]], device='cuda:0', dtype=torch.float64)
768
769########## torch.float64/torch.int64/size=()+(8, 6)+() ##########
770# sparse tensor
771tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
772       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
773       values=tensor([[[ 0.,  1.,  0.],
774                       [ 0.,  4.,  0.]],
775
776                      [[ 2.,  0.,  3.],
777                       [ 0.,  5.,  0.]],
778
779                      [[ 6.,  7.,  8.],
780                       [ 0.,  0.,  0.]],
781
782                      [[ 0.,  9.,  0.],
783                       [13.,  0., 14.]],
784
785                      [[10., 11., 12.],
786                       [15., 16., 17.]],
787
788                      [[ 0.,  0.,  0.],
789                       [20., 21., 22.]],
790
791                      [[ 0., 18., 19.],
792                       [ 0., 23., 24.]]]), device='cuda:0', size=(8, 6), nnz=7,
793       dtype=torch.float64, layout=torch.sparse_bsr)
794# _crow_indices
795tensor([0, 2, 3, 5, 7], device='cuda:0')
796# _col_indices
797tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0')
798# _values
799tensor([[[ 0.,  1.,  0.],
800         [ 0.,  4.,  0.]],
801
802        [[ 2.,  0.,  3.],
803         [ 0.,  5.,  0.]],
804
805        [[ 6.,  7.,  8.],
806         [ 0.,  0.,  0.]],
807
808        [[ 0.,  9.,  0.],
809         [13.,  0., 14.]],
810
811        [[10., 11., 12.],
812         [15., 16., 17.]],
813
814        [[ 0.,  0.,  0.],
815         [20., 21., 22.]],
816
817        [[ 0., 18., 19.],
818         [ 0., 23., 24.]]], device='cuda:0', dtype=torch.float64)
819
820
821########## torch.float32/torch.int32/size=(2, 3)+(2, 3)+(4,) ##########
822# sparse tensor
823tensor(crow_indices=tensor([[[0, 3],
824                             [0, 3],
825                             [0, 3]],
826
827                            [[0, 3],
828                             [0, 3],
829                             [0, 3]]]),
830       col_indices=tensor([[[0, 1, 2],
831                            [0, 1, 2],
832                            [0, 1, 2]],
833
834                           [[0, 1, 2],
835                            [0, 1, 2],
836                            [0, 1, 2]]]),
837       values=tensor([[[[[[1., 2., 3., 4.]],
838
839                         [[3., 4., 5., 6.]]],
840
841
842                        [[[2., 3., 4., 5.]],
843
844                         [[0., 0., 0., 0.]]],
845
846
847                        [[[0., 0., 0., 0.]],
848
849                         [[4., 5., 6., 7.]]]],
850
851
852
853                       [[[[1., 2., 3., 4.]],
854
855                         [[4., 5., 6., 7.]]],
856
857
858                        [[[2., 3., 4., 5.]],
859
860                         [[0., 0., 0., 0.]]],
861
862
863                        [[[3., 4., 5., 6.]],
864
865                         [[0., 0., 0., 0.]]]],
866
867
868
869                       [[[[1., 2., 3., 4.]],
870
871                         [[2., 3., 4., 5.]]],
872
873
874                        [[[0., 0., 0., 0.]],
875
876                         [[3., 4., 5., 6.]]],
877
878
879                        [[[0., 0., 0., 0.]],
880
881                         [[4., 5., 6., 7.]]]]],
882
883
884
885
886                      [[[[[0., 0., 0., 0.]],
887
888                         [[2., 3., 4., 5.]]],
889
890
891                        [[[1., 2., 3., 4.]],
892
893                         [[3., 4., 5., 6.]]],
894
895
896                        [[[0., 0., 0., 0.]],
897
898                         [[4., 5., 6., 7.]]]],
899
900
901
902                       [[[[1., 2., 3., 4.]],
903
904                         [[3., 4., 5., 6.]]],
905
906
907                        [[[0., 0., 0., 0.]],
908
909                         [[4., 5., 6., 7.]]],
910
911
912                        [[[2., 3., 4., 5.]],
913
914                         [[0., 0., 0., 0.]]]],
915
916
917
918                       [[[[1., 2., 3., 4.]],
919
920                         [[0., 0., 0., 0.]]],
921
922
923                        [[[2., 3., 4., 5.]],
924
925                         [[4., 5., 6., 7.]]],
926
927
928                        [[[3., 4., 5., 6.]],
929
930                         [[0., 0., 0., 0.]]]]]]), device='cuda:0',
931       size=(2, 3, 2, 3, 4), nnz=3, layout=torch.sparse_bsr)
932# _crow_indices
933tensor([[[0, 3],
934         [0, 3],
935         [0, 3]],
936
937        [[0, 3],
938         [0, 3],
939         [0, 3]]], device='cuda:0', dtype=torch.int32)
940# _col_indices
941tensor([[[0, 1, 2],
942         [0, 1, 2],
943         [0, 1, 2]],
944
945        [[0, 1, 2],
946         [0, 1, 2],
947         [0, 1, 2]]], device='cuda:0', dtype=torch.int32)
948# _values
949tensor([[[[[[1., 2., 3., 4.]],
950
951           [[3., 4., 5., 6.]]],
952
953
954          [[[2., 3., 4., 5.]],
955
956           [[0., 0., 0., 0.]]],
957
958
959          [[[0., 0., 0., 0.]],
960
961           [[4., 5., 6., 7.]]]],
962
963
964
965         [[[[1., 2., 3., 4.]],
966
967           [[4., 5., 6., 7.]]],
968
969
970          [[[2., 3., 4., 5.]],
971
972           [[0., 0., 0., 0.]]],
973
974
975          [[[3., 4., 5., 6.]],
976
977           [[0., 0., 0., 0.]]]],
978
979
980
981         [[[[1., 2., 3., 4.]],
982
983           [[2., 3., 4., 5.]]],
984
985
986          [[[0., 0., 0., 0.]],
987
988           [[3., 4., 5., 6.]]],
989
990
991          [[[0., 0., 0., 0.]],
992
993           [[4., 5., 6., 7.]]]]],
994
995
996
997
998        [[[[[0., 0., 0., 0.]],
999
1000           [[2., 3., 4., 5.]]],
1001
1002
1003          [[[1., 2., 3., 4.]],
1004
1005           [[3., 4., 5., 6.]]],
1006
1007
1008          [[[0., 0., 0., 0.]],
1009
1010           [[4., 5., 6., 7.]]]],
1011
1012
1013
1014         [[[[1., 2., 3., 4.]],
1015
1016           [[3., 4., 5., 6.]]],
1017
1018
1019          [[[0., 0., 0., 0.]],
1020
1021           [[4., 5., 6., 7.]]],
1022
1023
1024          [[[2., 3., 4., 5.]],
1025
1026           [[0., 0., 0., 0.]]]],
1027
1028
1029
1030         [[[[1., 2., 3., 4.]],
1031
1032           [[0., 0., 0., 0.]]],
1033
1034
1035          [[[2., 3., 4., 5.]],
1036
1037           [[4., 5., 6., 7.]]],
1038
1039
1040          [[[3., 4., 5., 6.]],
1041
1042           [[0., 0., 0., 0.]]]]]], device='cuda:0')
1043
1044########## torch.float32/torch.int32/size=()+(8, 6)+(4, 2) ##########
1045# sparse tensor
1046tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
1047       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
1048       values=tensor([[[[[ 0.,  0.],
1049                         [ 0.,  0.],
1050                         [ 0.,  0.],
1051                         [ 0.,  0.]],
1052
1053                        [[ 1., 11.],
1054                         [ 2., 12.],
1055                         [ 3., 13.],
1056                         [ 4., 14.]],
1057
1058                        [[ 0.,  0.],
1059                         [ 0.,  0.],
1060                         [ 0.,  0.],
1061                         [ 0.,  0.]]],
1062
1063
1064                       [[[ 0.,  0.],
1065                         [ 0.,  0.],
1066                         [ 0.,  0.],
1067                         [ 0.,  0.]],
1068
1069                        [[ 4., 14.],
1070                         [ 5., 15.],
1071                         [ 6., 16.],
1072                         [ 7., 17.]],
1073
1074                        [[ 0.,  0.],
1075                         [ 0.,  0.],
1076                         [ 0.,  0.],
1077                         [ 0.,  0.]]]],
1078
1079
1080
1081                      [[[[ 2., 12.],
1082                         [ 3., 13.],
1083                         [ 4., 14.],
1084                         [ 5., 15.]],
1085
1086                        [[ 0.,  0.],
1087                         [ 0.,  0.],
1088                         [ 0.,  0.],
1089                         [ 0.,  0.]],
1090
1091                        [[ 3., 13.],
1092                         [ 4., 14.],
1093                         [ 5., 15.],
1094                         [ 6., 16.]]],
1095
1096
1097                       [[[ 0.,  0.],
1098                         [ 0.,  0.],
1099                         [ 0.,  0.],
1100                         [ 0.,  0.]],
1101
1102                        [[ 5., 15.],
1103                         [ 6., 16.],
1104                         [ 7., 17.],
1105                         [ 8., 18.]],
1106
1107                        [[ 0.,  0.],
1108                         [ 0.,  0.],
1109                         [ 0.,  0.],
1110                         [ 0.,  0.]]]],
1111
1112
1113
1114                      [[[[ 6., 16.],
1115                         [ 7., 17.],
1116                         [ 8., 18.],
1117                         [ 9., 19.]],
1118
1119                        [[ 7., 17.],
1120                         [ 8., 18.],
1121                         [ 9., 19.],
1122                         [10., 20.]],
1123
1124                        [[ 8., 18.],
1125                         [ 9., 19.],
1126                         [10., 20.],
1127                         [11., 21.]]],
1128
1129
1130                       [[[ 0.,  0.],
1131                         [ 0.,  0.],
1132                         [ 0.,  0.],
1133                         [ 0.,  0.]],
1134
1135                        [[ 0.,  0.],
1136                         [ 0.,  0.],
1137                         [ 0.,  0.],
1138                         [ 0.,  0.]],
1139
1140                        [[ 0.,  0.],
1141                         [ 0.,  0.],
1142                         [ 0.,  0.],
1143                         [ 0.,  0.]]]],
1144
1145
1146
1147                      [[[[ 0.,  0.],
1148                         [ 0.,  0.],
1149                         [ 0.,  0.],
1150                         [ 0.,  0.]],
1151
1152                        [[ 9., 19.],
1153                         [10., 20.],
1154                         [11., 21.],
1155                         [12., 22.]],
1156
1157                        [[ 0.,  0.],
1158                         [ 0.,  0.],
1159                         [ 0.,  0.],
1160                         [ 0.,  0.]]],
1161
1162
1163                       [[[13., 23.],
1164                         [14., 24.],
1165                         [15., 25.],
1166                         [16., 26.]],
1167
1168                        [[ 0.,  0.],
1169                         [ 0.,  0.],
1170                         [ 0.,  0.],
1171                         [ 0.,  0.]],
1172
1173                        [[14., 24.],
1174                         [15., 25.],
1175                         [16., 26.],
1176                         [17., 27.]]]],
1177
1178
1179
1180                      [[[[10., 20.],
1181                         [11., 21.],
1182                         [12., 22.],
1183                         [13., 23.]],
1184
1185                        [[11., 21.],
1186                         [12., 22.],
1187                         [13., 23.],
1188                         [14., 24.]],
1189
1190                        [[12., 22.],
1191                         [13., 23.],
1192                         [14., 24.],
1193                         [15., 25.]]],
1194
1195
1196                       [[[15., 25.],
1197                         [16., 26.],
1198                         [17., 27.],
1199                         [18., 28.]],
1200
1201                        [[16., 26.],
1202                         [17., 27.],
1203                         [18., 28.],
1204                         [19., 29.]],
1205
1206                        [[17., 27.],
1207                         [18., 28.],
1208                         [19., 29.],
1209                         [20., 30.]]]],
1210
1211
1212
1213                      [[[[ 0.,  0.],
1214                         [ 0.,  0.],
1215                         [ 0.,  0.],
1216                         [ 0.,  0.]],
1217
1218                        [[ 0.,  0.],
1219                         [ 0.,  0.],
1220                         [ 0.,  0.],
1221                         [ 0.,  0.]],
1222
1223                        [[ 0.,  0.],
1224                         [ 0.,  0.],
1225                         [ 0.,  0.],
1226                         [ 0.,  0.]]],
1227
1228
1229                       [[[20., 30.],
1230                         [21., 31.],
1231                         [22., 32.],
1232                         [23., 33.]],
1233
1234                        [[21., 31.],
1235                         [22., 32.],
1236                         [23., 33.],
1237                         [24., 34.]],
1238
1239                        [[22., 32.],
1240                         [23., 33.],
1241                         [24., 34.],
1242                         [25., 35.]]]],
1243
1244
1245
1246                      [[[[ 0.,  0.],
1247                         [ 0.,  0.],
1248                         [ 0.,  0.],
1249                         [ 0.,  0.]],
1250
1251                        [[18., 28.],
1252                         [19., 29.],
1253                         [20., 30.],
1254                         [21., 31.]],
1255
1256                        [[19., 29.],
1257                         [20., 30.],
1258                         [21., 31.],
1259                         [22., 32.]]],
1260
1261
1262                       [[[ 0.,  0.],
1263                         [ 0.,  0.],
1264                         [ 0.,  0.],
1265                         [ 0.,  0.]],
1266
1267                        [[23., 33.],
1268                         [24., 34.],
1269                         [25., 35.],
1270                         [26., 36.]],
1271
1272                        [[24., 34.],
1273                         [25., 35.],
1274                         [26., 36.],
1275                         [27., 37.]]]]]), device='cuda:0', size=(8, 6, 4, 2),
1276       nnz=7, layout=torch.sparse_bsr)
1277# _crow_indices
1278tensor([0, 2, 3, 5, 7], device='cuda:0', dtype=torch.int32)
1279# _col_indices
1280tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0', dtype=torch.int32)
1281# _values
1282tensor([[[[[ 0.,  0.],
1283           [ 0.,  0.],
1284           [ 0.,  0.],
1285           [ 0.,  0.]],
1286
1287          [[ 1., 11.],
1288           [ 2., 12.],
1289           [ 3., 13.],
1290           [ 4., 14.]],
1291
1292          [[ 0.,  0.],
1293           [ 0.,  0.],
1294           [ 0.,  0.],
1295           [ 0.,  0.]]],
1296
1297
1298         [[[ 0.,  0.],
1299           [ 0.,  0.],
1300           [ 0.,  0.],
1301           [ 0.,  0.]],
1302
1303          [[ 4., 14.],
1304           [ 5., 15.],
1305           [ 6., 16.],
1306           [ 7., 17.]],
1307
1308          [[ 0.,  0.],
1309           [ 0.,  0.],
1310           [ 0.,  0.],
1311           [ 0.,  0.]]]],
1312
1313
1314
1315        [[[[ 2., 12.],
1316           [ 3., 13.],
1317           [ 4., 14.],
1318           [ 5., 15.]],
1319
1320          [[ 0.,  0.],
1321           [ 0.,  0.],
1322           [ 0.,  0.],
1323           [ 0.,  0.]],
1324
1325          [[ 3., 13.],
1326           [ 4., 14.],
1327           [ 5., 15.],
1328           [ 6., 16.]]],
1329
1330
1331         [[[ 0.,  0.],
1332           [ 0.,  0.],
1333           [ 0.,  0.],
1334           [ 0.,  0.]],
1335
1336          [[ 5., 15.],
1337           [ 6., 16.],
1338           [ 7., 17.],
1339           [ 8., 18.]],
1340
1341          [[ 0.,  0.],
1342           [ 0.,  0.],
1343           [ 0.,  0.],
1344           [ 0.,  0.]]]],
1345
1346
1347
1348        [[[[ 6., 16.],
1349           [ 7., 17.],
1350           [ 8., 18.],
1351           [ 9., 19.]],
1352
1353          [[ 7., 17.],
1354           [ 8., 18.],
1355           [ 9., 19.],
1356           [10., 20.]],
1357
1358          [[ 8., 18.],
1359           [ 9., 19.],
1360           [10., 20.],
1361           [11., 21.]]],
1362
1363
1364         [[[ 0.,  0.],
1365           [ 0.,  0.],
1366           [ 0.,  0.],
1367           [ 0.,  0.]],
1368
1369          [[ 0.,  0.],
1370           [ 0.,  0.],
1371           [ 0.,  0.],
1372           [ 0.,  0.]],
1373
1374          [[ 0.,  0.],
1375           [ 0.,  0.],
1376           [ 0.,  0.],
1377           [ 0.,  0.]]]],
1378
1379
1380
1381        [[[[ 0.,  0.],
1382           [ 0.,  0.],
1383           [ 0.,  0.],
1384           [ 0.,  0.]],
1385
1386          [[ 9., 19.],
1387           [10., 20.],
1388           [11., 21.],
1389           [12., 22.]],
1390
1391          [[ 0.,  0.],
1392           [ 0.,  0.],
1393           [ 0.,  0.],
1394           [ 0.,  0.]]],
1395
1396
1397         [[[13., 23.],
1398           [14., 24.],
1399           [15., 25.],
1400           [16., 26.]],
1401
1402          [[ 0.,  0.],
1403           [ 0.,  0.],
1404           [ 0.,  0.],
1405           [ 0.,  0.]],
1406
1407          [[14., 24.],
1408           [15., 25.],
1409           [16., 26.],
1410           [17., 27.]]]],
1411
1412
1413
1414        [[[[10., 20.],
1415           [11., 21.],
1416           [12., 22.],
1417           [13., 23.]],
1418
1419          [[11., 21.],
1420           [12., 22.],
1421           [13., 23.],
1422           [14., 24.]],
1423
1424          [[12., 22.],
1425           [13., 23.],
1426           [14., 24.],
1427           [15., 25.]]],
1428
1429
1430         [[[15., 25.],
1431           [16., 26.],
1432           [17., 27.],
1433           [18., 28.]],
1434
1435          [[16., 26.],
1436           [17., 27.],
1437           [18., 28.],
1438           [19., 29.]],
1439
1440          [[17., 27.],
1441           [18., 28.],
1442           [19., 29.],
1443           [20., 30.]]]],
1444
1445
1446
1447        [[[[ 0.,  0.],
1448           [ 0.,  0.],
1449           [ 0.,  0.],
1450           [ 0.,  0.]],
1451
1452          [[ 0.,  0.],
1453           [ 0.,  0.],
1454           [ 0.,  0.],
1455           [ 0.,  0.]],
1456
1457          [[ 0.,  0.],
1458           [ 0.,  0.],
1459           [ 0.,  0.],
1460           [ 0.,  0.]]],
1461
1462
1463         [[[20., 30.],
1464           [21., 31.],
1465           [22., 32.],
1466           [23., 33.]],
1467
1468          [[21., 31.],
1469           [22., 32.],
1470           [23., 33.],
1471           [24., 34.]],
1472
1473          [[22., 32.],
1474           [23., 33.],
1475           [24., 34.],
1476           [25., 35.]]]],
1477
1478
1479
1480        [[[[ 0.,  0.],
1481           [ 0.,  0.],
1482           [ 0.,  0.],
1483           [ 0.,  0.]],
1484
1485          [[18., 28.],
1486           [19., 29.],
1487           [20., 30.],
1488           [21., 31.]],
1489
1490          [[19., 29.],
1491           [20., 30.],
1492           [21., 31.],
1493           [22., 32.]]],
1494
1495
1496         [[[ 0.,  0.],
1497           [ 0.,  0.],
1498           [ 0.,  0.],
1499           [ 0.,  0.]],
1500
1501          [[23., 33.],
1502           [24., 34.],
1503           [25., 35.],
1504           [26., 36.]],
1505
1506          [[24., 34.],
1507           [25., 35.],
1508           [26., 36.],
1509           [27., 37.]]]]], device='cuda:0')
1510
1511
1512########## torch.float64/torch.int32/size=(2, 3)+(2, 3)+(4,) ##########
1513# sparse tensor
1514tensor(crow_indices=tensor([[[0, 3],
1515                             [0, 3],
1516                             [0, 3]],
1517
1518                            [[0, 3],
1519                             [0, 3],
1520                             [0, 3]]]),
1521       col_indices=tensor([[[0, 1, 2],
1522                            [0, 1, 2],
1523                            [0, 1, 2]],
1524
1525                           [[0, 1, 2],
1526                            [0, 1, 2],
1527                            [0, 1, 2]]]),
1528       values=tensor([[[[[[1., 2., 3., 4.]],
1529
1530                         [[3., 4., 5., 6.]]],
1531
1532
1533                        [[[2., 3., 4., 5.]],
1534
1535                         [[0., 0., 0., 0.]]],
1536
1537
1538                        [[[0., 0., 0., 0.]],
1539
1540                         [[4., 5., 6., 7.]]]],
1541
1542
1543
1544                       [[[[1., 2., 3., 4.]],
1545
1546                         [[4., 5., 6., 7.]]],
1547
1548
1549                        [[[2., 3., 4., 5.]],
1550
1551                         [[0., 0., 0., 0.]]],
1552
1553
1554                        [[[3., 4., 5., 6.]],
1555
1556                         [[0., 0., 0., 0.]]]],
1557
1558
1559
1560                       [[[[1., 2., 3., 4.]],
1561
1562                         [[2., 3., 4., 5.]]],
1563
1564
1565                        [[[0., 0., 0., 0.]],
1566
1567                         [[3., 4., 5., 6.]]],
1568
1569
1570                        [[[0., 0., 0., 0.]],
1571
1572                         [[4., 5., 6., 7.]]]]],
1573
1574
1575
1576
1577                      [[[[[0., 0., 0., 0.]],
1578
1579                         [[2., 3., 4., 5.]]],
1580
1581
1582                        [[[1., 2., 3., 4.]],
1583
1584                         [[3., 4., 5., 6.]]],
1585
1586
1587                        [[[0., 0., 0., 0.]],
1588
1589                         [[4., 5., 6., 7.]]]],
1590
1591
1592
1593                       [[[[1., 2., 3., 4.]],
1594
1595                         [[3., 4., 5., 6.]]],
1596
1597
1598                        [[[0., 0., 0., 0.]],
1599
1600                         [[4., 5., 6., 7.]]],
1601
1602
1603                        [[[2., 3., 4., 5.]],
1604
1605                         [[0., 0., 0., 0.]]]],
1606
1607
1608
1609                       [[[[1., 2., 3., 4.]],
1610
1611                         [[0., 0., 0., 0.]]],
1612
1613
1614                        [[[2., 3., 4., 5.]],
1615
1616                         [[4., 5., 6., 7.]]],
1617
1618
1619                        [[[3., 4., 5., 6.]],
1620
1621                         [[0., 0., 0., 0.]]]]]]), device='cuda:0',
1622       size=(2, 3, 2, 3, 4), nnz=3, dtype=torch.float64, layout=torch.sparse_bsr)
1623# _crow_indices
1624tensor([[[0, 3],
1625         [0, 3],
1626         [0, 3]],
1627
1628        [[0, 3],
1629         [0, 3],
1630         [0, 3]]], device='cuda:0', dtype=torch.int32)
1631# _col_indices
1632tensor([[[0, 1, 2],
1633         [0, 1, 2],
1634         [0, 1, 2]],
1635
1636        [[0, 1, 2],
1637         [0, 1, 2],
1638         [0, 1, 2]]], device='cuda:0', dtype=torch.int32)
1639# _values
1640tensor([[[[[[1., 2., 3., 4.]],
1641
1642           [[3., 4., 5., 6.]]],
1643
1644
1645          [[[2., 3., 4., 5.]],
1646
1647           [[0., 0., 0., 0.]]],
1648
1649
1650          [[[0., 0., 0., 0.]],
1651
1652           [[4., 5., 6., 7.]]]],
1653
1654
1655
1656         [[[[1., 2., 3., 4.]],
1657
1658           [[4., 5., 6., 7.]]],
1659
1660
1661          [[[2., 3., 4., 5.]],
1662
1663           [[0., 0., 0., 0.]]],
1664
1665
1666          [[[3., 4., 5., 6.]],
1667
1668           [[0., 0., 0., 0.]]]],
1669
1670
1671
1672         [[[[1., 2., 3., 4.]],
1673
1674           [[2., 3., 4., 5.]]],
1675
1676
1677          [[[0., 0., 0., 0.]],
1678
1679           [[3., 4., 5., 6.]]],
1680
1681
1682          [[[0., 0., 0., 0.]],
1683
1684           [[4., 5., 6., 7.]]]]],
1685
1686
1687
1688
1689        [[[[[0., 0., 0., 0.]],
1690
1691           [[2., 3., 4., 5.]]],
1692
1693
1694          [[[1., 2., 3., 4.]],
1695
1696           [[3., 4., 5., 6.]]],
1697
1698
1699          [[[0., 0., 0., 0.]],
1700
1701           [[4., 5., 6., 7.]]]],
1702
1703
1704
1705         [[[[1., 2., 3., 4.]],
1706
1707           [[3., 4., 5., 6.]]],
1708
1709
1710          [[[0., 0., 0., 0.]],
1711
1712           [[4., 5., 6., 7.]]],
1713
1714
1715          [[[2., 3., 4., 5.]],
1716
1717           [[0., 0., 0., 0.]]]],
1718
1719
1720
1721         [[[[1., 2., 3., 4.]],
1722
1723           [[0., 0., 0., 0.]]],
1724
1725
1726          [[[2., 3., 4., 5.]],
1727
1728           [[4., 5., 6., 7.]]],
1729
1730
1731          [[[3., 4., 5., 6.]],
1732
1733           [[0., 0., 0., 0.]]]]]], device='cuda:0', dtype=torch.float64)
1734
1735########## torch.float64/torch.int32/size=()+(8, 6)+(4, 2) ##########
1736# sparse tensor
1737tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
1738       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
1739       values=tensor([[[[[ 0.,  0.],
1740                         [ 0.,  0.],
1741                         [ 0.,  0.],
1742                         [ 0.,  0.]],
1743
1744                        [[ 1., 11.],
1745                         [ 2., 12.],
1746                         [ 3., 13.],
1747                         [ 4., 14.]],
1748
1749                        [[ 0.,  0.],
1750                         [ 0.,  0.],
1751                         [ 0.,  0.],
1752                         [ 0.,  0.]]],
1753
1754
1755                       [[[ 0.,  0.],
1756                         [ 0.,  0.],
1757                         [ 0.,  0.],
1758                         [ 0.,  0.]],
1759
1760                        [[ 4., 14.],
1761                         [ 5., 15.],
1762                         [ 6., 16.],
1763                         [ 7., 17.]],
1764
1765                        [[ 0.,  0.],
1766                         [ 0.,  0.],
1767                         [ 0.,  0.],
1768                         [ 0.,  0.]]]],
1769
1770
1771
1772                      [[[[ 2., 12.],
1773                         [ 3., 13.],
1774                         [ 4., 14.],
1775                         [ 5., 15.]],
1776
1777                        [[ 0.,  0.],
1778                         [ 0.,  0.],
1779                         [ 0.,  0.],
1780                         [ 0.,  0.]],
1781
1782                        [[ 3., 13.],
1783                         [ 4., 14.],
1784                         [ 5., 15.],
1785                         [ 6., 16.]]],
1786
1787
1788                       [[[ 0.,  0.],
1789                         [ 0.,  0.],
1790                         [ 0.,  0.],
1791                         [ 0.,  0.]],
1792
1793                        [[ 5., 15.],
1794                         [ 6., 16.],
1795                         [ 7., 17.],
1796                         [ 8., 18.]],
1797
1798                        [[ 0.,  0.],
1799                         [ 0.,  0.],
1800                         [ 0.,  0.],
1801                         [ 0.,  0.]]]],
1802
1803
1804
1805                      [[[[ 6., 16.],
1806                         [ 7., 17.],
1807                         [ 8., 18.],
1808                         [ 9., 19.]],
1809
1810                        [[ 7., 17.],
1811                         [ 8., 18.],
1812                         [ 9., 19.],
1813                         [10., 20.]],
1814
1815                        [[ 8., 18.],
1816                         [ 9., 19.],
1817                         [10., 20.],
1818                         [11., 21.]]],
1819
1820
1821                       [[[ 0.,  0.],
1822                         [ 0.,  0.],
1823                         [ 0.,  0.],
1824                         [ 0.,  0.]],
1825
1826                        [[ 0.,  0.],
1827                         [ 0.,  0.],
1828                         [ 0.,  0.],
1829                         [ 0.,  0.]],
1830
1831                        [[ 0.,  0.],
1832                         [ 0.,  0.],
1833                         [ 0.,  0.],
1834                         [ 0.,  0.]]]],
1835
1836
1837
1838                      [[[[ 0.,  0.],
1839                         [ 0.,  0.],
1840                         [ 0.,  0.],
1841                         [ 0.,  0.]],
1842
1843                        [[ 9., 19.],
1844                         [10., 20.],
1845                         [11., 21.],
1846                         [12., 22.]],
1847
1848                        [[ 0.,  0.],
1849                         [ 0.,  0.],
1850                         [ 0.,  0.],
1851                         [ 0.,  0.]]],
1852
1853
1854                       [[[13., 23.],
1855                         [14., 24.],
1856                         [15., 25.],
1857                         [16., 26.]],
1858
1859                        [[ 0.,  0.],
1860                         [ 0.,  0.],
1861                         [ 0.,  0.],
1862                         [ 0.,  0.]],
1863
1864                        [[14., 24.],
1865                         [15., 25.],
1866                         [16., 26.],
1867                         [17., 27.]]]],
1868
1869
1870
1871                      [[[[10., 20.],
1872                         [11., 21.],
1873                         [12., 22.],
1874                         [13., 23.]],
1875
1876                        [[11., 21.],
1877                         [12., 22.],
1878                         [13., 23.],
1879                         [14., 24.]],
1880
1881                        [[12., 22.],
1882                         [13., 23.],
1883                         [14., 24.],
1884                         [15., 25.]]],
1885
1886
1887                       [[[15., 25.],
1888                         [16., 26.],
1889                         [17., 27.],
1890                         [18., 28.]],
1891
1892                        [[16., 26.],
1893                         [17., 27.],
1894                         [18., 28.],
1895                         [19., 29.]],
1896
1897                        [[17., 27.],
1898                         [18., 28.],
1899                         [19., 29.],
1900                         [20., 30.]]]],
1901
1902
1903
1904                      [[[[ 0.,  0.],
1905                         [ 0.,  0.],
1906                         [ 0.,  0.],
1907                         [ 0.,  0.]],
1908
1909                        [[ 0.,  0.],
1910                         [ 0.,  0.],
1911                         [ 0.,  0.],
1912                         [ 0.,  0.]],
1913
1914                        [[ 0.,  0.],
1915                         [ 0.,  0.],
1916                         [ 0.,  0.],
1917                         [ 0.,  0.]]],
1918
1919
1920                       [[[20., 30.],
1921                         [21., 31.],
1922                         [22., 32.],
1923                         [23., 33.]],
1924
1925                        [[21., 31.],
1926                         [22., 32.],
1927                         [23., 33.],
1928                         [24., 34.]],
1929
1930                        [[22., 32.],
1931                         [23., 33.],
1932                         [24., 34.],
1933                         [25., 35.]]]],
1934
1935
1936
1937                      [[[[ 0.,  0.],
1938                         [ 0.,  0.],
1939                         [ 0.,  0.],
1940                         [ 0.,  0.]],
1941
1942                        [[18., 28.],
1943                         [19., 29.],
1944                         [20., 30.],
1945                         [21., 31.]],
1946
1947                        [[19., 29.],
1948                         [20., 30.],
1949                         [21., 31.],
1950                         [22., 32.]]],
1951
1952
1953                       [[[ 0.,  0.],
1954                         [ 0.,  0.],
1955                         [ 0.,  0.],
1956                         [ 0.,  0.]],
1957
1958                        [[23., 33.],
1959                         [24., 34.],
1960                         [25., 35.],
1961                         [26., 36.]],
1962
1963                        [[24., 34.],
1964                         [25., 35.],
1965                         [26., 36.],
1966                         [27., 37.]]]]]), device='cuda:0', size=(8, 6, 4, 2),
1967       nnz=7, dtype=torch.float64, layout=torch.sparse_bsr)
1968# _crow_indices
1969tensor([0, 2, 3, 5, 7], device='cuda:0', dtype=torch.int32)
1970# _col_indices
1971tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0', dtype=torch.int32)
1972# _values
1973tensor([[[[[ 0.,  0.],
1974           [ 0.,  0.],
1975           [ 0.,  0.],
1976           [ 0.,  0.]],
1977
1978          [[ 1., 11.],
1979           [ 2., 12.],
1980           [ 3., 13.],
1981           [ 4., 14.]],
1982
1983          [[ 0.,  0.],
1984           [ 0.,  0.],
1985           [ 0.,  0.],
1986           [ 0.,  0.]]],
1987
1988
1989         [[[ 0.,  0.],
1990           [ 0.,  0.],
1991           [ 0.,  0.],
1992           [ 0.,  0.]],
1993
1994          [[ 4., 14.],
1995           [ 5., 15.],
1996           [ 6., 16.],
1997           [ 7., 17.]],
1998
1999          [[ 0.,  0.],
2000           [ 0.,  0.],
2001           [ 0.,  0.],
2002           [ 0.,  0.]]]],
2003
2004
2005
2006        [[[[ 2., 12.],
2007           [ 3., 13.],
2008           [ 4., 14.],
2009           [ 5., 15.]],
2010
2011          [[ 0.,  0.],
2012           [ 0.,  0.],
2013           [ 0.,  0.],
2014           [ 0.,  0.]],
2015
2016          [[ 3., 13.],
2017           [ 4., 14.],
2018           [ 5., 15.],
2019           [ 6., 16.]]],
2020
2021
2022         [[[ 0.,  0.],
2023           [ 0.,  0.],
2024           [ 0.,  0.],
2025           [ 0.,  0.]],
2026
2027          [[ 5., 15.],
2028           [ 6., 16.],
2029           [ 7., 17.],
2030           [ 8., 18.]],
2031
2032          [[ 0.,  0.],
2033           [ 0.,  0.],
2034           [ 0.,  0.],
2035           [ 0.,  0.]]]],
2036
2037
2038
2039        [[[[ 6., 16.],
2040           [ 7., 17.],
2041           [ 8., 18.],
2042           [ 9., 19.]],
2043
2044          [[ 7., 17.],
2045           [ 8., 18.],
2046           [ 9., 19.],
2047           [10., 20.]],
2048
2049          [[ 8., 18.],
2050           [ 9., 19.],
2051           [10., 20.],
2052           [11., 21.]]],
2053
2054
2055         [[[ 0.,  0.],
2056           [ 0.,  0.],
2057           [ 0.,  0.],
2058           [ 0.,  0.]],
2059
2060          [[ 0.,  0.],
2061           [ 0.,  0.],
2062           [ 0.,  0.],
2063           [ 0.,  0.]],
2064
2065          [[ 0.,  0.],
2066           [ 0.,  0.],
2067           [ 0.,  0.],
2068           [ 0.,  0.]]]],
2069
2070
2071
2072        [[[[ 0.,  0.],
2073           [ 0.,  0.],
2074           [ 0.,  0.],
2075           [ 0.,  0.]],
2076
2077          [[ 9., 19.],
2078           [10., 20.],
2079           [11., 21.],
2080           [12., 22.]],
2081
2082          [[ 0.,  0.],
2083           [ 0.,  0.],
2084           [ 0.,  0.],
2085           [ 0.,  0.]]],
2086
2087
2088         [[[13., 23.],
2089           [14., 24.],
2090           [15., 25.],
2091           [16., 26.]],
2092
2093          [[ 0.,  0.],
2094           [ 0.,  0.],
2095           [ 0.,  0.],
2096           [ 0.,  0.]],
2097
2098          [[14., 24.],
2099           [15., 25.],
2100           [16., 26.],
2101           [17., 27.]]]],
2102
2103
2104
2105        [[[[10., 20.],
2106           [11., 21.],
2107           [12., 22.],
2108           [13., 23.]],
2109
2110          [[11., 21.],
2111           [12., 22.],
2112           [13., 23.],
2113           [14., 24.]],
2114
2115          [[12., 22.],
2116           [13., 23.],
2117           [14., 24.],
2118           [15., 25.]]],
2119
2120
2121         [[[15., 25.],
2122           [16., 26.],
2123           [17., 27.],
2124           [18., 28.]],
2125
2126          [[16., 26.],
2127           [17., 27.],
2128           [18., 28.],
2129           [19., 29.]],
2130
2131          [[17., 27.],
2132           [18., 28.],
2133           [19., 29.],
2134           [20., 30.]]]],
2135
2136
2137
2138        [[[[ 0.,  0.],
2139           [ 0.,  0.],
2140           [ 0.,  0.],
2141           [ 0.,  0.]],
2142
2143          [[ 0.,  0.],
2144           [ 0.,  0.],
2145           [ 0.,  0.],
2146           [ 0.,  0.]],
2147
2148          [[ 0.,  0.],
2149           [ 0.,  0.],
2150           [ 0.,  0.],
2151           [ 0.,  0.]]],
2152
2153
2154         [[[20., 30.],
2155           [21., 31.],
2156           [22., 32.],
2157           [23., 33.]],
2158
2159          [[21., 31.],
2160           [22., 32.],
2161           [23., 33.],
2162           [24., 34.]],
2163
2164          [[22., 32.],
2165           [23., 33.],
2166           [24., 34.],
2167           [25., 35.]]]],
2168
2169
2170
2171        [[[[ 0.,  0.],
2172           [ 0.,  0.],
2173           [ 0.,  0.],
2174           [ 0.,  0.]],
2175
2176          [[18., 28.],
2177           [19., 29.],
2178           [20., 30.],
2179           [21., 31.]],
2180
2181          [[19., 29.],
2182           [20., 30.],
2183           [21., 31.],
2184           [22., 32.]]],
2185
2186
2187         [[[ 0.,  0.],
2188           [ 0.,  0.],
2189           [ 0.,  0.],
2190           [ 0.,  0.]],
2191
2192          [[23., 33.],
2193           [24., 34.],
2194           [25., 35.],
2195           [26., 36.]],
2196
2197          [[24., 34.],
2198           [25., 35.],
2199           [26., 36.],
2200           [27., 37.]]]]], device='cuda:0', dtype=torch.float64)
2201
2202
2203########## torch.float32/torch.int64/size=(2, 3)+(2, 3)+(4,) ##########
2204# sparse tensor
2205tensor(crow_indices=tensor([[[0, 3],
2206                             [0, 3],
2207                             [0, 3]],
2208
2209                            [[0, 3],
2210                             [0, 3],
2211                             [0, 3]]]),
2212       col_indices=tensor([[[0, 1, 2],
2213                            [0, 1, 2],
2214                            [0, 1, 2]],
2215
2216                           [[0, 1, 2],
2217                            [0, 1, 2],
2218                            [0, 1, 2]]]),
2219       values=tensor([[[[[[1., 2., 3., 4.]],
2220
2221                         [[3., 4., 5., 6.]]],
2222
2223
2224                        [[[2., 3., 4., 5.]],
2225
2226                         [[0., 0., 0., 0.]]],
2227
2228
2229                        [[[0., 0., 0., 0.]],
2230
2231                         [[4., 5., 6., 7.]]]],
2232
2233
2234
2235                       [[[[1., 2., 3., 4.]],
2236
2237                         [[4., 5., 6., 7.]]],
2238
2239
2240                        [[[2., 3., 4., 5.]],
2241
2242                         [[0., 0., 0., 0.]]],
2243
2244
2245                        [[[3., 4., 5., 6.]],
2246
2247                         [[0., 0., 0., 0.]]]],
2248
2249
2250
2251                       [[[[1., 2., 3., 4.]],
2252
2253                         [[2., 3., 4., 5.]]],
2254
2255
2256                        [[[0., 0., 0., 0.]],
2257
2258                         [[3., 4., 5., 6.]]],
2259
2260
2261                        [[[0., 0., 0., 0.]],
2262
2263                         [[4., 5., 6., 7.]]]]],
2264
2265
2266
2267
2268                      [[[[[0., 0., 0., 0.]],
2269
2270                         [[2., 3., 4., 5.]]],
2271
2272
2273                        [[[1., 2., 3., 4.]],
2274
2275                         [[3., 4., 5., 6.]]],
2276
2277
2278                        [[[0., 0., 0., 0.]],
2279
2280                         [[4., 5., 6., 7.]]]],
2281
2282
2283
2284                       [[[[1., 2., 3., 4.]],
2285
2286                         [[3., 4., 5., 6.]]],
2287
2288
2289                        [[[0., 0., 0., 0.]],
2290
2291                         [[4., 5., 6., 7.]]],
2292
2293
2294                        [[[2., 3., 4., 5.]],
2295
2296                         [[0., 0., 0., 0.]]]],
2297
2298
2299
2300                       [[[[1., 2., 3., 4.]],
2301
2302                         [[0., 0., 0., 0.]]],
2303
2304
2305                        [[[2., 3., 4., 5.]],
2306
2307                         [[4., 5., 6., 7.]]],
2308
2309
2310                        [[[3., 4., 5., 6.]],
2311
2312                         [[0., 0., 0., 0.]]]]]]), device='cuda:0',
2313       size=(2, 3, 2, 3, 4), nnz=3, layout=torch.sparse_bsr)
2314# _crow_indices
2315tensor([[[0, 3],
2316         [0, 3],
2317         [0, 3]],
2318
2319        [[0, 3],
2320         [0, 3],
2321         [0, 3]]], device='cuda:0')
2322# _col_indices
2323tensor([[[0, 1, 2],
2324         [0, 1, 2],
2325         [0, 1, 2]],
2326
2327        [[0, 1, 2],
2328         [0, 1, 2],
2329         [0, 1, 2]]], device='cuda:0')
2330# _values
2331tensor([[[[[[1., 2., 3., 4.]],
2332
2333           [[3., 4., 5., 6.]]],
2334
2335
2336          [[[2., 3., 4., 5.]],
2337
2338           [[0., 0., 0., 0.]]],
2339
2340
2341          [[[0., 0., 0., 0.]],
2342
2343           [[4., 5., 6., 7.]]]],
2344
2345
2346
2347         [[[[1., 2., 3., 4.]],
2348
2349           [[4., 5., 6., 7.]]],
2350
2351
2352          [[[2., 3., 4., 5.]],
2353
2354           [[0., 0., 0., 0.]]],
2355
2356
2357          [[[3., 4., 5., 6.]],
2358
2359           [[0., 0., 0., 0.]]]],
2360
2361
2362
2363         [[[[1., 2., 3., 4.]],
2364
2365           [[2., 3., 4., 5.]]],
2366
2367
2368          [[[0., 0., 0., 0.]],
2369
2370           [[3., 4., 5., 6.]]],
2371
2372
2373          [[[0., 0., 0., 0.]],
2374
2375           [[4., 5., 6., 7.]]]]],
2376
2377
2378
2379
2380        [[[[[0., 0., 0., 0.]],
2381
2382           [[2., 3., 4., 5.]]],
2383
2384
2385          [[[1., 2., 3., 4.]],
2386
2387           [[3., 4., 5., 6.]]],
2388
2389
2390          [[[0., 0., 0., 0.]],
2391
2392           [[4., 5., 6., 7.]]]],
2393
2394
2395
2396         [[[[1., 2., 3., 4.]],
2397
2398           [[3., 4., 5., 6.]]],
2399
2400
2401          [[[0., 0., 0., 0.]],
2402
2403           [[4., 5., 6., 7.]]],
2404
2405
2406          [[[2., 3., 4., 5.]],
2407
2408           [[0., 0., 0., 0.]]]],
2409
2410
2411
2412         [[[[1., 2., 3., 4.]],
2413
2414           [[0., 0., 0., 0.]]],
2415
2416
2417          [[[2., 3., 4., 5.]],
2418
2419           [[4., 5., 6., 7.]]],
2420
2421
2422          [[[3., 4., 5., 6.]],
2423
2424           [[0., 0., 0., 0.]]]]]], device='cuda:0')
2425
2426########## torch.float32/torch.int64/size=()+(8, 6)+(4, 2) ##########
2427# sparse tensor
2428tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
2429       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
2430       values=tensor([[[[[ 0.,  0.],
2431                         [ 0.,  0.],
2432                         [ 0.,  0.],
2433                         [ 0.,  0.]],
2434
2435                        [[ 1., 11.],
2436                         [ 2., 12.],
2437                         [ 3., 13.],
2438                         [ 4., 14.]],
2439
2440                        [[ 0.,  0.],
2441                         [ 0.,  0.],
2442                         [ 0.,  0.],
2443                         [ 0.,  0.]]],
2444
2445
2446                       [[[ 0.,  0.],
2447                         [ 0.,  0.],
2448                         [ 0.,  0.],
2449                         [ 0.,  0.]],
2450
2451                        [[ 4., 14.],
2452                         [ 5., 15.],
2453                         [ 6., 16.],
2454                         [ 7., 17.]],
2455
2456                        [[ 0.,  0.],
2457                         [ 0.,  0.],
2458                         [ 0.,  0.],
2459                         [ 0.,  0.]]]],
2460
2461
2462
2463                      [[[[ 2., 12.],
2464                         [ 3., 13.],
2465                         [ 4., 14.],
2466                         [ 5., 15.]],
2467
2468                        [[ 0.,  0.],
2469                         [ 0.,  0.],
2470                         [ 0.,  0.],
2471                         [ 0.,  0.]],
2472
2473                        [[ 3., 13.],
2474                         [ 4., 14.],
2475                         [ 5., 15.],
2476                         [ 6., 16.]]],
2477
2478
2479                       [[[ 0.,  0.],
2480                         [ 0.,  0.],
2481                         [ 0.,  0.],
2482                         [ 0.,  0.]],
2483
2484                        [[ 5., 15.],
2485                         [ 6., 16.],
2486                         [ 7., 17.],
2487                         [ 8., 18.]],
2488
2489                        [[ 0.,  0.],
2490                         [ 0.,  0.],
2491                         [ 0.,  0.],
2492                         [ 0.,  0.]]]],
2493
2494
2495
2496                      [[[[ 6., 16.],
2497                         [ 7., 17.],
2498                         [ 8., 18.],
2499                         [ 9., 19.]],
2500
2501                        [[ 7., 17.],
2502                         [ 8., 18.],
2503                         [ 9., 19.],
2504                         [10., 20.]],
2505
2506                        [[ 8., 18.],
2507                         [ 9., 19.],
2508                         [10., 20.],
2509                         [11., 21.]]],
2510
2511
2512                       [[[ 0.,  0.],
2513                         [ 0.,  0.],
2514                         [ 0.,  0.],
2515                         [ 0.,  0.]],
2516
2517                        [[ 0.,  0.],
2518                         [ 0.,  0.],
2519                         [ 0.,  0.],
2520                         [ 0.,  0.]],
2521
2522                        [[ 0.,  0.],
2523                         [ 0.,  0.],
2524                         [ 0.,  0.],
2525                         [ 0.,  0.]]]],
2526
2527
2528
2529                      [[[[ 0.,  0.],
2530                         [ 0.,  0.],
2531                         [ 0.,  0.],
2532                         [ 0.,  0.]],
2533
2534                        [[ 9., 19.],
2535                         [10., 20.],
2536                         [11., 21.],
2537                         [12., 22.]],
2538
2539                        [[ 0.,  0.],
2540                         [ 0.,  0.],
2541                         [ 0.,  0.],
2542                         [ 0.,  0.]]],
2543
2544
2545                       [[[13., 23.],
2546                         [14., 24.],
2547                         [15., 25.],
2548                         [16., 26.]],
2549
2550                        [[ 0.,  0.],
2551                         [ 0.,  0.],
2552                         [ 0.,  0.],
2553                         [ 0.,  0.]],
2554
2555                        [[14., 24.],
2556                         [15., 25.],
2557                         [16., 26.],
2558                         [17., 27.]]]],
2559
2560
2561
2562                      [[[[10., 20.],
2563                         [11., 21.],
2564                         [12., 22.],
2565                         [13., 23.]],
2566
2567                        [[11., 21.],
2568                         [12., 22.],
2569                         [13., 23.],
2570                         [14., 24.]],
2571
2572                        [[12., 22.],
2573                         [13., 23.],
2574                         [14., 24.],
2575                         [15., 25.]]],
2576
2577
2578                       [[[15., 25.],
2579                         [16., 26.],
2580                         [17., 27.],
2581                         [18., 28.]],
2582
2583                        [[16., 26.],
2584                         [17., 27.],
2585                         [18., 28.],
2586                         [19., 29.]],
2587
2588                        [[17., 27.],
2589                         [18., 28.],
2590                         [19., 29.],
2591                         [20., 30.]]]],
2592
2593
2594
2595                      [[[[ 0.,  0.],
2596                         [ 0.,  0.],
2597                         [ 0.,  0.],
2598                         [ 0.,  0.]],
2599
2600                        [[ 0.,  0.],
2601                         [ 0.,  0.],
2602                         [ 0.,  0.],
2603                         [ 0.,  0.]],
2604
2605                        [[ 0.,  0.],
2606                         [ 0.,  0.],
2607                         [ 0.,  0.],
2608                         [ 0.,  0.]]],
2609
2610
2611                       [[[20., 30.],
2612                         [21., 31.],
2613                         [22., 32.],
2614                         [23., 33.]],
2615
2616                        [[21., 31.],
2617                         [22., 32.],
2618                         [23., 33.],
2619                         [24., 34.]],
2620
2621                        [[22., 32.],
2622                         [23., 33.],
2623                         [24., 34.],
2624                         [25., 35.]]]],
2625
2626
2627
2628                      [[[[ 0.,  0.],
2629                         [ 0.,  0.],
2630                         [ 0.,  0.],
2631                         [ 0.,  0.]],
2632
2633                        [[18., 28.],
2634                         [19., 29.],
2635                         [20., 30.],
2636                         [21., 31.]],
2637
2638                        [[19., 29.],
2639                         [20., 30.],
2640                         [21., 31.],
2641                         [22., 32.]]],
2642
2643
2644                       [[[ 0.,  0.],
2645                         [ 0.,  0.],
2646                         [ 0.,  0.],
2647                         [ 0.,  0.]],
2648
2649                        [[23., 33.],
2650                         [24., 34.],
2651                         [25., 35.],
2652                         [26., 36.]],
2653
2654                        [[24., 34.],
2655                         [25., 35.],
2656                         [26., 36.],
2657                         [27., 37.]]]]]), device='cuda:0', size=(8, 6, 4, 2),
2658       nnz=7, layout=torch.sparse_bsr)
2659# _crow_indices
2660tensor([0, 2, 3, 5, 7], device='cuda:0')
2661# _col_indices
2662tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0')
2663# _values
2664tensor([[[[[ 0.,  0.],
2665           [ 0.,  0.],
2666           [ 0.,  0.],
2667           [ 0.,  0.]],
2668
2669          [[ 1., 11.],
2670           [ 2., 12.],
2671           [ 3., 13.],
2672           [ 4., 14.]],
2673
2674          [[ 0.,  0.],
2675           [ 0.,  0.],
2676           [ 0.,  0.],
2677           [ 0.,  0.]]],
2678
2679
2680         [[[ 0.,  0.],
2681           [ 0.,  0.],
2682           [ 0.,  0.],
2683           [ 0.,  0.]],
2684
2685          [[ 4., 14.],
2686           [ 5., 15.],
2687           [ 6., 16.],
2688           [ 7., 17.]],
2689
2690          [[ 0.,  0.],
2691           [ 0.,  0.],
2692           [ 0.,  0.],
2693           [ 0.,  0.]]]],
2694
2695
2696
2697        [[[[ 2., 12.],
2698           [ 3., 13.],
2699           [ 4., 14.],
2700           [ 5., 15.]],
2701
2702          [[ 0.,  0.],
2703           [ 0.,  0.],
2704           [ 0.,  0.],
2705           [ 0.,  0.]],
2706
2707          [[ 3., 13.],
2708           [ 4., 14.],
2709           [ 5., 15.],
2710           [ 6., 16.]]],
2711
2712
2713         [[[ 0.,  0.],
2714           [ 0.,  0.],
2715           [ 0.,  0.],
2716           [ 0.,  0.]],
2717
2718          [[ 5., 15.],
2719           [ 6., 16.],
2720           [ 7., 17.],
2721           [ 8., 18.]],
2722
2723          [[ 0.,  0.],
2724           [ 0.,  0.],
2725           [ 0.,  0.],
2726           [ 0.,  0.]]]],
2727
2728
2729
2730        [[[[ 6., 16.],
2731           [ 7., 17.],
2732           [ 8., 18.],
2733           [ 9., 19.]],
2734
2735          [[ 7., 17.],
2736           [ 8., 18.],
2737           [ 9., 19.],
2738           [10., 20.]],
2739
2740          [[ 8., 18.],
2741           [ 9., 19.],
2742           [10., 20.],
2743           [11., 21.]]],
2744
2745
2746         [[[ 0.,  0.],
2747           [ 0.,  0.],
2748           [ 0.,  0.],
2749           [ 0.,  0.]],
2750
2751          [[ 0.,  0.],
2752           [ 0.,  0.],
2753           [ 0.,  0.],
2754           [ 0.,  0.]],
2755
2756          [[ 0.,  0.],
2757           [ 0.,  0.],
2758           [ 0.,  0.],
2759           [ 0.,  0.]]]],
2760
2761
2762
2763        [[[[ 0.,  0.],
2764           [ 0.,  0.],
2765           [ 0.,  0.],
2766           [ 0.,  0.]],
2767
2768          [[ 9., 19.],
2769           [10., 20.],
2770           [11., 21.],
2771           [12., 22.]],
2772
2773          [[ 0.,  0.],
2774           [ 0.,  0.],
2775           [ 0.,  0.],
2776           [ 0.,  0.]]],
2777
2778
2779         [[[13., 23.],
2780           [14., 24.],
2781           [15., 25.],
2782           [16., 26.]],
2783
2784          [[ 0.,  0.],
2785           [ 0.,  0.],
2786           [ 0.,  0.],
2787           [ 0.,  0.]],
2788
2789          [[14., 24.],
2790           [15., 25.],
2791           [16., 26.],
2792           [17., 27.]]]],
2793
2794
2795
2796        [[[[10., 20.],
2797           [11., 21.],
2798           [12., 22.],
2799           [13., 23.]],
2800
2801          [[11., 21.],
2802           [12., 22.],
2803           [13., 23.],
2804           [14., 24.]],
2805
2806          [[12., 22.],
2807           [13., 23.],
2808           [14., 24.],
2809           [15., 25.]]],
2810
2811
2812         [[[15., 25.],
2813           [16., 26.],
2814           [17., 27.],
2815           [18., 28.]],
2816
2817          [[16., 26.],
2818           [17., 27.],
2819           [18., 28.],
2820           [19., 29.]],
2821
2822          [[17., 27.],
2823           [18., 28.],
2824           [19., 29.],
2825           [20., 30.]]]],
2826
2827
2828
2829        [[[[ 0.,  0.],
2830           [ 0.,  0.],
2831           [ 0.,  0.],
2832           [ 0.,  0.]],
2833
2834          [[ 0.,  0.],
2835           [ 0.,  0.],
2836           [ 0.,  0.],
2837           [ 0.,  0.]],
2838
2839          [[ 0.,  0.],
2840           [ 0.,  0.],
2841           [ 0.,  0.],
2842           [ 0.,  0.]]],
2843
2844
2845         [[[20., 30.],
2846           [21., 31.],
2847           [22., 32.],
2848           [23., 33.]],
2849
2850          [[21., 31.],
2851           [22., 32.],
2852           [23., 33.],
2853           [24., 34.]],
2854
2855          [[22., 32.],
2856           [23., 33.],
2857           [24., 34.],
2858           [25., 35.]]]],
2859
2860
2861
2862        [[[[ 0.,  0.],
2863           [ 0.,  0.],
2864           [ 0.,  0.],
2865           [ 0.,  0.]],
2866
2867          [[18., 28.],
2868           [19., 29.],
2869           [20., 30.],
2870           [21., 31.]],
2871
2872          [[19., 29.],
2873           [20., 30.],
2874           [21., 31.],
2875           [22., 32.]]],
2876
2877
2878         [[[ 0.,  0.],
2879           [ 0.,  0.],
2880           [ 0.,  0.],
2881           [ 0.,  0.]],
2882
2883          [[23., 33.],
2884           [24., 34.],
2885           [25., 35.],
2886           [26., 36.]],
2887
2888          [[24., 34.],
2889           [25., 35.],
2890           [26., 36.],
2891           [27., 37.]]]]], device='cuda:0')
2892
2893
2894########## torch.float64/torch.int64/size=(2, 3)+(2, 3)+(4,) ##########
2895# sparse tensor
2896tensor(crow_indices=tensor([[[0, 3],
2897                             [0, 3],
2898                             [0, 3]],
2899
2900                            [[0, 3],
2901                             [0, 3],
2902                             [0, 3]]]),
2903       col_indices=tensor([[[0, 1, 2],
2904                            [0, 1, 2],
2905                            [0, 1, 2]],
2906
2907                           [[0, 1, 2],
2908                            [0, 1, 2],
2909                            [0, 1, 2]]]),
2910       values=tensor([[[[[[1., 2., 3., 4.]],
2911
2912                         [[3., 4., 5., 6.]]],
2913
2914
2915                        [[[2., 3., 4., 5.]],
2916
2917                         [[0., 0., 0., 0.]]],
2918
2919
2920                        [[[0., 0., 0., 0.]],
2921
2922                         [[4., 5., 6., 7.]]]],
2923
2924
2925
2926                       [[[[1., 2., 3., 4.]],
2927
2928                         [[4., 5., 6., 7.]]],
2929
2930
2931                        [[[2., 3., 4., 5.]],
2932
2933                         [[0., 0., 0., 0.]]],
2934
2935
2936                        [[[3., 4., 5., 6.]],
2937
2938                         [[0., 0., 0., 0.]]]],
2939
2940
2941
2942                       [[[[1., 2., 3., 4.]],
2943
2944                         [[2., 3., 4., 5.]]],
2945
2946
2947                        [[[0., 0., 0., 0.]],
2948
2949                         [[3., 4., 5., 6.]]],
2950
2951
2952                        [[[0., 0., 0., 0.]],
2953
2954                         [[4., 5., 6., 7.]]]]],
2955
2956
2957
2958
2959                      [[[[[0., 0., 0., 0.]],
2960
2961                         [[2., 3., 4., 5.]]],
2962
2963
2964                        [[[1., 2., 3., 4.]],
2965
2966                         [[3., 4., 5., 6.]]],
2967
2968
2969                        [[[0., 0., 0., 0.]],
2970
2971                         [[4., 5., 6., 7.]]]],
2972
2973
2974
2975                       [[[[1., 2., 3., 4.]],
2976
2977                         [[3., 4., 5., 6.]]],
2978
2979
2980                        [[[0., 0., 0., 0.]],
2981
2982                         [[4., 5., 6., 7.]]],
2983
2984
2985                        [[[2., 3., 4., 5.]],
2986
2987                         [[0., 0., 0., 0.]]]],
2988
2989
2990
2991                       [[[[1., 2., 3., 4.]],
2992
2993                         [[0., 0., 0., 0.]]],
2994
2995
2996                        [[[2., 3., 4., 5.]],
2997
2998                         [[4., 5., 6., 7.]]],
2999
3000
3001                        [[[3., 4., 5., 6.]],
3002
3003                         [[0., 0., 0., 0.]]]]]]), device='cuda:0',
3004       size=(2, 3, 2, 3, 4), nnz=3, dtype=torch.float64, layout=torch.sparse_bsr)
3005# _crow_indices
3006tensor([[[0, 3],
3007         [0, 3],
3008         [0, 3]],
3009
3010        [[0, 3],
3011         [0, 3],
3012         [0, 3]]], device='cuda:0')
3013# _col_indices
3014tensor([[[0, 1, 2],
3015         [0, 1, 2],
3016         [0, 1, 2]],
3017
3018        [[0, 1, 2],
3019         [0, 1, 2],
3020         [0, 1, 2]]], device='cuda:0')
3021# _values
3022tensor([[[[[[1., 2., 3., 4.]],
3023
3024           [[3., 4., 5., 6.]]],
3025
3026
3027          [[[2., 3., 4., 5.]],
3028
3029           [[0., 0., 0., 0.]]],
3030
3031
3032          [[[0., 0., 0., 0.]],
3033
3034           [[4., 5., 6., 7.]]]],
3035
3036
3037
3038         [[[[1., 2., 3., 4.]],
3039
3040           [[4., 5., 6., 7.]]],
3041
3042
3043          [[[2., 3., 4., 5.]],
3044
3045           [[0., 0., 0., 0.]]],
3046
3047
3048          [[[3., 4., 5., 6.]],
3049
3050           [[0., 0., 0., 0.]]]],
3051
3052
3053
3054         [[[[1., 2., 3., 4.]],
3055
3056           [[2., 3., 4., 5.]]],
3057
3058
3059          [[[0., 0., 0., 0.]],
3060
3061           [[3., 4., 5., 6.]]],
3062
3063
3064          [[[0., 0., 0., 0.]],
3065
3066           [[4., 5., 6., 7.]]]]],
3067
3068
3069
3070
3071        [[[[[0., 0., 0., 0.]],
3072
3073           [[2., 3., 4., 5.]]],
3074
3075
3076          [[[1., 2., 3., 4.]],
3077
3078           [[3., 4., 5., 6.]]],
3079
3080
3081          [[[0., 0., 0., 0.]],
3082
3083           [[4., 5., 6., 7.]]]],
3084
3085
3086
3087         [[[[1., 2., 3., 4.]],
3088
3089           [[3., 4., 5., 6.]]],
3090
3091
3092          [[[0., 0., 0., 0.]],
3093
3094           [[4., 5., 6., 7.]]],
3095
3096
3097          [[[2., 3., 4., 5.]],
3098
3099           [[0., 0., 0., 0.]]]],
3100
3101
3102
3103         [[[[1., 2., 3., 4.]],
3104
3105           [[0., 0., 0., 0.]]],
3106
3107
3108          [[[2., 3., 4., 5.]],
3109
3110           [[4., 5., 6., 7.]]],
3111
3112
3113          [[[3., 4., 5., 6.]],
3114
3115           [[0., 0., 0., 0.]]]]]], device='cuda:0', dtype=torch.float64)
3116
3117########## torch.float64/torch.int64/size=()+(8, 6)+(4, 2) ##########
3118# sparse tensor
3119tensor(crow_indices=tensor([0, 2, 3, 5, 7]),
3120       col_indices=tensor([0, 1, 0, 0, 1, 0, 1]),
3121       values=tensor([[[[[ 0.,  0.],
3122                         [ 0.,  0.],
3123                         [ 0.,  0.],
3124                         [ 0.,  0.]],
3125
3126                        [[ 1., 11.],
3127                         [ 2., 12.],
3128                         [ 3., 13.],
3129                         [ 4., 14.]],
3130
3131                        [[ 0.,  0.],
3132                         [ 0.,  0.],
3133                         [ 0.,  0.],
3134                         [ 0.,  0.]]],
3135
3136
3137                       [[[ 0.,  0.],
3138                         [ 0.,  0.],
3139                         [ 0.,  0.],
3140                         [ 0.,  0.]],
3141
3142                        [[ 4., 14.],
3143                         [ 5., 15.],
3144                         [ 6., 16.],
3145                         [ 7., 17.]],
3146
3147                        [[ 0.,  0.],
3148                         [ 0.,  0.],
3149                         [ 0.,  0.],
3150                         [ 0.,  0.]]]],
3151
3152
3153
3154                      [[[[ 2., 12.],
3155                         [ 3., 13.],
3156                         [ 4., 14.],
3157                         [ 5., 15.]],
3158
3159                        [[ 0.,  0.],
3160                         [ 0.,  0.],
3161                         [ 0.,  0.],
3162                         [ 0.,  0.]],
3163
3164                        [[ 3., 13.],
3165                         [ 4., 14.],
3166                         [ 5., 15.],
3167                         [ 6., 16.]]],
3168
3169
3170                       [[[ 0.,  0.],
3171                         [ 0.,  0.],
3172                         [ 0.,  0.],
3173                         [ 0.,  0.]],
3174
3175                        [[ 5., 15.],
3176                         [ 6., 16.],
3177                         [ 7., 17.],
3178                         [ 8., 18.]],
3179
3180                        [[ 0.,  0.],
3181                         [ 0.,  0.],
3182                         [ 0.,  0.],
3183                         [ 0.,  0.]]]],
3184
3185
3186
3187                      [[[[ 6., 16.],
3188                         [ 7., 17.],
3189                         [ 8., 18.],
3190                         [ 9., 19.]],
3191
3192                        [[ 7., 17.],
3193                         [ 8., 18.],
3194                         [ 9., 19.],
3195                         [10., 20.]],
3196
3197                        [[ 8., 18.],
3198                         [ 9., 19.],
3199                         [10., 20.],
3200                         [11., 21.]]],
3201
3202
3203                       [[[ 0.,  0.],
3204                         [ 0.,  0.],
3205                         [ 0.,  0.],
3206                         [ 0.,  0.]],
3207
3208                        [[ 0.,  0.],
3209                         [ 0.,  0.],
3210                         [ 0.,  0.],
3211                         [ 0.,  0.]],
3212
3213                        [[ 0.,  0.],
3214                         [ 0.,  0.],
3215                         [ 0.,  0.],
3216                         [ 0.,  0.]]]],
3217
3218
3219
3220                      [[[[ 0.,  0.],
3221                         [ 0.,  0.],
3222                         [ 0.,  0.],
3223                         [ 0.,  0.]],
3224
3225                        [[ 9., 19.],
3226                         [10., 20.],
3227                         [11., 21.],
3228                         [12., 22.]],
3229
3230                        [[ 0.,  0.],
3231                         [ 0.,  0.],
3232                         [ 0.,  0.],
3233                         [ 0.,  0.]]],
3234
3235
3236                       [[[13., 23.],
3237                         [14., 24.],
3238                         [15., 25.],
3239                         [16., 26.]],
3240
3241                        [[ 0.,  0.],
3242                         [ 0.,  0.],
3243                         [ 0.,  0.],
3244                         [ 0.,  0.]],
3245
3246                        [[14., 24.],
3247                         [15., 25.],
3248                         [16., 26.],
3249                         [17., 27.]]]],
3250
3251
3252
3253                      [[[[10., 20.],
3254                         [11., 21.],
3255                         [12., 22.],
3256                         [13., 23.]],
3257
3258                        [[11., 21.],
3259                         [12., 22.],
3260                         [13., 23.],
3261                         [14., 24.]],
3262
3263                        [[12., 22.],
3264                         [13., 23.],
3265                         [14., 24.],
3266                         [15., 25.]]],
3267
3268
3269                       [[[15., 25.],
3270                         [16., 26.],
3271                         [17., 27.],
3272                         [18., 28.]],
3273
3274                        [[16., 26.],
3275                         [17., 27.],
3276                         [18., 28.],
3277                         [19., 29.]],
3278
3279                        [[17., 27.],
3280                         [18., 28.],
3281                         [19., 29.],
3282                         [20., 30.]]]],
3283
3284
3285
3286                      [[[[ 0.,  0.],
3287                         [ 0.,  0.],
3288                         [ 0.,  0.],
3289                         [ 0.,  0.]],
3290
3291                        [[ 0.,  0.],
3292                         [ 0.,  0.],
3293                         [ 0.,  0.],
3294                         [ 0.,  0.]],
3295
3296                        [[ 0.,  0.],
3297                         [ 0.,  0.],
3298                         [ 0.,  0.],
3299                         [ 0.,  0.]]],
3300
3301
3302                       [[[20., 30.],
3303                         [21., 31.],
3304                         [22., 32.],
3305                         [23., 33.]],
3306
3307                        [[21., 31.],
3308                         [22., 32.],
3309                         [23., 33.],
3310                         [24., 34.]],
3311
3312                        [[22., 32.],
3313                         [23., 33.],
3314                         [24., 34.],
3315                         [25., 35.]]]],
3316
3317
3318
3319                      [[[[ 0.,  0.],
3320                         [ 0.,  0.],
3321                         [ 0.,  0.],
3322                         [ 0.,  0.]],
3323
3324                        [[18., 28.],
3325                         [19., 29.],
3326                         [20., 30.],
3327                         [21., 31.]],
3328
3329                        [[19., 29.],
3330                         [20., 30.],
3331                         [21., 31.],
3332                         [22., 32.]]],
3333
3334
3335                       [[[ 0.,  0.],
3336                         [ 0.,  0.],
3337                         [ 0.,  0.],
3338                         [ 0.,  0.]],
3339
3340                        [[23., 33.],
3341                         [24., 34.],
3342                         [25., 35.],
3343                         [26., 36.]],
3344
3345                        [[24., 34.],
3346                         [25., 35.],
3347                         [26., 36.],
3348                         [27., 37.]]]]]), device='cuda:0', size=(8, 6, 4, 2),
3349       nnz=7, dtype=torch.float64, layout=torch.sparse_bsr)
3350# _crow_indices
3351tensor([0, 2, 3, 5, 7], device='cuda:0')
3352# _col_indices
3353tensor([0, 1, 0, 0, 1, 0, 1], device='cuda:0')
3354# _values
3355tensor([[[[[ 0.,  0.],
3356           [ 0.,  0.],
3357           [ 0.,  0.],
3358           [ 0.,  0.]],
3359
3360          [[ 1., 11.],
3361           [ 2., 12.],
3362           [ 3., 13.],
3363           [ 4., 14.]],
3364
3365          [[ 0.,  0.],
3366           [ 0.,  0.],
3367           [ 0.,  0.],
3368           [ 0.,  0.]]],
3369
3370
3371         [[[ 0.,  0.],
3372           [ 0.,  0.],
3373           [ 0.,  0.],
3374           [ 0.,  0.]],
3375
3376          [[ 4., 14.],
3377           [ 5., 15.],
3378           [ 6., 16.],
3379           [ 7., 17.]],
3380
3381          [[ 0.,  0.],
3382           [ 0.,  0.],
3383           [ 0.,  0.],
3384           [ 0.,  0.]]]],
3385
3386
3387
3388        [[[[ 2., 12.],
3389           [ 3., 13.],
3390           [ 4., 14.],
3391           [ 5., 15.]],
3392
3393          [[ 0.,  0.],
3394           [ 0.,  0.],
3395           [ 0.,  0.],
3396           [ 0.,  0.]],
3397
3398          [[ 3., 13.],
3399           [ 4., 14.],
3400           [ 5., 15.],
3401           [ 6., 16.]]],
3402
3403
3404         [[[ 0.,  0.],
3405           [ 0.,  0.],
3406           [ 0.,  0.],
3407           [ 0.,  0.]],
3408
3409          [[ 5., 15.],
3410           [ 6., 16.],
3411           [ 7., 17.],
3412           [ 8., 18.]],
3413
3414          [[ 0.,  0.],
3415           [ 0.,  0.],
3416           [ 0.,  0.],
3417           [ 0.,  0.]]]],
3418
3419
3420
3421        [[[[ 6., 16.],
3422           [ 7., 17.],
3423           [ 8., 18.],
3424           [ 9., 19.]],
3425
3426          [[ 7., 17.],
3427           [ 8., 18.],
3428           [ 9., 19.],
3429           [10., 20.]],
3430
3431          [[ 8., 18.],
3432           [ 9., 19.],
3433           [10., 20.],
3434           [11., 21.]]],
3435
3436
3437         [[[ 0.,  0.],
3438           [ 0.,  0.],
3439           [ 0.,  0.],
3440           [ 0.,  0.]],
3441
3442          [[ 0.,  0.],
3443           [ 0.,  0.],
3444           [ 0.,  0.],
3445           [ 0.,  0.]],
3446
3447          [[ 0.,  0.],
3448           [ 0.,  0.],
3449           [ 0.,  0.],
3450           [ 0.,  0.]]]],
3451
3452
3453
3454        [[[[ 0.,  0.],
3455           [ 0.,  0.],
3456           [ 0.,  0.],
3457           [ 0.,  0.]],
3458
3459          [[ 9., 19.],
3460           [10., 20.],
3461           [11., 21.],
3462           [12., 22.]],
3463
3464          [[ 0.,  0.],
3465           [ 0.,  0.],
3466           [ 0.,  0.],
3467           [ 0.,  0.]]],
3468
3469
3470         [[[13., 23.],
3471           [14., 24.],
3472           [15., 25.],
3473           [16., 26.]],
3474
3475          [[ 0.,  0.],
3476           [ 0.,  0.],
3477           [ 0.,  0.],
3478           [ 0.,  0.]],
3479
3480          [[14., 24.],
3481           [15., 25.],
3482           [16., 26.],
3483           [17., 27.]]]],
3484
3485
3486
3487        [[[[10., 20.],
3488           [11., 21.],
3489           [12., 22.],
3490           [13., 23.]],
3491
3492          [[11., 21.],
3493           [12., 22.],
3494           [13., 23.],
3495           [14., 24.]],
3496
3497          [[12., 22.],
3498           [13., 23.],
3499           [14., 24.],
3500           [15., 25.]]],
3501
3502
3503         [[[15., 25.],
3504           [16., 26.],
3505           [17., 27.],
3506           [18., 28.]],
3507
3508          [[16., 26.],
3509           [17., 27.],
3510           [18., 28.],
3511           [19., 29.]],
3512
3513          [[17., 27.],
3514           [18., 28.],
3515           [19., 29.],
3516           [20., 30.]]]],
3517
3518
3519
3520        [[[[ 0.,  0.],
3521           [ 0.,  0.],
3522           [ 0.,  0.],
3523           [ 0.,  0.]],
3524
3525          [[ 0.,  0.],
3526           [ 0.,  0.],
3527           [ 0.,  0.],
3528           [ 0.,  0.]],
3529
3530          [[ 0.,  0.],
3531           [ 0.,  0.],
3532           [ 0.,  0.],
3533           [ 0.,  0.]]],
3534
3535
3536         [[[20., 30.],
3537           [21., 31.],
3538           [22., 32.],
3539           [23., 33.]],
3540
3541          [[21., 31.],
3542           [22., 32.],
3543           [23., 33.],
3544           [24., 34.]],
3545
3546          [[22., 32.],
3547           [23., 33.],
3548           [24., 34.],
3549           [25., 35.]]]],
3550
3551
3552
3553        [[[[ 0.,  0.],
3554           [ 0.,  0.],
3555           [ 0.,  0.],
3556           [ 0.,  0.]],
3557
3558          [[18., 28.],
3559           [19., 29.],
3560           [20., 30.],
3561           [21., 31.]],
3562
3563          [[19., 29.],
3564           [20., 30.],
3565           [21., 31.],
3566           [22., 32.]]],
3567
3568
3569         [[[ 0.,  0.],
3570           [ 0.,  0.],
3571           [ 0.,  0.],
3572           [ 0.,  0.]],
3573
3574          [[23., 33.],
3575           [24., 34.],
3576           [25., 35.],
3577           [26., 36.]],
3578
3579          [[24., 34.],
3580           [25., 35.],
3581           [26., 36.],
3582           [27., 37.]]]]], device='cuda:0', dtype=torch.float64)
3583
3584