FFmpeg
•All Data Structures Namespaces Files Functions Variables Typedefs Enumerations Enumerator Macros Modules Pages
hevcdsp_mmi.c
Go to the documentation of this file.
1 /*
2  * Copyright (c) 2019 Shiyou Yin (yinshiyou-hf@loongson.cn)
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20 
21 #include "libavcodec/hevc/hevcdec.h"
22 #include "libavcodec/bit_depth_template.c"
23 #include "libavcodec/mips/hevcdsp_mips.h"
24 #include "libavutil/intfloat.h"
25 #include "libavutil/mips/mmiutils.h"
26 
27 #define PUT_HEVC_QPEL_H(w, x_step, src_step, dst_step) \
28 void ff_hevc_put_hevc_qpel_h##w##_8_mmi(int16_t *dst, const uint8_t *_src, \
29  ptrdiff_t _srcstride, \
30  int height, intptr_t mx, \
31  intptr_t my, int width) \
32 { \
33  int x, y; \
34  const pixel *src = (const pixel*)_src - 3; \
35  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
36  double ftmp[15]; \
37  uint64_t rtmp[1]; \
38  const int8_t *filter = ff_hevc_qpel_filters[mx]; \
39  DECLARE_VAR_ALL64; \
40  \
41  x = x_step; \
42  y = height; \
43  __asm__ volatile( \
44  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
45  "li %[rtmp0], 0x08 \n\t" \
46  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
47  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
48  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
49  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
50  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
51  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
52  \
53  "1: \n\t" \
54  "2: \n\t" \
55  MMI_ULDC1(%[ftmp3], %[src], 0x00) \
56  MMI_ULDC1(%[ftmp4], %[src], 0x01) \
57  MMI_ULDC1(%[ftmp5], %[src], 0x02) \
58  MMI_ULDC1(%[ftmp6], %[src], 0x03) \
59  "punpcklbh %[ftmp7], %[ftmp3], %[ftmp0] \n\t" \
60  "punpckhbh %[ftmp8], %[ftmp3], %[ftmp0] \n\t" \
61  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
62  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
63  "paddh %[ftmp3], %[ftmp7], %[ftmp8] \n\t" \
64  "punpcklbh %[ftmp7], %[ftmp4], %[ftmp0] \n\t" \
65  "punpckhbh %[ftmp8], %[ftmp4], %[ftmp0] \n\t" \
66  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
67  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
68  "paddh %[ftmp4], %[ftmp7], %[ftmp8] \n\t" \
69  "punpcklbh %[ftmp7], %[ftmp5], %[ftmp0] \n\t" \
70  "punpckhbh %[ftmp8], %[ftmp5], %[ftmp0] \n\t" \
71  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
72  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
73  "paddh %[ftmp5], %[ftmp7], %[ftmp8] \n\t" \
74  "punpcklbh %[ftmp7], %[ftmp6], %[ftmp0] \n\t" \
75  "punpckhbh %[ftmp8], %[ftmp6], %[ftmp0] \n\t" \
76  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
77  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
78  "paddh %[ftmp6], %[ftmp7], %[ftmp8] \n\t" \
79  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
80  %[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10]) \
81  "paddh %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
82  "paddh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
83  "paddh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
84  MMI_USDC1(%[ftmp3], %[dst], 0x00) \
85  \
86  "daddi %[x], %[x], -0x01 \n\t" \
87  PTR_ADDIU "%[src], %[src], 0x04 \n\t" \
88  PTR_ADDIU "%[dst], %[dst], 0x08 \n\t" \
89  "bnez %[x], 2b \n\t" \
90  \
91  "daddi %[y], %[y], -0x01 \n\t" \
92  "li %[x], " #x_step " \n\t" \
93  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
94  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
95  PTR_ADDU "%[src], %[src], %[stride] \n\t" \
96  PTR_ADDIU "%[dst], %[dst], 0x80 \n\t" \
97  "bnez %[y], 1b \n\t" \
98  : RESTRICT_ASM_ALL64 \
99  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
100  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
101  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
102  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
103  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
104  [ftmp10]"=&f"(ftmp[10]), [rtmp0]"=&r"(rtmp[0]), \
105  [src]"+&r"(src), [dst]"+&r"(dst), [y]"+&r"(y), \
106  [x]"+&r"(x) \
107  : [filter]"r"(filter), [stride]"r"(srcstride) \
108  : "memory" \
109  ); \
110 }
111 
112 PUT_HEVC_QPEL_H(4, 1, -4, -8);
113 PUT_HEVC_QPEL_H(8, 2, -8, -16);
114 PUT_HEVC_QPEL_H(12, 3, -12, -24);
115 PUT_HEVC_QPEL_H(16, 4, -16, -32);
116 PUT_HEVC_QPEL_H(24, 6, -24, -48);
117 PUT_HEVC_QPEL_H(32, 8, -32, -64);
118 PUT_HEVC_QPEL_H(48, 12, -48, -96);
119 PUT_HEVC_QPEL_H(64, 16, -64, -128);
120 
121 #define PUT_HEVC_QPEL_HV(w, x_step, src_step, dst_step) \
122 void ff_hevc_put_hevc_qpel_hv##w##_8_mmi(int16_t *dst, const uint8_t *_src,\
123  ptrdiff_t _srcstride, \
124  int height, intptr_t mx, \
125  intptr_t my, int width) \
126 { \
127  int x, y; \
128  const int8_t *filter; \
129  const pixel *src = (const pixel*)_src; \
130  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
131  int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE]; \
132  int16_t *tmp = tmp_array; \
133  double ftmp[15]; \
134  uint64_t rtmp[1]; \
135  DECLARE_VAR_ALL64; \
136  \
137  src -= (QPEL_EXTRA_BEFORE * srcstride + 3); \
138  filter = ff_hevc_qpel_filters[mx]; \
139  x = x_step; \
140  y = height + QPEL_EXTRA; \
141  __asm__ volatile( \
142  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
143  "li %[rtmp0], 0x08 \n\t" \
144  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
145  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
146  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
147  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
148  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
149  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
150  \
151  "1: \n\t" \
152  "2: \n\t" \
153  MMI_ULDC1(%[ftmp3], %[src], 0x00) \
154  MMI_ULDC1(%[ftmp4], %[src], 0x01) \
155  MMI_ULDC1(%[ftmp5], %[src], 0x02) \
156  MMI_ULDC1(%[ftmp6], %[src], 0x03) \
157  "punpcklbh %[ftmp7], %[ftmp3], %[ftmp0] \n\t" \
158  "punpckhbh %[ftmp8], %[ftmp3], %[ftmp0] \n\t" \
159  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
160  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
161  "paddh %[ftmp3], %[ftmp7], %[ftmp8] \n\t" \
162  "punpcklbh %[ftmp7], %[ftmp4], %[ftmp0] \n\t" \
163  "punpckhbh %[ftmp8], %[ftmp4], %[ftmp0] \n\t" \
164  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
165  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
166  "paddh %[ftmp4], %[ftmp7], %[ftmp8] \n\t" \
167  "punpcklbh %[ftmp7], %[ftmp5], %[ftmp0] \n\t" \
168  "punpckhbh %[ftmp8], %[ftmp5], %[ftmp0] \n\t" \
169  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
170  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
171  "paddh %[ftmp5], %[ftmp7], %[ftmp8] \n\t" \
172  "punpcklbh %[ftmp7], %[ftmp6], %[ftmp0] \n\t" \
173  "punpckhbh %[ftmp8], %[ftmp6], %[ftmp0] \n\t" \
174  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
175  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
176  "paddh %[ftmp6], %[ftmp7], %[ftmp8] \n\t" \
177  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
178  %[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10]) \
179  "paddh %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
180  "paddh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
181  "paddh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
182  MMI_USDC1(%[ftmp3], %[tmp], 0x00) \
183  \
184  "daddi %[x], %[x], -0x01 \n\t" \
185  PTR_ADDIU "%[src], %[src], 0x04 \n\t" \
186  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
187  "bnez %[x], 2b \n\t" \
188  \
189  "daddi %[y], %[y], -0x01 \n\t" \
190  "li %[x], " #x_step " \n\t" \
191  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
192  PTR_ADDIU "%[tmp], %[tmp], " #dst_step " \n\t" \
193  PTR_ADDU "%[src], %[src], %[stride] \n\t" \
194  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
195  "bnez %[y], 1b \n\t" \
196  : RESTRICT_ASM_ALL64 \
197  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
198  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
199  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
200  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
201  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
202  [ftmp10]"=&f"(ftmp[10]), [rtmp0]"=&r"(rtmp[0]), \
203  [src]"+&r"(src), [tmp]"+&r"(tmp), [y]"+&r"(y), \
204  [x]"+&r"(x) \
205  : [filter]"r"(filter), [stride]"r"(srcstride) \
206  : "memory" \
207  ); \
208  \
209  tmp = tmp_array + QPEL_EXTRA_BEFORE * 4 -12; \
210  filter = ff_hevc_qpel_filters[my]; \
211  x = x_step; \
212  y = height; \
213  __asm__ volatile( \
214  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
215  "li %[rtmp0], 0x08 \n\t" \
216  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
217  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
218  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
219  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
220  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
221  "li %[rtmp0], 0x06 \n\t" \
222  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
223  \
224  "1: \n\t" \
225  "2: \n\t" \
226  MMI_ULDC1(%[ftmp3], %[tmp], 0x00) \
227  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
228  MMI_ULDC1(%[ftmp4], %[tmp], 0x00) \
229  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
230  MMI_ULDC1(%[ftmp5], %[tmp], 0x00) \
231  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
232  MMI_ULDC1(%[ftmp6], %[tmp], 0x00) \
233  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
234  MMI_ULDC1(%[ftmp7], %[tmp], 0x00) \
235  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
236  MMI_ULDC1(%[ftmp8], %[tmp], 0x00) \
237  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
238  MMI_ULDC1(%[ftmp9], %[tmp], 0x00) \
239  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
240  MMI_ULDC1(%[ftmp10], %[tmp], 0x00) \
241  PTR_ADDIU "%[tmp], %[tmp], -0x380 \n\t" \
242  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
243  %[ftmp11], %[ftmp12], %[ftmp13], %[ftmp14]) \
244  TRANSPOSE_4H(%[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10], \
245  %[ftmp11], %[ftmp12], %[ftmp13], %[ftmp14]) \
246  "pmaddhw %[ftmp11], %[ftmp3], %[ftmp1] \n\t" \
247  "pmaddhw %[ftmp12], %[ftmp7], %[ftmp2] \n\t" \
248  "pmaddhw %[ftmp13], %[ftmp4], %[ftmp1] \n\t" \
249  "pmaddhw %[ftmp14], %[ftmp8], %[ftmp2] \n\t" \
250  "paddw %[ftmp11], %[ftmp11], %[ftmp12] \n\t" \
251  "paddw %[ftmp13], %[ftmp13], %[ftmp14] \n\t" \
252  TRANSPOSE_2W(%[ftmp11], %[ftmp13], %[ftmp3], %[ftmp4]) \
253  "paddw %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
254  "psraw %[ftmp3], %[ftmp3], %[ftmp0] \n\t" \
255  "pmaddhw %[ftmp11], %[ftmp5], %[ftmp1] \n\t" \
256  "pmaddhw %[ftmp12], %[ftmp9], %[ftmp2] \n\t" \
257  "pmaddhw %[ftmp13], %[ftmp6], %[ftmp1] \n\t" \
258  "pmaddhw %[ftmp14], %[ftmp10], %[ftmp2] \n\t" \
259  "paddw %[ftmp11], %[ftmp11], %[ftmp12] \n\t" \
260  "paddw %[ftmp13], %[ftmp13], %[ftmp14] \n\t" \
261  TRANSPOSE_2W(%[ftmp11], %[ftmp13], %[ftmp5], %[ftmp6]) \
262  "paddw %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
263  "psraw %[ftmp5], %[ftmp5], %[ftmp0] \n\t" \
264  "packsswh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
265  MMI_USDC1(%[ftmp3], %[dst], 0x00) \
266  \
267  "daddi %[x], %[x], -0x01 \n\t" \
268  PTR_ADDIU "%[dst], %[dst], 0x08 \n\t" \
269  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
270  "bnez %[x], 2b \n\t" \
271  \
272  "daddi %[y], %[y], -0x01 \n\t" \
273  "li %[x], " #x_step " \n\t" \
274  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
275  PTR_ADDIU "%[tmp], %[tmp], " #dst_step " \n\t" \
276  PTR_ADDIU "%[dst], %[dst], 0x80 \n\t" \
277  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
278  "bnez %[y], 1b \n\t" \
279  : RESTRICT_ASM_ALL64 \
280  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
281  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
282  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
283  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
284  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
285  [ftmp10]"=&f"(ftmp[10]), [ftmp11]"=&f"(ftmp[11]), \
286  [ftmp12]"=&f"(ftmp[12]), [ftmp13]"=&f"(ftmp[13]), \
287  [ftmp14]"=&f"(ftmp[14]), [rtmp0]"=&r"(rtmp[0]), \
288  [dst]"+&r"(dst), [tmp]"+&r"(tmp), [y]"+&r"(y), \
289  [x]"+&r"(x) \
290  : [filter]"r"(filter), [stride]"r"(srcstride) \
291  : "memory" \
292  ); \
293 }
294 
295 PUT_HEVC_QPEL_HV(4, 1, -4, -8);
296 PUT_HEVC_QPEL_HV(8, 2, -8, -16);
297 PUT_HEVC_QPEL_HV(12, 3, -12, -24);
298 PUT_HEVC_QPEL_HV(16, 4, -16, -32);
299 PUT_HEVC_QPEL_HV(24, 6, -24, -48);
300 PUT_HEVC_QPEL_HV(32, 8, -32, -64);
301 PUT_HEVC_QPEL_HV(48, 12, -48, -96);
302 PUT_HEVC_QPEL_HV(64, 16, -64, -128);
303 
304 #define PUT_HEVC_QPEL_BI_H(w, x_step, src_step, src2_step, dst_step) \
305 void ff_hevc_put_hevc_qpel_bi_h##w##_8_mmi(uint8_t *_dst, \
306  ptrdiff_t _dststride, \
307  const uint8_t *_src, \
308  ptrdiff_t _srcstride, \
309  const int16_t *src2, int height, \
310  intptr_t mx, intptr_t my, \
311  int width) \
312 { \
313  int x, y; \
314  const pixel *src = (const pixel*)_src - 3; \
315  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
316  pixel *dst = (pixel *)_dst; \
317  ptrdiff_t dststride = _dststride / sizeof(pixel); \
318  const int8_t *filter = ff_hevc_qpel_filters[mx]; \
319  double ftmp[20]; \
320  uint64_t rtmp[1]; \
321  union av_intfloat64 shift; \
322  union av_intfloat64 offset; \
323  DECLARE_VAR_ALL64; \
324  DECLARE_VAR_LOW32; \
325  shift.i = 7; \
326  offset.i = 64; \
327  \
328  x = width >> 2; \
329  y = height; \
330  __asm__ volatile( \
331  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
332  "li %[rtmp0], 0x08 \n\t" \
333  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
334  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
335  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
336  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
337  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
338  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
339  "punpcklhw %[offset], %[offset], %[offset] \n\t" \
340  "punpcklwd %[offset], %[offset], %[offset] \n\t" \
341  \
342  "1: \n\t" \
343  "li %[x], " #x_step " \n\t" \
344  "2: \n\t" \
345  MMI_ULDC1(%[ftmp3], %[src], 0x00) \
346  MMI_ULDC1(%[ftmp4], %[src], 0x01) \
347  MMI_ULDC1(%[ftmp5], %[src], 0x02) \
348  MMI_ULDC1(%[ftmp6], %[src], 0x03) \
349  "punpcklbh %[ftmp7], %[ftmp3], %[ftmp0] \n\t" \
350  "punpckhbh %[ftmp8], %[ftmp3], %[ftmp0] \n\t" \
351  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
352  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
353  "paddh %[ftmp3], %[ftmp7], %[ftmp8] \n\t" \
354  "punpcklbh %[ftmp7], %[ftmp4], %[ftmp0] \n\t" \
355  "punpckhbh %[ftmp8], %[ftmp4], %[ftmp0] \n\t" \
356  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
357  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
358  "paddh %[ftmp4], %[ftmp7], %[ftmp8] \n\t" \
359  "punpcklbh %[ftmp7], %[ftmp5], %[ftmp0] \n\t" \
360  "punpckhbh %[ftmp8], %[ftmp5], %[ftmp0] \n\t" \
361  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
362  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
363  "paddh %[ftmp5], %[ftmp7], %[ftmp8] \n\t" \
364  "punpcklbh %[ftmp7], %[ftmp6], %[ftmp0] \n\t" \
365  "punpckhbh %[ftmp8], %[ftmp6], %[ftmp0] \n\t" \
366  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
367  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
368  "paddh %[ftmp6], %[ftmp7], %[ftmp8] \n\t" \
369  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
370  %[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10]) \
371  "paddh %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
372  "paddh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
373  "paddh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
374  "paddh %[ftmp3], %[ftmp3], %[offset] \n\t" \
375  MMI_ULDC1(%[ftmp4], %[src2], 0x00) \
376  "li %[rtmp0], 0x10 \n\t" \
377  "dmtc1 %[rtmp0], %[ftmp8] \n\t" \
378  "punpcklhw %[ftmp5], %[ftmp0], %[ftmp3] \n\t" \
379  "punpckhhw %[ftmp6], %[ftmp0], %[ftmp3] \n\t" \
380  "punpckhhw %[ftmp3], %[ftmp0], %[ftmp4] \n\t" \
381  "punpcklhw %[ftmp4], %[ftmp0], %[ftmp4] \n\t" \
382  "psraw %[ftmp5], %[ftmp5], %[ftmp8] \n\t" \
383  "psraw %[ftmp6], %[ftmp6], %[ftmp8] \n\t" \
384  "psraw %[ftmp3], %[ftmp3], %[ftmp8] \n\t" \
385  "psraw %[ftmp4], %[ftmp4], %[ftmp8] \n\t" \
386  "paddw %[ftmp5], %[ftmp5], %[ftmp4] \n\t" \
387  "paddw %[ftmp6], %[ftmp6], %[ftmp3] \n\t" \
388  "psraw %[ftmp5], %[ftmp5], %[shift] \n\t" \
389  "psraw %[ftmp6], %[ftmp6], %[shift] \n\t" \
390  "packsswh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
391  "pcmpgth %[ftmp7], %[ftmp5], %[ftmp0] \n\t" \
392  "pand %[ftmp3], %[ftmp5], %[ftmp7] \n\t" \
393  "packushb %[ftmp3], %[ftmp3], %[ftmp3] \n\t" \
394  MMI_USWC1(%[ftmp3], %[dst], 0x00) \
395  \
396  "daddi %[x], %[x], -0x01 \n\t" \
397  PTR_ADDIU "%[src], %[src], 0x04 \n\t" \
398  PTR_ADDIU "%[dst], %[dst], 0x04 \n\t" \
399  PTR_ADDIU "%[src2], %[src2], 0x08 \n\t" \
400  "bnez %[x], 2b \n\t" \
401  \
402  "daddi %[y], %[y], -0x01 \n\t" \
403  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
404  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
405  PTR_ADDIU "%[src2], %[src2], " #src2_step " \n\t" \
406  PTR_ADDU "%[src], %[src], %[src_stride] \n\t" \
407  PTR_ADDU "%[dst], %[dst], %[dst_stride] \n\t" \
408  PTR_ADDIU "%[src2], %[src2], 0x80 \n\t" \
409  "bnez %[y], 1b \n\t" \
410  : RESTRICT_ASM_ALL64 RESTRICT_ASM_LOW32 \
411  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
412  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
413  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
414  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
415  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
416  [ftmp10]"=&f"(ftmp[10]), [ftmp11]"=&f"(ftmp[11]), \
417  [ftmp12]"=&f"(ftmp[12]), [src2]"+&r"(src2), \
418  [dst]"+&r"(dst), [src]"+&r"(src), [y]"+&r"(y), [x]"=&r"(x), \
419  [offset]"+&f"(offset.f), [rtmp0]"=&r"(rtmp[0]) \
420  : [src_stride]"r"(srcstride), [dst_stride]"r"(dststride), \
421  [filter]"r"(filter), [shift]"f"(shift.f) \
422  : "memory" \
423  ); \
424 }
425 
426 PUT_HEVC_QPEL_BI_H(4, 1, -4, -8, -4);
427 PUT_HEVC_QPEL_BI_H(8, 2, -8, -16, -8);
428 PUT_HEVC_QPEL_BI_H(12, 3, -12, -24, -12);
429 PUT_HEVC_QPEL_BI_H(16, 4, -16, -32, -16);
430 PUT_HEVC_QPEL_BI_H(24, 6, -24, -48, -24);
431 PUT_HEVC_QPEL_BI_H(32, 8, -32, -64, -32);
432 PUT_HEVC_QPEL_BI_H(48, 12, -48, -96, -48);
433 PUT_HEVC_QPEL_BI_H(64, 16, -64, -128, -64);
434 
435 #define PUT_HEVC_QPEL_BI_HV(w, x_step, src_step, src2_step, dst_step) \
436 void ff_hevc_put_hevc_qpel_bi_hv##w##_8_mmi(uint8_t *_dst, \
437  ptrdiff_t _dststride, \
438  const uint8_t *_src, \
439  ptrdiff_t _srcstride, \
440  const int16_t *src2, int height, \
441  intptr_t mx, intptr_t my, \
442  int width) \
443 { \
444  int x, y; \
445  const int8_t *filter; \
446  pixel *src = (pixel*)_src; \
447  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
448  pixel *dst = (pixel *)_dst; \
449  ptrdiff_t dststride = _dststride / sizeof(pixel); \
450  int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE]; \
451  int16_t *tmp = tmp_array; \
452  double ftmp[20]; \
453  uint64_t rtmp[1]; \
454  union av_intfloat64 shift; \
455  union av_intfloat64 offset; \
456  DECLARE_VAR_ALL64; \
457  DECLARE_VAR_LOW32; \
458  shift.i = 7; \
459  offset.i = 64; \
460  \
461  src -= (QPEL_EXTRA_BEFORE * srcstride + 3); \
462  filter = ff_hevc_qpel_filters[mx]; \
463  x = width >> 2; \
464  y = height + QPEL_EXTRA; \
465  __asm__ volatile( \
466  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
467  "li %[rtmp0], 0x08 \n\t" \
468  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
469  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
470  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
471  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
472  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
473  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
474  \
475  "1: \n\t" \
476  "2: \n\t" \
477  MMI_ULDC1(%[ftmp3], %[src], 0x00) \
478  MMI_ULDC1(%[ftmp4], %[src], 0x01) \
479  MMI_ULDC1(%[ftmp5], %[src], 0x02) \
480  MMI_ULDC1(%[ftmp6], %[src], 0x03) \
481  "punpcklbh %[ftmp7], %[ftmp3], %[ftmp0] \n\t" \
482  "punpckhbh %[ftmp8], %[ftmp3], %[ftmp0] \n\t" \
483  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
484  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
485  "paddh %[ftmp3], %[ftmp7], %[ftmp8] \n\t" \
486  "punpcklbh %[ftmp7], %[ftmp4], %[ftmp0] \n\t" \
487  "punpckhbh %[ftmp8], %[ftmp4], %[ftmp0] \n\t" \
488  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
489  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
490  "paddh %[ftmp4], %[ftmp7], %[ftmp8] \n\t" \
491  "punpcklbh %[ftmp7], %[ftmp5], %[ftmp0] \n\t" \
492  "punpckhbh %[ftmp8], %[ftmp5], %[ftmp0] \n\t" \
493  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
494  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
495  "paddh %[ftmp5], %[ftmp7], %[ftmp8] \n\t" \
496  "punpcklbh %[ftmp7], %[ftmp6], %[ftmp0] \n\t" \
497  "punpckhbh %[ftmp8], %[ftmp6], %[ftmp0] \n\t" \
498  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
499  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
500  "paddh %[ftmp6], %[ftmp7], %[ftmp8] \n\t" \
501  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
502  %[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10]) \
503  "paddh %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
504  "paddh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
505  "paddh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
506  MMI_USDC1(%[ftmp3], %[tmp], 0x00) \
507  \
508  "daddi %[x], %[x], -0x01 \n\t" \
509  PTR_ADDIU "%[src], %[src], 0x04 \n\t" \
510  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
511  "bnez %[x], 2b \n\t" \
512  \
513  "daddi %[y], %[y], -0x01 \n\t" \
514  "li %[x], " #x_step " \n\t" \
515  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
516  PTR_ADDIU "%[tmp], %[tmp], " #src2_step " \n\t" \
517  PTR_ADDU "%[src], %[src], %[stride] \n\t" \
518  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
519  "bnez %[y], 1b \n\t" \
520  : RESTRICT_ASM_ALL64 \
521  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
522  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
523  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
524  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
525  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
526  [ftmp10]"=&f"(ftmp[10]), [rtmp0]"=&r"(rtmp[0]), \
527  [src]"+&r"(src), [tmp]"+&r"(tmp), [y]"+&r"(y), \
528  [x]"+&r"(x) \
529  : [filter]"r"(filter), [stride]"r"(srcstride) \
530  : "memory" \
531  ); \
532  \
533  tmp = tmp_array; \
534  filter = ff_hevc_qpel_filters[my]; \
535  x = width >> 2; \
536  y = height; \
537  __asm__ volatile( \
538  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
539  "li %[rtmp0], 0x08 \n\t" \
540  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
541  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
542  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
543  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
544  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
545  "li %[rtmp0], 0x06 \n\t" \
546  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
547  "punpcklwd %[offset], %[offset], %[offset] \n\t" \
548  \
549  "1: \n\t" \
550  "li %[x], " #x_step " \n\t" \
551  "2: \n\t" \
552  MMI_ULDC1(%[ftmp3], %[tmp], 0x00) \
553  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
554  MMI_ULDC1(%[ftmp4], %[tmp], 0x00) \
555  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
556  MMI_ULDC1(%[ftmp5], %[tmp], 0x00) \
557  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
558  MMI_ULDC1(%[ftmp6], %[tmp], 0x00) \
559  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
560  MMI_ULDC1(%[ftmp7], %[tmp], 0x00) \
561  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
562  MMI_ULDC1(%[ftmp8], %[tmp], 0x00) \
563  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
564  MMI_ULDC1(%[ftmp9], %[tmp], 0x00) \
565  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
566  MMI_ULDC1(%[ftmp10], %[tmp], 0x00) \
567  PTR_ADDIU "%[tmp], %[tmp], -0x380 \n\t" \
568  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
569  %[ftmp11], %[ftmp12], %[ftmp13], %[ftmp14]) \
570  TRANSPOSE_4H(%[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10], \
571  %[ftmp11], %[ftmp12], %[ftmp13], %[ftmp14]) \
572  "pmaddhw %[ftmp11], %[ftmp3], %[ftmp1] \n\t" \
573  "pmaddhw %[ftmp12], %[ftmp7], %[ftmp2] \n\t" \
574  "pmaddhw %[ftmp13], %[ftmp4], %[ftmp1] \n\t" \
575  "pmaddhw %[ftmp14], %[ftmp8], %[ftmp2] \n\t" \
576  "paddw %[ftmp11], %[ftmp11], %[ftmp12] \n\t" \
577  "paddw %[ftmp13], %[ftmp13], %[ftmp14] \n\t" \
578  TRANSPOSE_2W(%[ftmp11], %[ftmp13], %[ftmp3], %[ftmp4]) \
579  "paddw %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
580  "psraw %[ftmp3], %[ftmp3], %[ftmp0] \n\t" \
581  "pmaddhw %[ftmp11], %[ftmp5], %[ftmp1] \n\t" \
582  "pmaddhw %[ftmp12], %[ftmp9], %[ftmp2] \n\t" \
583  "pmaddhw %[ftmp13], %[ftmp6], %[ftmp1] \n\t" \
584  "pmaddhw %[ftmp14], %[ftmp10], %[ftmp2] \n\t" \
585  "paddw %[ftmp11], %[ftmp11], %[ftmp12] \n\t" \
586  "paddw %[ftmp13], %[ftmp13], %[ftmp14] \n\t" \
587  TRANSPOSE_2W(%[ftmp11], %[ftmp13], %[ftmp5], %[ftmp6]) \
588  "paddw %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
589  "psraw %[ftmp5], %[ftmp5], %[ftmp0] \n\t" \
590  "packsswh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
591  MMI_ULDC1(%[ftmp4], %[src2], 0x00) \
592  "pxor %[ftmp7], %[ftmp7], %[ftmp7] \n\t" \
593  "li %[rtmp0], 0x10 \n\t" \
594  "dmtc1 %[rtmp0], %[ftmp8] \n\t" \
595  "punpcklhw %[ftmp5], %[ftmp7], %[ftmp3] \n\t" \
596  "punpckhhw %[ftmp6], %[ftmp7], %[ftmp3] \n\t" \
597  "punpckhhw %[ftmp3], %[ftmp7], %[ftmp4] \n\t" \
598  "punpcklhw %[ftmp4], %[ftmp7], %[ftmp4] \n\t" \
599  "psraw %[ftmp5], %[ftmp5], %[ftmp8] \n\t" \
600  "psraw %[ftmp6], %[ftmp6], %[ftmp8] \n\t" \
601  "psraw %[ftmp3], %[ftmp3], %[ftmp8] \n\t" \
602  "psraw %[ftmp4], %[ftmp4], %[ftmp8] \n\t" \
603  "paddw %[ftmp5], %[ftmp5], %[ftmp4] \n\t" \
604  "paddw %[ftmp6], %[ftmp6], %[ftmp3] \n\t" \
605  "paddw %[ftmp5], %[ftmp5], %[offset] \n\t" \
606  "paddw %[ftmp6], %[ftmp6], %[offset] \n\t" \
607  "psraw %[ftmp5], %[ftmp5], %[shift] \n\t" \
608  "psraw %[ftmp6], %[ftmp6], %[shift] \n\t" \
609  "packsswh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
610  "pcmpgth %[ftmp7], %[ftmp5], %[ftmp7] \n\t" \
611  "pand %[ftmp3], %[ftmp5], %[ftmp7] \n\t" \
612  "packushb %[ftmp3], %[ftmp3], %[ftmp3] \n\t" \
613  MMI_USWC1(%[ftmp3], %[dst], 0x00) \
614  \
615  "daddi %[x], %[x], -0x01 \n\t" \
616  PTR_ADDIU "%[src2], %[src2], 0x08 \n\t" \
617  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
618  PTR_ADDIU "%[dst], %[dst], 0x04 \n\t" \
619  "bnez %[x], 2b \n\t" \
620  \
621  "daddi %[y], %[y], -0x01 \n\t" \
622  PTR_ADDIU "%[src2], %[src2], " #src2_step " \n\t" \
623  PTR_ADDIU "%[tmp], %[tmp], " #src2_step " \n\t" \
624  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
625  PTR_ADDIU "%[src2], %[src2], 0x80 \n\t" \
626  PTR_ADDU "%[dst], %[dst], %[stride] \n\t" \
627  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
628  "bnez %[y], 1b \n\t" \
629  : RESTRICT_ASM_ALL64 RESTRICT_ASM_LOW32 \
630  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
631  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
632  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
633  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
634  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
635  [ftmp10]"=&f"(ftmp[10]), [ftmp11]"=&f"(ftmp[11]), \
636  [ftmp12]"=&f"(ftmp[12]), [ftmp13]"=&f"(ftmp[13]), \
637  [ftmp14]"=&f"(ftmp[14]), [src2]"+&r"(src2), \
638  [dst]"+&r"(dst), [tmp]"+&r"(tmp), [y]"+&r"(y), [x]"=&r"(x), \
639  [offset]"+&f"(offset.f), [rtmp0]"=&r"(rtmp[0]) \
640  : [filter]"r"(filter), [stride]"r"(dststride), \
641  [shift]"f"(shift.f) \
642  : "memory" \
643  ); \
644 }
645 
646 PUT_HEVC_QPEL_BI_HV(4, 1, -4, -8, -4);
647 PUT_HEVC_QPEL_BI_HV(8, 2, -8, -16, -8);
648 PUT_HEVC_QPEL_BI_HV(12, 3, -12, -24, -12);
649 PUT_HEVC_QPEL_BI_HV(16, 4, -16, -32, -16);
650 PUT_HEVC_QPEL_BI_HV(24, 6, -24, -48, -24);
651 PUT_HEVC_QPEL_BI_HV(32, 8, -32, -64, -32);
652 PUT_HEVC_QPEL_BI_HV(48, 12, -48, -96, -48);
653 PUT_HEVC_QPEL_BI_HV(64, 16, -64, -128, -64);
654 
655 #define PUT_HEVC_EPEL_BI_HV(w, x_step, src_step, src2_step, dst_step) \
656 void ff_hevc_put_hevc_epel_bi_hv##w##_8_mmi(uint8_t *_dst, \
657  ptrdiff_t _dststride, \
658  const uint8_t *_src, \
659  ptrdiff_t _srcstride, \
660  const int16_t *src2, int height, \
661  intptr_t mx, intptr_t my, \
662  int width) \
663 { \
664  int x, y; \
665  pixel *src = (pixel *)_src; \
666  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
667  pixel *dst = (pixel *)_dst; \
668  ptrdiff_t dststride = _dststride / sizeof(pixel); \
669  const int8_t *filter = ff_hevc_epel_filters[mx]; \
670  int16_t tmp_array[(MAX_PB_SIZE + EPEL_EXTRA) * MAX_PB_SIZE]; \
671  int16_t *tmp = tmp_array; \
672  double ftmp[12]; \
673  uint64_t rtmp[1]; \
674  union av_intfloat64 shift; \
675  union av_intfloat64 offset; \
676  DECLARE_VAR_ALL64; \
677  DECLARE_VAR_LOW32; \
678  shift.i = 7; \
679  offset.i = 64; \
680  \
681  src -= (EPEL_EXTRA_BEFORE * srcstride + 1); \
682  x = width >> 2; \
683  y = height + EPEL_EXTRA; \
684  __asm__ volatile( \
685  MMI_LWC1(%[ftmp1], %[filter], 0x00) \
686  "li %[rtmp0], 0x08 \n\t" \
687  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
688  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
689  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
690  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
691  \
692  "1: \n\t" \
693  "2: \n\t" \
694  MMI_ULWC1(%[ftmp2], %[src], 0x00) \
695  MMI_ULWC1(%[ftmp3], %[src], 0x01) \
696  MMI_ULWC1(%[ftmp4], %[src], 0x02) \
697  MMI_ULWC1(%[ftmp5], %[src], 0x03) \
698  "punpcklbh %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
699  "pmullh %[ftmp2], %[ftmp2], %[ftmp1] \n\t" \
700  "punpcklbh %[ftmp3], %[ftmp3], %[ftmp0] \n\t" \
701  "pmullh %[ftmp3], %[ftmp3], %[ftmp1] \n\t" \
702  "punpcklbh %[ftmp4], %[ftmp4], %[ftmp0] \n\t" \
703  "pmullh %[ftmp4], %[ftmp4], %[ftmp1] \n\t" \
704  "punpcklbh %[ftmp5], %[ftmp5], %[ftmp0] \n\t" \
705  "pmullh %[ftmp5], %[ftmp5], %[ftmp1] \n\t" \
706  TRANSPOSE_4H(%[ftmp2], %[ftmp3], %[ftmp4], %[ftmp5], \
707  %[ftmp6], %[ftmp7], %[ftmp8], %[ftmp9]) \
708  "paddh %[ftmp2], %[ftmp2], %[ftmp3] \n\t" \
709  "paddh %[ftmp4], %[ftmp4], %[ftmp5] \n\t" \
710  "paddh %[ftmp2], %[ftmp2], %[ftmp4] \n\t" \
711  MMI_USDC1(%[ftmp2], %[tmp], 0x00) \
712  \
713  "daddi %[x], %[x], -0x01 \n\t" \
714  PTR_ADDIU "%[src], %[src], 0x04 \n\t" \
715  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
716  "bnez %[x], 2b \n\t" \
717  \
718  "daddi %[y], %[y], -0x01 \n\t" \
719  "li %[x], " #x_step " \n\t" \
720  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
721  PTR_ADDIU "%[tmp], %[tmp], " #src2_step " \n\t" \
722  PTR_ADDU "%[src], %[src], %[stride] \n\t" \
723  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
724  "bnez %[y], 1b \n\t" \
725  : RESTRICT_ASM_ALL64 \
726  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
727  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
728  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
729  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
730  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
731  [rtmp0]"=&r"(rtmp[0]), \
732  [src]"+&r"(src), [tmp]"+&r"(tmp), [y]"+&r"(y), \
733  [x]"+&r"(x) \
734  : [filter]"r"(filter), [stride]"r"(srcstride) \
735  : "memory" \
736  ); \
737  \
738  tmp = tmp_array; \
739  filter = ff_hevc_epel_filters[my]; \
740  x = width >> 2; \
741  y = height; \
742  __asm__ volatile( \
743  MMI_LWC1(%[ftmp1], %[filter], 0x00) \
744  "li %[rtmp0], 0x08 \n\t" \
745  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
746  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
747  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
748  "li %[rtmp0], 0x06 \n\t" \
749  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
750  "punpcklwd %[offset], %[offset], %[offset] \n\t" \
751  "pxor %[ftmp2], %[ftmp2], %[ftmp2] \n\t" \
752  \
753  "1: \n\t" \
754  "li %[x], " #x_step " \n\t" \
755  "2: \n\t" \
756  MMI_ULDC1(%[ftmp3], %[tmp], 0x00) \
757  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
758  MMI_ULDC1(%[ftmp4], %[tmp], 0x00) \
759  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
760  MMI_ULDC1(%[ftmp5], %[tmp], 0x00) \
761  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
762  MMI_ULDC1(%[ftmp6], %[tmp], 0x00) \
763  PTR_ADDIU "%[tmp], %[tmp], -0x180 \n\t" \
764  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
765  %[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10]) \
766  "pmaddhw %[ftmp7], %[ftmp3], %[ftmp1] \n\t" \
767  "pmaddhw %[ftmp8], %[ftmp4], %[ftmp1] \n\t" \
768  TRANSPOSE_2W(%[ftmp7], %[ftmp8], %[ftmp3], %[ftmp4]) \
769  "paddw %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
770  "psraw %[ftmp3], %[ftmp3], %[ftmp0] \n\t" \
771  "pmaddhw %[ftmp7], %[ftmp5], %[ftmp1] \n\t" \
772  "pmaddhw %[ftmp8], %[ftmp6], %[ftmp1] \n\t" \
773  TRANSPOSE_2W(%[ftmp7], %[ftmp8], %[ftmp5], %[ftmp6]) \
774  "paddw %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
775  "psraw %[ftmp5], %[ftmp5], %[ftmp0] \n\t" \
776  "packsswh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
777  MMI_ULDC1(%[ftmp4], %[src2], 0x00) \
778  "li %[rtmp0], 0x10 \n\t" \
779  "dmtc1 %[rtmp0], %[ftmp8] \n\t" \
780  "punpcklhw %[ftmp5], %[ftmp2], %[ftmp3] \n\t" \
781  "punpckhhw %[ftmp6], %[ftmp2], %[ftmp3] \n\t" \
782  "punpckhhw %[ftmp3], %[ftmp2], %[ftmp4] \n\t" \
783  "punpcklhw %[ftmp4], %[ftmp2], %[ftmp4] \n\t" \
784  "psraw %[ftmp5], %[ftmp5], %[ftmp8] \n\t" \
785  "psraw %[ftmp6], %[ftmp6], %[ftmp8] \n\t" \
786  "psraw %[ftmp3], %[ftmp3], %[ftmp8] \n\t" \
787  "psraw %[ftmp4], %[ftmp4], %[ftmp8] \n\t" \
788  "paddw %[ftmp5], %[ftmp5], %[ftmp4] \n\t" \
789  "paddw %[ftmp6], %[ftmp6], %[ftmp3] \n\t" \
790  "paddw %[ftmp5], %[ftmp5], %[offset] \n\t" \
791  "paddw %[ftmp6], %[ftmp6], %[offset] \n\t" \
792  "psraw %[ftmp5], %[ftmp5], %[shift] \n\t" \
793  "psraw %[ftmp6], %[ftmp6], %[shift] \n\t" \
794  "packsswh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
795  "pcmpgth %[ftmp7], %[ftmp5], %[ftmp2] \n\t" \
796  "pand %[ftmp3], %[ftmp5], %[ftmp7] \n\t" \
797  "packushb %[ftmp3], %[ftmp3], %[ftmp3] \n\t" \
798  MMI_USWC1(%[ftmp3], %[dst], 0x0) \
799  \
800  "daddi %[x], %[x], -0x01 \n\t" \
801  PTR_ADDIU "%[src2], %[src2], 0x08 \n\t" \
802  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
803  PTR_ADDIU "%[dst], %[dst], 0x04 \n\t" \
804  "bnez %[x], 2b \n\t" \
805  \
806  "daddi %[y], %[y], -0x01 \n\t" \
807  PTR_ADDIU "%[src2], %[src2], " #src2_step " \n\t" \
808  PTR_ADDIU "%[tmp], %[tmp], " #src2_step " \n\t" \
809  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
810  PTR_ADDIU "%[src2], %[src2], 0x80 \n\t" \
811  PTR_ADDU "%[dst], %[dst], %[stride] \n\t" \
812  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
813  "bnez %[y], 1b \n\t" \
814  : RESTRICT_ASM_LOW32 RESTRICT_ASM_ALL64 \
815  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
816  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
817  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
818  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
819  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
820  [ftmp10]"=&f"(ftmp[10]), [src2]"+&r"(src2), \
821  [dst]"+&r"(dst), [tmp]"+&r"(tmp), [y]"+&r"(y), [x]"=&r"(x), \
822  [offset]"+&f"(offset.f), [rtmp0]"=&r"(rtmp[0]) \
823  : [filter]"r"(filter), [stride]"r"(dststride), \
824  [shift]"f"(shift.f) \
825  : "memory" \
826  ); \
827 }
828 
829 PUT_HEVC_EPEL_BI_HV(4, 1, -4, -8, -4);
830 PUT_HEVC_EPEL_BI_HV(8, 2, -8, -16, -8);
831 PUT_HEVC_EPEL_BI_HV(12, 3, -12, -24, -12);
832 PUT_HEVC_EPEL_BI_HV(16, 4, -16, -32, -16);
833 PUT_HEVC_EPEL_BI_HV(24, 6, -24, -48, -24);
834 PUT_HEVC_EPEL_BI_HV(32, 8, -32, -64, -32);
835 
836 #define PUT_HEVC_PEL_BI_PIXELS(w, x_step, src_step, dst_step, src2_step) \
837 void ff_hevc_put_hevc_pel_bi_pixels##w##_8_mmi(uint8_t *_dst, \
838  ptrdiff_t _dststride, \
839  const uint8_t *_src, \
840  ptrdiff_t _srcstride, \
841  const int16_t *src2, int height, \
842  intptr_t mx, intptr_t my, \
843  int width) \
844 { \
845  int x, y; \
846  pixel *src = (pixel *)_src; \
847  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
848  pixel *dst = (pixel *)_dst; \
849  ptrdiff_t dststride = _dststride / sizeof(pixel); \
850  double ftmp[12]; \
851  uint64_t rtmp[1]; \
852  union av_intfloat64 shift; \
853  DECLARE_VAR_ALL64; \
854  shift.i = 7; \
855  \
856  y = height; \
857  x = width >> 3; \
858  __asm__ volatile( \
859  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
860  "li %[rtmp0], 0x06 \n\t" \
861  "dmtc1 %[rtmp0], %[ftmp1] \n\t" \
862  "li %[rtmp0], 0x10 \n\t" \
863  "dmtc1 %[rtmp0], %[ftmp10] \n\t" \
864  "li %[rtmp0], 0x40 \n\t" \
865  "dmtc1 %[rtmp0], %[offset] \n\t" \
866  "punpcklhw %[offset], %[offset], %[offset] \n\t" \
867  "punpcklwd %[offset], %[offset], %[offset] \n\t" \
868  \
869  "1: \n\t" \
870  "2: \n\t" \
871  MMI_ULDC1(%[ftmp5], %[src], 0x00) \
872  MMI_ULDC1(%[ftmp2], %[src2], 0x00) \
873  MMI_ULDC1(%[ftmp3], %[src2], 0x08) \
874  "punpcklbh %[ftmp4], %[ftmp5], %[ftmp0] \n\t" \
875  "punpckhbh %[ftmp5], %[ftmp5], %[ftmp0] \n\t" \
876  "psllh %[ftmp4], %[ftmp4], %[ftmp1] \n\t" \
877  "psllh %[ftmp5], %[ftmp5], %[ftmp1] \n\t" \
878  "paddh %[ftmp4], %[ftmp4], %[offset] \n\t" \
879  "paddh %[ftmp5], %[ftmp5], %[offset] \n\t" \
880  "punpcklhw %[ftmp6], %[ftmp4], %[ftmp0] \n\t" \
881  "punpckhhw %[ftmp7], %[ftmp4], %[ftmp0] \n\t" \
882  "punpcklhw %[ftmp8], %[ftmp5], %[ftmp0] \n\t" \
883  "punpckhhw %[ftmp9], %[ftmp5], %[ftmp0] \n\t" \
884  "punpcklhw %[ftmp4], %[ftmp0], %[ftmp3] \n\t" \
885  "punpckhhw %[ftmp5], %[ftmp0], %[ftmp3] \n\t" \
886  "punpckhhw %[ftmp3], %[ftmp0], %[ftmp2] \n\t" \
887  "punpcklhw %[ftmp2], %[ftmp0], %[ftmp2] \n\t" \
888  "psraw %[ftmp2], %[ftmp2], %[ftmp10] \n\t" \
889  "psraw %[ftmp3], %[ftmp3], %[ftmp10] \n\t" \
890  "psraw %[ftmp4], %[ftmp4], %[ftmp10] \n\t" \
891  "psraw %[ftmp5], %[ftmp5], %[ftmp10] \n\t" \
892  "paddw %[ftmp2], %[ftmp2], %[ftmp6] \n\t" \
893  "paddw %[ftmp3], %[ftmp3], %[ftmp7] \n\t" \
894  "paddw %[ftmp4], %[ftmp4], %[ftmp8] \n\t" \
895  "paddw %[ftmp5], %[ftmp5], %[ftmp9] \n\t" \
896  "psraw %[ftmp2], %[ftmp2], %[shift] \n\t" \
897  "psraw %[ftmp3], %[ftmp3], %[shift] \n\t" \
898  "psraw %[ftmp4], %[ftmp4], %[shift] \n\t" \
899  "psraw %[ftmp5], %[ftmp5], %[shift] \n\t" \
900  "packsswh %[ftmp2], %[ftmp2], %[ftmp3] \n\t" \
901  "packsswh %[ftmp4], %[ftmp4], %[ftmp5] \n\t" \
902  "pcmpgth %[ftmp3], %[ftmp2], %[ftmp0] \n\t" \
903  "pcmpgth %[ftmp5], %[ftmp4], %[ftmp0] \n\t" \
904  "pand %[ftmp2], %[ftmp2], %[ftmp3] \n\t" \
905  "pand %[ftmp4], %[ftmp4], %[ftmp5] \n\t" \
906  "packushb %[ftmp2], %[ftmp2], %[ftmp4] \n\t" \
907  MMI_USDC1(%[ftmp2], %[dst], 0x0) \
908  \
909  "daddi %[x], %[x], -0x01 \n\t" \
910  PTR_ADDIU "%[src], %[src], 0x08 \n\t" \
911  PTR_ADDIU "%[dst], %[dst], 0x08 \n\t" \
912  PTR_ADDIU "%[src2], %[src2], 0x10 \n\t" \
913  "bnez %[x], 2b \n\t" \
914  \
915  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
916  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
917  PTR_ADDIU "%[src2], %[src2], " #src2_step " \n\t" \
918  "li %[x], " #x_step " \n\t" \
919  "daddi %[y], %[y], -0x01 \n\t" \
920  PTR_ADDU "%[src], %[src], %[srcstride] \n\t" \
921  PTR_ADDU "%[dst], %[dst], %[dststride] \n\t" \
922  PTR_ADDIU "%[src2], %[src2], 0x80 \n\t" \
923  "bnez %[y], 1b \n\t" \
924  : RESTRICT_ASM_ALL64 \
925  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
926  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
927  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
928  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
929  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
930  [ftmp10]"=&f"(ftmp[10]), [offset]"=&f"(ftmp[11]), \
931  [src2]"+&r"(src2), [dst]"+&r"(dst), [src]"+&r"(src), \
932  [x]"+&r"(x), [y]"+&r"(y), [rtmp0]"=&r"(rtmp[0]) \
933  : [dststride]"r"(dststride), [shift]"f"(shift.f), \
934  [srcstride]"r"(srcstride) \
935  : "memory" \
936  ); \
937 } \
938 
939 PUT_HEVC_PEL_BI_PIXELS(8, 1, -8, -8, -16);
940 PUT_HEVC_PEL_BI_PIXELS(16, 2, -16, -16, -32);
941 PUT_HEVC_PEL_BI_PIXELS(24, 3, -24, -24, -48);
942 PUT_HEVC_PEL_BI_PIXELS(32, 4, -32, -32, -64);
943 PUT_HEVC_PEL_BI_PIXELS(48, 6, -48, -48, -96);
944 PUT_HEVC_PEL_BI_PIXELS(64, 8, -64, -64, -128);
945 
946 #define PUT_HEVC_QPEL_UNI_HV(w, x_step, src_step, dst_step, tmp_step) \
947 void ff_hevc_put_hevc_qpel_uni_hv##w##_8_mmi(uint8_t *_dst, \
948  ptrdiff_t _dststride, \
949  const uint8_t *_src, \
950  ptrdiff_t _srcstride, \
951  int height, \
952  intptr_t mx, intptr_t my, \
953  int width) \
954 { \
955  int x, y; \
956  const int8_t *filter; \
957  pixel *src = (pixel*)_src; \
958  ptrdiff_t srcstride = _srcstride / sizeof(pixel); \
959  pixel *dst = (pixel *)_dst; \
960  ptrdiff_t dststride = _dststride / sizeof(pixel); \
961  int16_t tmp_array[(MAX_PB_SIZE + QPEL_EXTRA) * MAX_PB_SIZE]; \
962  int16_t *tmp = tmp_array; \
963  double ftmp[20]; \
964  uint64_t rtmp[1]; \
965  union av_intfloat64 shift; \
966  union av_intfloat64 offset; \
967  DECLARE_VAR_ALL64; \
968  DECLARE_VAR_LOW32; \
969  shift.i = 6; \
970  offset.i = 32; \
971  \
972  src -= (QPEL_EXTRA_BEFORE * srcstride + 3); \
973  filter = ff_hevc_qpel_filters[mx]; \
974  x = width >> 2; \
975  y = height + QPEL_EXTRA; \
976  __asm__ volatile( \
977  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
978  "li %[rtmp0], 0x08 \n\t" \
979  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
980  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
981  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
982  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
983  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
984  "pxor %[ftmp0], %[ftmp0], %[ftmp0] \n\t" \
985  \
986  "1: \n\t" \
987  "2: \n\t" \
988  MMI_ULDC1(%[ftmp3], %[src], 0x00) \
989  MMI_ULDC1(%[ftmp4], %[src], 0x01) \
990  MMI_ULDC1(%[ftmp5], %[src], 0x02) \
991  MMI_ULDC1(%[ftmp6], %[src], 0x03) \
992  "punpcklbh %[ftmp7], %[ftmp3], %[ftmp0] \n\t" \
993  "punpckhbh %[ftmp8], %[ftmp3], %[ftmp0] \n\t" \
994  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
995  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
996  "paddh %[ftmp3], %[ftmp7], %[ftmp8] \n\t" \
997  "punpcklbh %[ftmp7], %[ftmp4], %[ftmp0] \n\t" \
998  "punpckhbh %[ftmp8], %[ftmp4], %[ftmp0] \n\t" \
999  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
1000  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
1001  "paddh %[ftmp4], %[ftmp7], %[ftmp8] \n\t" \
1002  "punpcklbh %[ftmp7], %[ftmp5], %[ftmp0] \n\t" \
1003  "punpckhbh %[ftmp8], %[ftmp5], %[ftmp0] \n\t" \
1004  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
1005  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
1006  "paddh %[ftmp5], %[ftmp7], %[ftmp8] \n\t" \
1007  "punpcklbh %[ftmp7], %[ftmp6], %[ftmp0] \n\t" \
1008  "punpckhbh %[ftmp8], %[ftmp6], %[ftmp0] \n\t" \
1009  "pmullh %[ftmp7], %[ftmp7], %[ftmp1] \n\t" \
1010  "pmullh %[ftmp8], %[ftmp8], %[ftmp2] \n\t" \
1011  "paddh %[ftmp6], %[ftmp7], %[ftmp8] \n\t" \
1012  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
1013  %[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10]) \
1014  "paddh %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
1015  "paddh %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
1016  "paddh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
1017  MMI_USDC1(%[ftmp3], %[tmp], 0x0) \
1018  \
1019  "daddi %[x], %[x], -0x01 \n\t" \
1020  PTR_ADDIU "%[src], %[src], 0x04 \n\t" \
1021  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
1022  "bnez %[x], 2b \n\t" \
1023  \
1024  "daddi %[y], %[y], -0x01 \n\t" \
1025  "li %[x], " #x_step " \n\t" \
1026  PTR_ADDIU "%[src], %[src], " #src_step " \n\t" \
1027  PTR_ADDIU "%[tmp], %[tmp], " #tmp_step " \n\t" \
1028  PTR_ADDU "%[src], %[src], %[stride] \n\t" \
1029  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1030  "bnez %[y], 1b \n\t" \
1031  : RESTRICT_ASM_ALL64 \
1032  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
1033  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
1034  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
1035  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
1036  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
1037  [ftmp10]"=&f"(ftmp[10]), [rtmp0]"=&r"(rtmp[0]), \
1038  [src]"+&r"(src), [tmp]"+&r"(tmp), [y]"+&r"(y), \
1039  [x]"+&r"(x) \
1040  : [filter]"r"(filter), [stride]"r"(srcstride) \
1041  : "memory" \
1042  ); \
1043  \
1044  tmp = tmp_array; \
1045  filter = ff_hevc_qpel_filters[my]; \
1046  x = width >> 2; \
1047  y = height; \
1048  __asm__ volatile( \
1049  MMI_LDC1(%[ftmp1], %[filter], 0x00) \
1050  "li %[rtmp0], 0x08 \n\t" \
1051  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
1052  "punpckhbh %[ftmp2], %[ftmp0], %[ftmp1] \n\t" \
1053  "punpcklbh %[ftmp1], %[ftmp0], %[ftmp1] \n\t" \
1054  "psrah %[ftmp1], %[ftmp1], %[ftmp0] \n\t" \
1055  "psrah %[ftmp2], %[ftmp2], %[ftmp0] \n\t" \
1056  "li %[rtmp0], 0x06 \n\t" \
1057  "dmtc1 %[rtmp0], %[ftmp0] \n\t" \
1058  "punpcklhw %[offset], %[offset], %[offset] \n\t" \
1059  "punpcklwd %[offset], %[offset], %[offset] \n\t" \
1060  \
1061  "1: \n\t" \
1062  "li %[x], " #x_step " \n\t" \
1063  "2: \n\t" \
1064  MMI_ULDC1(%[ftmp3], %[tmp], 0x00) \
1065  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1066  MMI_ULDC1(%[ftmp4], %[tmp], 0x00) \
1067  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1068  MMI_ULDC1(%[ftmp5], %[tmp], 0x00) \
1069  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1070  MMI_ULDC1(%[ftmp6], %[tmp], 0x00) \
1071  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1072  MMI_ULDC1(%[ftmp7], %[tmp], 0x00) \
1073  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1074  MMI_ULDC1(%[ftmp8], %[tmp], 0x00) \
1075  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1076  MMI_ULDC1(%[ftmp9], %[tmp], 0x00) \
1077  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1078  MMI_ULDC1(%[ftmp10], %[tmp], 0x00) \
1079  PTR_ADDIU "%[tmp], %[tmp], -0x380 \n\t" \
1080  TRANSPOSE_4H(%[ftmp3], %[ftmp4], %[ftmp5], %[ftmp6], \
1081  %[ftmp11], %[ftmp12], %[ftmp13], %[ftmp14]) \
1082  TRANSPOSE_4H(%[ftmp7], %[ftmp8], %[ftmp9], %[ftmp10], \
1083  %[ftmp11], %[ftmp12], %[ftmp13], %[ftmp14]) \
1084  "pmaddhw %[ftmp11], %[ftmp3], %[ftmp1] \n\t" \
1085  "pmaddhw %[ftmp12], %[ftmp7], %[ftmp2] \n\t" \
1086  "pmaddhw %[ftmp13], %[ftmp4], %[ftmp1] \n\t" \
1087  "pmaddhw %[ftmp14], %[ftmp8], %[ftmp2] \n\t" \
1088  "paddw %[ftmp11], %[ftmp11], %[ftmp12] \n\t" \
1089  "paddw %[ftmp13], %[ftmp13], %[ftmp14] \n\t" \
1090  TRANSPOSE_2W(%[ftmp11], %[ftmp13], %[ftmp3], %[ftmp4]) \
1091  "paddw %[ftmp3], %[ftmp3], %[ftmp4] \n\t" \
1092  "psraw %[ftmp3], %[ftmp3], %[ftmp0] \n\t" \
1093  "pmaddhw %[ftmp11], %[ftmp5], %[ftmp1] \n\t" \
1094  "pmaddhw %[ftmp12], %[ftmp9], %[ftmp2] \n\t" \
1095  "pmaddhw %[ftmp13], %[ftmp6], %[ftmp1] \n\t" \
1096  "pmaddhw %[ftmp14], %[ftmp10], %[ftmp2] \n\t" \
1097  "paddw %[ftmp11], %[ftmp11], %[ftmp12] \n\t" \
1098  "paddw %[ftmp13], %[ftmp13], %[ftmp14] \n\t" \
1099  TRANSPOSE_2W(%[ftmp11], %[ftmp13], %[ftmp5], %[ftmp6]) \
1100  "paddw %[ftmp5], %[ftmp5], %[ftmp6] \n\t" \
1101  "psraw %[ftmp5], %[ftmp5], %[ftmp0] \n\t" \
1102  "packsswh %[ftmp3], %[ftmp3], %[ftmp5] \n\t" \
1103  "paddh %[ftmp3], %[ftmp3], %[offset] \n\t" \
1104  "psrah %[ftmp3], %[ftmp3], %[shift] \n\t" \
1105  "pxor %[ftmp7], %[ftmp7], %[ftmp7] \n\t" \
1106  "pcmpgth %[ftmp7], %[ftmp3], %[ftmp7] \n\t" \
1107  "pand %[ftmp3], %[ftmp3], %[ftmp7] \n\t" \
1108  "packushb %[ftmp3], %[ftmp3], %[ftmp3] \n\t" \
1109  MMI_USWC1(%[ftmp3], %[dst], 0x00) \
1110  \
1111  "daddi %[x], %[x], -0x01 \n\t" \
1112  PTR_ADDIU "%[tmp], %[tmp], 0x08 \n\t" \
1113  PTR_ADDIU "%[dst], %[dst], 0x04 \n\t" \
1114  "bnez %[x], 2b \n\t" \
1115  \
1116  "daddi %[y], %[y], -0x01 \n\t" \
1117  PTR_ADDIU "%[tmp], %[tmp], " #tmp_step " \n\t" \
1118  PTR_ADDIU "%[dst], %[dst], " #dst_step " \n\t" \
1119  PTR_ADDU "%[dst], %[dst], %[stride] \n\t" \
1120  PTR_ADDIU "%[tmp], %[tmp], 0x80 \n\t" \
1121  "bnez %[y], 1b \n\t" \
1122  : RESTRICT_ASM_ALL64 RESTRICT_ASM_LOW32 \
1123  [ftmp0]"=&f"(ftmp[0]), [ftmp1]"=&f"(ftmp[1]), \
1124  [ftmp2]"=&f"(ftmp[2]), [ftmp3]"=&f"(ftmp[3]), \
1125  [ftmp4]"=&f"(ftmp[4]), [ftmp5]"=&f"(ftmp[5]), \
1126  [ftmp6]"=&f"(ftmp[6]), [ftmp7]"=&f"(ftmp[7]), \
1127  [ftmp8]"=&f"(ftmp[8]), [ftmp9]"=&f"(ftmp[9]), \
1128  [ftmp10]"=&f"(ftmp[10]), [ftmp11]"=&f"(ftmp[11]), \
1129  [ftmp12]"=&f"(ftmp[12]), [ftmp13]"=&f"(ftmp[13]), \
1130  [ftmp14]"=&f"(ftmp[14]), \
1131  [dst]"+&r"(dst), [tmp]"+&r"(tmp), [y]"+&r"(y), [x]"=&r"(x), \
1132  [offset]"+&f"(offset.f), [rtmp0]"=&r"(rtmp[0]) \
1133  : [filter]"r"(filter), [stride]"r"(dststride), \
1134  [shift]"f"(shift.f) \
1135  : "memory" \
1136  ); \
1137 }
1138 
1139 PUT_HEVC_QPEL_UNI_HV(4, 1, -4, -4, -8);
1140 PUT_HEVC_QPEL_UNI_HV(8, 2, -8, -8, -16);
1141 PUT_HEVC_QPEL_UNI_HV(12, 3, -12, -12, -24);
1142 PUT_HEVC_QPEL_UNI_HV(16, 4, -16, -16, -32);
1143 PUT_HEVC_QPEL_UNI_HV(24, 6, -24, -24, -48);
1144 PUT_HEVC_QPEL_UNI_HV(32, 8, -32, -32, -64);
1145 PUT_HEVC_QPEL_UNI_HV(48, 12, -48, -48, -96);
1146 PUT_HEVC_QPEL_UNI_HV(64, 16, -64, -64, -128);
intfloat.h
mmiutils.h
PUT_HEVC_EPEL_BI_HV
#define PUT_HEVC_EPEL_BI_HV(w, x_step, src_step, src2_step, dst_step)
Definition: hevcdsp_mmi.c:655
PUT_HEVC_QPEL_UNI_HV
#define PUT_HEVC_QPEL_UNI_HV(w, x_step, src_step, dst_step, tmp_step)
Definition: hevcdsp_mmi.c:946
PUT_HEVC_QPEL_H
#define PUT_HEVC_QPEL_H(w, x_step, src_step, dst_step)
Definition: hevcdsp_mmi.c:27
bit_depth_template.c
hevcdsp_mips.h
hevcdec.h
PUT_HEVC_QPEL_HV
#define PUT_HEVC_QPEL_HV(w, x_step, src_step, dst_step)
Definition: hevcdsp_mmi.c:121
PUT_HEVC_QPEL_BI_HV
#define PUT_HEVC_QPEL_BI_HV(w, x_step, src_step, src2_step, dst_step)
Definition: hevcdsp_mmi.c:435
PUT_HEVC_PEL_BI_PIXELS
#define PUT_HEVC_PEL_BI_PIXELS(w, x_step, src_step, dst_step, src2_step)
Definition: hevcdsp_mmi.c:836
PUT_HEVC_QPEL_BI_H
#define PUT_HEVC_QPEL_BI_H(w, x_step, src_step, src2_step, dst_step)
Definition: hevcdsp_mmi.c:304
Generated on Mon Mar 24 2025 19:21:53 for FFmpeg by   doxygen 1.8.17