Raport: „Benchmarking Intent Detection for Task-Oriented Dialog Systems”

Opublikowany w grudniu 2020 raport wykonała niezależna badawcza, prywatna uczelnia Cornell z siedzibą w Nowym Jorku partnera State University of New York. W raporcie oceniono metody wykrywania intencji przez czołowe,  komercyjne silniki sztucznej inteligencji. Skoncentrowano się na ich dokładności, niezawodności i wymaganiach obliczeniowych, porównano i oceniono ich  wydajność.

Porównanie dotyczyło poniższych rozwiązań AI:

  • IBM Watson Assistant (najnowszą, ulepszoną wersję)
  • Google Dialogflow2
  • Microsoft LUIS3
  • RASA – rozwiązanie open source używane komercyjnie
  • Haptik (indyjska platforma konwersacyjna)

Raport w wersji PDF: https://unima2000.pl/wp-content/uploads/2021/04/Benchmarking-intent-detection-2020.11.pdf

Raport opublikowano w grudniu 2020 roku. W raporcie zastosowano nową metodologię oceny wykrywania intencji „na wolności” czyli w warunkach reaknych w zadaniowych systemach dialogowych. Wykrywanie intencji,  jest kluczowym elementem nowoczesnych, zorientowanych na cel systemów dialogowych, które realizują zadania użytkownika.

Wyniki przeprowadzonych  badań pokazały, że model wykrywania intencji Watson Assistant przewyższa rozwiązania komercyjne,  z którymi był porównywany pod względem szybkości wykrywania intencji, wymagając jedynie ułamka zasobów obliczeniowych i danych szkoleniowych. Watson Assistant działa dobrze, nawet gdy jest dostarczany z mniejszą wersją danych testowych. Jest bardziej wydajny i uczy się  szybciej, dając porównywalną  dokładność .

Raport dostępny jest na takich portalach jak: Google Scholar, NASA ADS, Semantic Scholar.

https://unima2000.pl/wp-content/uploads/2021/04/Benchmarking-intent-detection-2020.11.pdf

Link do raportu:

https://www.semanticscholar.org/paper/Benchmarking-Intent-Detection-for-Task-Oriented-Qi-Pan/5b945963a70d17cc8e1e46f8f6f1408d8620af17#extracted

https://www.semanticscholar.org/paper/Benchmarking-Intent-Detection-for-Task-Oriented-Qi-Pan/5b945963a70d17cc8e1e46f8f6f1408d8620af17#extracted

Link centrum badawczego:

https://arxiv.org/abs/2012.03929

Udostępnij post:

Share on facebook
Share on linkedin
Share on email

Pozostańmy w kontakcie

Więcej aktualności

Strona www.unima2000.pl korzysta z plików Cookies (w celu realizacji usług)