Livros Prefácios Prólogos Especial 01 / ensinoeinformacao

1/6

ÁREA: PESQUISA OPERACIONAL/PROGRAMAÇÃO DINÂMICA

0001 - "Dynamic Programming and Optimal Control". Dimitri P. Bertsekas, Volume 1, 3a. Edição: Prefácio, Sumário, Arquivo Formato ".PDF", Páginas no Total=159 Páginas. Tamanho do Arquivo=1,57MB.

0002 - "Dynamic Programming and Optimal Control". Dimitri P. Bertsekas, Volume 2, 3a. Edição: Prefácio, Arquivo Formato ".PDF", Páginas no Total=551 Páginas. Tamanho do Arquivo=2,13MB.

The TWO-VOLUME SET consists of the LATEST EDITIONS OF VOL. I AND VOL. II, i.e., Vol. I, 3rd ed. and Vol. II, 4th ed.

The leading and most up-to-date textbook on the far-ranging algorithmic methododogy of Dynamic Programming, which can be used for optimal control, Markovian decision problems, planning and sequential decision making under uncertainty, and discrete/combinatorial optimization. The treatment focuses on basic unifying themes, and conceptual foundations. It illustrates the versatility, power, and generality of the method with many examples and applications from engineering, operations research, and other fields. It also addresses extensively the practical application of the methodology, possibly through the use of approximations, and provides an extensive treatment of the far-reaching methodology of Neuro-Dynamic Programming/Reinforcement Learning.

The first volume is oriented towards modeling, conceptualization, and finite-horizon problems, but also includes a substantive introduction to infinite horizon problems that is suitable for classroom use. The second volume is oriented towards mathematical analysis and computation, treats infinite horizon problems extensively, and provides an up-to-date account of approximate large-scale dynamic programming and reinforcement learning. The text contains many illustrations, worked-out examples, and exercises.

This extensive work, aside from its focus on the mainstream dynamic programming and optimal control topics, relates to our Abstract Dynamic Programming (Athena Scientific, 2013), a synthesis of classical research on the foundations of dynamic programming with modern approximate dynamic programming theory, and the new class of semicontractive models, Stochastic Optimal Control: The Discrete-Time Case (Athena Scientific, 1996), which deals with the mathematical foundations of the subject, Neuro-Dynamic Programming (Athena Scientific, 1996), which develops the fundamental theory for approximation methods in dynamic programming, and Introduction to Probability (2nd Edition, Athena Scientific, 2008), which provides the prerequisite probabilistic background.

New features of the 4th edition of Vol. II (see the Contents and Preface for details):

Contains a substantial amount of new material, as well as a reorganization of old material. The length has increased by more than 60% from the third edition, and most of the old material has been restructured and/or revised. Volume II now numbers more than 700 pages and is larger in size than Vol. I. It can arguably be viewed as a new book!
A major expansion of the discussion of approximate DP (neuro-dynamic programming), which allows the practical application of dynamic programming to large and complex problems. Approximate DP has become the central focal point of this volume.
Extensive new material, the outgrowth of research conducted in the six years since the previous edition, has been included.
The first account of the emerging methodology of Monte Carlo linear algebra, which extends the approximate DP methodology to broadly applicable problems involving large-scale regression and systems of linear equations.
Expansion of the theory and use of contraction mappings in infinite state space problems and in neuro-dynamic programming.

Review of Vol. II, 4th Edition:

" This is an excellent textbook on dynamic programming written by a master expositor. Between this and the first volume, there is an amazing diversity of ideas presented in a unified and accessible manner. This new edition offers an expanded treatment of approximate dynamic programming, synthesizing a substantial and growing research literature on the topic. "
Benjamin Van Roy, at Amazon.com.

New features of the 3rd edition of Vol. I (see the Preface for details):

includes new material on aggregation methods, model predictive control, multiobjective DP, and constrained DP.
gives an expanded coverage of minimax control methods for estimation and control of systems with a non-probabilistic (set membership) description of uncertainty.
provides textbook accounts of recent original research on approximate DP, limited lookahead policies, rollout algorithms, and model predictive control.
includes a substantial number of new exercises, detailed solutions of many of which are posted on the internet (see below).

Review of Vols. I and II, 3rd Edition:

"In conclusion, the new edition represents a major upgrade of this well-established book. The coverage is significantly expanded, refined, and brought up-to-date. This is the only book presenting many of the research developments of the last 10 years in approximate DP/neuro-dynamic programming/reinforcement learning (the monographs by Bertsekas and Tsitsiklis, and by Sutton and Barto, were published in 1996 and 1998, respectively). The book is a rigorous yet highly readable and comprehensive source on all aspects relevant to DP: applications, algorithms, mathematical aspects, approximations, as well as recent research. It should be viewed as the principal DP textbook and reference work at present. With its rich mixture of theory and applications, its many examples and exercises, its unified treatment of the subject, and its polished presentation style, it is eminently suited for classroom use or self-study."
Panos Pardalos, in Optimization Methods & Software Journal, 2007.

Review of Vol. I, 3rd Edition:

"In addition to being very well written and organized, the material has several special features that make the book unique in the class of introductory textbooks on dynamic programming. For instance, it presents both deterministic and stochastic control problems, in both discrete- and continuous-time, and it also presents the Pontryagin minimum principle for deterministic systems together with several extensions. It contains problems with perfect and imperfect information, as well as minimax control methods (also known as worst-case control problems or games against nature). I also has a full chapter on suboptimal control and many related techniques, such as open-loop feedback controls, limited lookahead policies, rollout algorithms, and model predictive control, to name a few. ... In conclusion the book is highly recommendable for an introductory course on dynamic programming and its applications."
Onesimo Hernandez Lerma, in Mathematic Reviews, Issue 2006g.

Among its special features, the book:

provides a unifying framework for sequential decision making
treats simultaneously deterministic and stochastic control problems popular in modern control theory and Markovian decision popular in operations research
develops the theory of deterministic optimal control problems including the Pontryagin Minimum Principle
introduces recent suboptimal control and simulation-based approximation techniques (neuro-dynamic programming), which allow the practical application of dynamic programming to complex problems that involve the dual curse of large dimension and lack of an accurate mathematical model
provides a comprehensive treatment of infinite horizon problems in the second volume, and an introductory treatment in the first volume

Reviews of Pre-2005 Editions:

"In conclusion, this book is an excellent source of reference ... The main strengths of the book are the clarity of the exposition, the quality and variety of the examples, and its coverage of the most recent advances."
Thomas W. Archibald, in IMA Jnl. of Mathematics Applied in Business & Industry

"Here is a tour-de-force in the field."
David K. Smith, in Jnl. of Operational Research Society

"By its comprehensive coverage, very good material organization, readability of the exposition, included theoretical results, and its challenging examples and exercises, the reviewed book is highly recommended for a graduate course in dynamic programming or for self-study. It is a valuable reference for control theorists, mathematicians, and all those who use systems and control theory in their work. Students will for sure find the approach very readable, clear, and concise. Misprints are extremely few."
Vasile Sima, in SIAM Review

"In this two-volume work Bertsekas caters equally effectively to theoreticians who care for proof of such concepts as the existence and the nature of optimal policies and to practitioners interested in the modeling and the quantitative and numerical solution aspects of stochastic dynamic programming."
Michael Caramanis, in Interfaces

"The textbook by Bertsekas is excellent, both as a reference for the course and for general knowledge. It is well written, clear and helpful"
Student evaluation guide for the Dynamic Programming and Stochastic Control course at the Massachusetts Institute of Technology

The author is McAfee Professor of Engineering at the Massachusetts Institute of Technology and a member of the prestigious US National Academy of Engineering. He is the recipient of the 2001 A. R. Raggazini ACC education award and the 2009 INFORMS expository writing award. He has been teaching the material included in this book in introductory graduate courses for nearly forty years.

Supplementary Material:

The material listed below can be freely downloaded, reproduced, and distributed.

Videos from Youtube, for a 6-lecture 12-hour short course on Approximate Dynamic Programming, Tsinghua University, Beijing, China, 2014
Prof. Bertsekas' Lecture slides for a 6-lecture short course on Approximate Dynamic Programming, Tsinghua University, Beijing, China, 2014.
Prof. Bertsekas' Course Lecture Slides, 2004
Prof. Bertsekas' Course Lecture Slides, 2012
Theoretical problem solutions, Volumes 1 and 2
Course Material at Open Courseware at MIT
Prof. Bertsekas' Ph.D. Thesis at MIT, 1971, Control of Uncertain Systems with a Set-Membership Description of the Uncertainty, which contains material supplementary to Sections 4.6 and 6.5 of Vol. 1
Errata

Tradução

O líder e maior livro de up-to-date no methododogy algorítmica de longo alcance de programação dinâmica, que pode ser usado para o controle ideal, problemas de decisão markovianos, planejamento e sequencial fazendo de decisão sob incerteza, e otimização discreta / combinatória. O tratamento se concentra em temas unificadores básicos e fundamentos conceituais. Ele ilustra a versatilidade, energia e generalidade do método com muitos exemplos e aplicações de engenharia, pesquisa de operações e outros campos. Ele também aborda amplamente a aplicação prática da metodologia, possivelmente através da utilização de aproximações, e fornece um amplo tratamento da metodologia de longo alcance de Neuro-Dynamic Programming / Reinforcement Learning.

O primeiro volume é orientada para modelagem, conceituação, e problemas finito-horizonte, mas também inclui uma introdução substantiva para os problemas de horizonte infinito que é adequado para uso em sala de aula. O segundo volume está orientada para a análise matemática e computação, trata problemas de horizonte infinito extensivamente, e fornece uma conta up-to-date de programação dinâmica em larga escala aproximada e aprendizado por reforço. O texto contém muitas ilustrações, exemplos trabalhou-out, e exercícios.

Esta obra extensa, além de seu foco na programação dinâmica mainstream e tópicos de controle ótimo, relaciona-se com a nossa programação dinâmica Abstract (Athena Científica, 2013), uma síntese da pesquisa clássica sobre os fundamentos da programação dinâmica com a teoria de programação dinâmica aproximada moderno, e a nova classe de modelos semicontractive, Stochastic Optimal Controle: O Caso Discrete-Time (Athena Científica, 1996), que lida com os fundamentos matemáticos do sujeito, Programação Neuro-Dynamic (Athena Científicas, 1996), que desenvolve a teoria fundamental para métodos de aproximação em programação dinâmica, e Introdução à Probabilidade (2nd Edition, Athena Científica, 2008), que fornece a base probabilística pré-requisito.

Novos recursos da 4ª edição do Vol. II (veja os Conteúdos e Preface para detalhes):

Contém uma quantidade substancial de material novo, bem como uma reorganização de material velho. O comprimento aumentou em mais de 60% a partir da terceira edição, e a maior parte do material anterior foi renovado e / ou revisão. Volume II agora conta com mais de 700 páginas e é maior em tamanho do que Vol. I. Ele pode sem dúvida ser visto como um novo livro!
A grande expansão da discussão da aproximada DP (programação neuro-dinâmica), que permite a aplicação prática da programação dinâmica para problemas grandes e complexos. Aproximado DP tornou-se o ponto focal central deste volume.
Novo material extenso, a conseqüência das pesquisas realizadas nos seis anos desde a edição anterior, foi incluída.
A primeira conta da metodologia emergente de Monte Carlo álgebra linear, que se estende a metodologia aproximada DP amplamente a problemas aplicáveis envolvendo regressão e sistemas de equações lineares em grande escala.
Expansão da teoria e uso de mapeamentos de contração em problemas de espaço de estado infinitas e em programação neuro-dinâmica.

Revisão do Vol. II, 4ª Edição:

"Este é um excelente livro sobre programação dinâmica escrito por um expositor master. Entre este eo primeiro volume, há uma incrível diversidade de idéias apresentadas de forma unificada e acessível. Esta nova edição oferece um tratamento expandido de programação dinâmica aproximada, sintetizando a literatura de pesquisa substancial e crescente sobre o tema. " Benjamin Van Roy, na Amazon.com.

Novos recursos da 3ª edição do Vol. I (ver o Prefácio para mais detalhes):

inclui material novo sobre métodos de agregação, modelo de controle preditivo, multiobjective DP, e constrangido DP.
dá uma cobertura alargada de métodos de controle Minimax estimação e controle de sistemas com uma descrição não-probabilística (associação do conjunto) de incerteza.
fornece contas de livros didáticos de pesquisas recentes original no aproximado DP, as políticas de verificação à frente limitadas, algoritmos de rollout e controle preditivo.
inclui um número substancial de novos exercícios, soluções detalhadas de muitos dos quais são publicados na internet (veja abaixo).

Revisão de Vols. I e II, 3rd Edition:

"Em conclusão, a nova edição representa uma grande atualização deste livro bem estabelecida. A cobertura é significativamente expandida, refinado, e trouxe up-to-date. Este é o único livro que apresenta muitos dos desenvolvimentos dos últimos 10 anos de pesquisa aproximado em DP / neuro-dinâmica de programação / reforço de aprendizagem (as monografias de Bertsekas e Tsitsiklis, e por Sutton e Barto, foram publicados em 1996 e 1998, respectivamente). O livro é uma fonte ainda altamente legível e abrangente rigoroso em todos os aspectos relevantes para DP:. aplicações, algoritmos, aspectos matemáticos, aproximações, bem como pesquisas recentes Ele deve ser visto como o principal DP livro didático e obra de referência na actualidade Com sua rica mistura de teoria e aplicações, seus muitos exemplos e exercícios, a sua unificada. tratamento do assunto, e seu estilo de apresentação polida, é eminentemente adequado para uso em sala de aula ou de auto-estudo. " Panos Pardalos, em métodos de otimização e Software Journal, 2007.

Revisão do Vol. I, 3ª Edição:

"Além de ser muito bem escrito e organizado, o material tem várias características especiais que tornam o livro único na classe dos livros introdutórios sobre programação dinâmica. Por exemplo, apresenta dois problemas de controle determinísticos e estocásticos, em ambos discrete- e contínua -time, e também apresenta o princípio mínimo Pontryagin para sistemas determinísticos juntamente com várias extensões. Ele contém problemas com informação perfeita e imperfeita, assim como métodos de controle minimax (também conhecido como pior caso problemas de controle ou jogos contra a natureza). I também tem um capítulo inteiro sobre o controle abaixo do ideal e muitas técnicas relacionadas, tais como controles de circuito aberto de feedback, as políticas de verificação à frente limitados, algoritmos de rollout e controle preditivo, para citar alguns. ... Em conclusão, o livro é altamente recomendável para um curso introdutório sobre programação dinâmica e suas aplicações. " Onesimo Hernandez Lerma, em Matemática Avaliações, Issue 2006g.

Entre as suas características especiais, o livro:

fornece uma estrutura unificadora para a tomada de decisão seqüencial
trata simultaneamente problemas de controle determinísticos e estocásticos populares na teoria de controle moderno e decisão Markovian popular em operações de investigação
desenvolve a teoria de problemas de controle ótimo deterministas, incluindo o princípio do mínimo Pontryagin
introduz recente controle abaixo do ideal e técnicas de aproximação baseada em simulação (programação neuro-dinâmica), que permitem a aplicação prática da programação dinâmica para problemas complexos que envolvem a dupla maldição de grande dimensão e falta de um modelo matemático preciso
fornece um tratamento abrangente dos problemas de horizonte infinito no segundo volume, e um tratamento introdutório no primeiro volume

Avaliações de Edições Pre-2005:

"Em conclusão, este livro é uma excelente fonte de referência ... Os principais pontos fortes do livro são a clareza da exposição, a qualidade e variedade dos exemplos, e sua cobertura dos avanços mais recentes." Thomas W. Archibald , em IMA Jnl. de Matemática Aplicada em Negócios e Indústria

"Aqui é um tour-de-force no campo." David K. Smith, em Jnl. da Sociedade de Pesquisa Operacional

"Por sua cobertura abrangente, muito boa organização material, a legibilidade da exposição, incluído resultados teóricos, e os seus exemplos e exercícios desafiadores, o livro resenhado é altamente recomendado para um curso de pós-graduação em programação dinâmica ou para auto-estudo. É um valioso de referência para os teóricos de controle, matemáticos e todos aqueles que utilizam sistemas e teoria de controle no seu trabalho. Os alunos irão com certeza encontrar a abordagem muito legível, clara e concisa. Erros de impressão são extremamente poucos ". Vasile Sima, em SIAM comentário

"Nesta obra de dois volumes Bertsekas atende de maneira igualmente eficaz aos teóricos que se importam com a prova de conceitos como a existência ea natureza de políticas ótimas e profissionais interessados na modelagem e os aspectos quantitativos e soluções numéricas de programação dinâmica estocástica." Michael Caramanis, em Interfaces

"O livro didático por Bertsekas é excelente, tanto como uma referência para o curso e para o conhecimento geral. É bem escrito, claro e útil"
guia de avaliação do estudante para a Programação Dinâmica e Controle Stochastic curso no Instituto de Tecnologia de Massachusetts

O autor é professor de Engenharia da McAfee do Instituto de Tecnologia de Massachusetts e um membro da prestigiada Academia Nacional de Engenharia. Ele é o destinatário da AR Raggazini ACC prêmio educação de 2001 e do 2009 INFORMA expositiva prêmio de redação . Ele tem ensinado o material incluído neste livro em cursos de graduação introdutórias por quase quarenta anos.

Material suplementar:

O material abaixo pode ser baixado gratuitamente, reproduzida e distribuída.

Vídeos do YouTube, para a 6 palestra de 12 horas curso de curta duração sobre aproximado Programação Dinâmica, a Universidade de Tsinghua, Pequim, China, 2014
Slides das aulas Prof. Bertsekas 'para um curso de curta duração de 6 palestra sobre aproximado Programação Dinâmica, a Universidade de Tsinghua, Pequim, China, 2014.
Slides das aulas do Curso Prof. Bertsekas ', 2004
Slides das aulas do Curso Prof. Bertsekas ', 2012
Soluções de problemas teóricos, Volumes 1 e 2
Material do curso na Open Courseware do MIT
Research Papers Prof. Bertsekas 'on dinâmico e Programação Neuro-Dynamic
Ph.D. Prof. Bertsekas ' Tese do MIT, 1971, Controle de Sistemas Incertos com uma descrição Set-Membership da Incerteza, que contém material suplementar pontos 4.6 e 6.5 do Vol. 1
Errata